la réponse acceptée à cette question Est Bonne dans la mesure où elle va, mais elle ne traite pas réellement de la façon d'estimer la perplexité sur un ensemble de données de validation et de la façon d'utiliser la validation croisée.

à l'Aide de perplexité pour la simple validation

Perplexité est une mesure de la façon dont un modèle de probabilité correspond à un nouvel ensemble de données. Dans le paquet topicmodels R, Il est facile de s'adapter à la fonction perplexity , qui prend arguments un modèle de sujet précédemment adapté et un nouvel ensemble de données, et renvoie un nombre unique. Plus le mieux.

par exemple, fractionner les données AssociatedPress en un ensemble de formation (75% des lignes) et un ensemble de validation (25% des lignes):

# load up some R packages including a few we'll need later
library(topicmodels)
library(doParallel)
library(ggplot2)
library(scales)

data("AssociatedPress", package = "topicmodels")

burnin = 1000
iter = 1000
keep = 50

full_data  <- AssociatedPress
n <- nrow(full_data)
#-----------validation--------
k <- 5

splitter <- sample(1:n, round(n * 0.75))
train_set <- full_data[splitter, ]
valid_set <- full_data[-splitter, ]

fitted <- LDA(train_set, k = k, method = "Gibbs",
                          control = list(burnin = burnin, iter = iter, keep = keep) )
perplexity(fitted, newdata = train_set) # about 2700
perplexity(fitted, newdata = valid_set) # about 4300

la perplexité est plus grande pour l'ensemble de validation que pour l'ensemble de formation, car les sujets ont été optimisés sur la base de l'ensemble de formation.

à l'Aide de perplexité et de validation croisée pour déterminer un bon nombre de sujets

L'extension de cette idée à la validation croisée est simple. Divisez les données en différents sous-ensembles (par exemple 5), et chaque sous-ensemble obtient un tour comme jeu de validation et quatre tours comme partie du jeu de formation. Cependant, il est vraiment computationally intensive, en particulier lors de l'essai du plus grand nombre de sujets.

vous pourriez utiliser caret pour faire ça, mais je le soupçonne il ne s'occupe pas encore de modélisation. En tout cas, c'est le genre de chose que je préfère faire moi-même pour être sûr de comprendre ce qui se passe.

le code ci-dessous, même avec un traitement parallèle sur 7 CPU logiques, a pris 3,5 heures pour fonctionner sur mon ordinateur portable:

#----------------5-fold cross-validation, different numbers of topics----------------
# set up a cluster for parallel processing
cluster <- makeCluster(detectCores(logical = TRUE) - 1) # leave one CPU spare...
registerDoParallel(cluster)

# load up the needed R package on all the parallel sessions
clusterEvalQ(cluster, {
   library(topicmodels)
})

folds <- 5
splitfolds <- sample(1:folds, n, replace = TRUE)
candidate_k <- c(2, 3, 4, 5, 10, 20, 30, 40, 50, 75, 100, 200, 300) # candidates for how many topics

# export all the needed R objects to the parallel sessions
clusterExport(cluster, c("full_data", "burnin", "iter", "keep", "splitfolds", "folds", "candidate_k"))

# we parallelize by the different number of topics.  A processor is allocated a value
# of k, and does the cross-validation serially.  This is because it is assumed there
# are more candidate values of k than there are cross-validation folds, hence it
# will be more efficient to parallelise
system.time({
results <- foreach(j = 1:length(candidate_k), .combine = rbind) %dopar%{
   k <- candidate_k[j]
   results_1k <- matrix(0, nrow = folds, ncol = 2)
   colnames(results_1k) <- c("k", "perplexity")
   for(i in 1:folds){
      train_set <- full_data[splitfolds != i , ]
      valid_set <- full_data[splitfolds == i, ]

      fitted <- LDA(train_set, k = k, method = "Gibbs",
                    control = list(burnin = burnin, iter = iter, keep = keep) )
      results_1k[i,] <- c(k, perplexity(fitted, newdata = valid_set))
   }
   return(results_1k)
}
})
stopCluster(cluster)

results_df <- as.data.frame(results)

ggplot(results_df, aes(x = k, y = perplexity)) +
   geom_point() +
   geom_smooth(se = FALSE) +
   ggtitle("5-fold cross-validation of topic modelling with the 'Associated Press' dataset",
           "(ie five different models fit for each candidate number of topics)") +
   labs(x = "Candidate number of topics", y = "Perplexity when fitting the trained model to the hold-out set")

nous voyons dans les résultats que 200 sujets est trop nombreux et a certains trop ajustés, et 50 est trop peu. Sur le nombre de sujets essayés, 100 est le meilleur, avec la plus faible moyenne de perplexité sur les cinq différent de " hold-out jeux.