UPRES-A CNRS 6085Publication 9908
Auteurs : 
CELEUX Gilles,  HURN Merrilee and ROBERT Christian P.

Titre : Computational and Inferential Difficulties with Mixture Posterior Distributions

Année : 1999

Référence : Soumis

Mots-clefs : Algorithme de Langevin, classification, estimation sous contraintes, fonctions de coût, identifiabilité des indices, méthodes MCMC, recuit simulé, refroidissement simulé.

Key-words : Classification, label switching, Langevin diffusions, loss functions, Markov chain Monte Carlo, simulated tempering.

Classification AMS : 62F15, 65B00, 65C05, 65C20, 60J07.

Résumé :
Ce article présente une nouvelle résolution des problèmes d'exploration et d'interprétation des lois a posteriori des modèles de mélange. Une difficulté fondamentale liée à ces lois a posteriori est que la non-identifiabilité des composantes implique la présence de k! modes équivalents sur la surface a posteriori, modes qui ne sont pas tous explorés par les méthodes de Monte Carlo par chaînes de Markov usuelles, du fait de la forte attraction des modes locaux. Nous montrons comment une exploration plus systématique peut être imposée par l'utilisation de techniques de refroidissement fondées sur des algorithmes de Langevin. Par ailleurs, une loi  a posteriori fondée sur une loi a priori symétrique (par rapport aux composantes) est également symétrique, ce qui interdit l'emploi de moyennes a posteriori pour l'estimation des paramètres du mélange. (Ce problème s'étend également à la plupart des lois a priori non symétriques, du fait de la permutation entre composantes.) Apr`s avoir rejeté l'utilisation de contraintes identifiantes sur les paramètres du mélange, nous proposons deux approaches alternatives pour cette estimation. La première consiste en une classification de l'échantillon MCMC et la seconde repose sur la définition d'une fonction de coût adéquate, inspirée de l'analyse d'image, qui élimine le problème de numérotation des composantes. Ce travail montre de plus qu'il existe des alternatives efficaces à l'échantillonnage de Gibbs et que les algorithmes de Langevin fournissent une solution quasi-automatique à l'exploration d'une loi a posteriori connue à une constante près.
Abstract :
This paper deals with both exploration and interpretation problems related to posterior distributions for mixture models.
The specification of mixture posterior distributions means that the presence of k! modes is known immediately. Standard Markov chain Monte Carlo techniques usually have difficulties with well-separated modes such as occur here; the Markov chain Monte Carlo sampler stays within a neighbourhood of a local mode and fails to visit other equally important modes. We show that exploration of these modes can be imposed on the Markov chain Monte Carlo sampler using tempered transitions based on Langevin algorithms. However, as the prior distribution does mnot distinguish between the different components, the posterior mixutre distribution is symmetric and thus standard estimators such as posterior means cannot be used. Since this is also true for most non-symmetric priors, we propose alternatives for Bayesian inference for permutation invariant posteriors, including a clustering device and the call to appropriate loss functions. An important side-issue of this study is the highlighting of the flexibility and adaptability of Langevin Metropolis-Hastings algorithms as quasi-automated Markov chain Monte Carlo algorithms when the posterior distribution is known up to a constant. 

Pour obtenir le fichier pub9908.ps.gz