Calcule la probabilidad en Metropolis-Hastings: ¿Cómo se relaciona con un análisis posterior en Bayesian?

Kim 05/06/2018. 2 answers, 176 views
bayesian mcmc metropolis-hastings

Pregunta básica sobre el algoritmo MCMC Metropolis-Hastings. Intento entender el algoritmo de Metropolis-Hastings y su conexión con el Análisis Bayesiano. Supongamos que quiero construir un algroritmo MH MCMC para evaluar mi distribución posterior en mi Análisis Bayesiano.

Estoy viendo el paso donde se calcula $ \ alpha $: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | \ textbf {Y})} $$ Aquí he asumido (por simplicidad) que mi densidad de prposición en el algoritmo MH es simétrica.

$ P (\ theta ^ * | \ textbf {Y}) $ es la probabilidad de $ \ theta ^ * $ dados nuestros datos. Entonces, básicamente, antes del algoritmo MH, tenemos que asumir una distribución para $ \ theta $, ¿verdad? ¿Y es $ P (\ theta ^ * | \ textbf {Y}) $ nuestra distribución posterior? ¿Cómo calculo $ P (\ theta ^ * | \ textbf {Y}) $ ?

Además, siéntase libre de proporcionar una explicación oral (en palabras) de $ P (\ theta ^ * | \ textbf {Y}) $ y su conexión es la distribución posterior que deseamos calcular. Mi confusión surge con el hecho de que no podemos conocer nuestra distribución posterior y ese es el objetivo de MH. Entonces, ¿cómo puede comput la probabilidad ...

2 Answers


niandra82 05/06/2018.

Hay mucha confusión Desea evaluar el posterior $$ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y})} $$ donde uso $ f () $ para indicar una densidad, para que sea lo más general posible. Debe decidir la probabilidad de su modelo, es decir, $ f (\ mathbf {y} | \ theta) $, y el anterior sobre $ \ theta $, es decir, $ f (\ theta) $. En otras palabras, debes asumir una distribución particular para cada uno de ellos. Entonces sabes las formas funcionales de ambos.

Para obtener muestras del posterior usando un MH, eliges un valor inicial de $ \ theta $, que llamamos $ \ theta ^ 0 $. Ahora propone un valor, a partir de una distribución simétrica (para hacer las cosas lo más simples posible), indicado con $ \ theta ^ * $. Luego calculamos el siguiente $$ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ y tomamos muestras de la distribución uniforme $$ u \ sim \ text {Unif} (0,1). $$ Ahora, si $ u <\ alpha $ establece $ \ theta ^ 1 = \ theta ^ * $, de lo contrario $ \ theta ^ 1 = \ theta ^ 0 $.

Luego repite los mismos pasos para encontrar los valores de $ \ theta ^ 2, \ theta ^ 3, ... $, hasta la convergencia.


niandra82 05/11/2018.

Todavía tienes mucha confusión. Trataré de explicarlo con un ejemplo.

Supongamos $ \ mathbf {Y} = (y_1, \ dots, y_n) '$, y tiene $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, con $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$ es decir, un modelo de regresión. Entonces tus parámetros son $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. La observación, dada $ \ theta $, es independiente y luego la probabilidad es $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ donde $ f (y_i | \ theta) $ es normal con mean $ \ beta_0 + \ beta_1x_i $ y varianza $ \ sigma ^ 2 $.

Como puede ver, generalmente puede calcular $ f (\ mathbf {Y} | \ theta) $ ya que es su modelo, es lo que supone.

Por supuesto, también debe definir previamente para $ \ beta_0 $, $ \ beta_1 $ y $ \ sigma ^ 2 $, esto es $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) $, por ejemplo.

$ f (\ mathbf {Y} | \ theta) $ no es igual a $ f (\ mathbf {Y}) $ porque la probabilidad normal depende de los parámetros $ theta $.

Ahora, si quiere tener muestras posteriores, $ f (\ theta | Y) $, comienza a definir un valor inicial $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ y $ \ sigma ^ {2,0} $ , propones algunos valores nuevos, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ y $ \ sigma ^ {2, *} $, y usando la respuesta que di anteriormente puedes actualizar tus parámetros. Observe que $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$ donde $ f (y_i | \ theta ^ *) $ es normal con mean $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ y varianza $ \ sigma ^ {2, *} $.

Por cierto: no es necesario calcular el posterior, la idea es obtener muestras del psoterior $ f (\ theta | \ mathbf {Y}) $

Related questions

Hot questions

Language

Popular Tags