Calcule la probabilidad en Metropolis-Hastings: ¿Cómo se relaciona con un análisis posterior en Bayesian?

Kim 05/06/2018. 2 answers, 176 views
bayesian mcmc metropolis-hastings

Pregunta básica sobre el algoritmo MCMC Metropolis-Hastings. Intento entender el algoritmo de Metropolis-Hastings y su conexión con el Análisis Bayesiano. Supongamos que quiero construir un algroritmo MH MCMC para evaluar mi distribución posterior en mi Análisis Bayesiano.

Estoy viendo el paso donde se calcula $ \ alpha $: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | \ textbf {Y})} $$ Aquí he asumido (por simplicidad) que mi densidad de prposición en el algoritmo MH es simétrica.

$ P (\ theta ^ * | \ textbf {Y}) $ es la probabilidad de $ \ theta ^ * $ dados nuestros datos. Entonces, básicamente, antes del algoritmo MH, tenemos que asumir una distribución para $ \ theta $, ¿verdad? ¿Y es $ P (\ theta ^ * | \ textbf {Y}) $ nuestra distribución posterior? ¿Cómo calculo $ P (\ theta ^ * | \ textbf {Y}) $ ?

Además, siéntase libre de proporcionar una explicación oral (en palabras) de $ P (\ theta ^ * | \ textbf {Y}) $ y su conexión es la distribución posterior que deseamos calcular. Mi confusión surge con el hecho de que no podemos conocer nuestra distribución posterior y ese es el objetivo de MH. Entonces, ¿cómo puede comput la probabilidad ...

2 Answers


niandra82 05/06/2018.

Hay mucha confusión Desea evaluar el posterior $$ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y})} $$ donde uso $ f () $ para indicar una densidad, para que sea lo más general posible. Debe decidir la probabilidad de su modelo, es decir, $ f (\ mathbf {y} | \ theta) $, y el anterior sobre $ \ theta $, es decir, $ f (\ theta) $. En otras palabras, debes asumir una distribución particular para cada uno de ellos. Entonces sabes las formas funcionales de ambos.

Para obtener muestras del posterior usando un MH, eliges un valor inicial de $ \ theta $, que llamamos $ \ theta ^ 0 $. Ahora propone un valor, a partir de una distribución simétrica (para hacer las cosas lo más simples posible), indicado con $ \ theta ^ * $. Luego calculamos el siguiente $$ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ y tomamos muestras de la distribución uniforme $$ u \ sim \ text {Unif} (0,1). $$ Ahora, si $ u <\ alpha $ establece $ \ theta ^ 1 = \ theta ^ * $, de lo contrario $ \ theta ^ 1 = \ theta ^ 0 $.

Luego repite los mismos pasos para encontrar los valores de $ \ theta ^ 2, \ theta ^ 3, ... $, hasta la convergencia.


niandra82 05/11/2018.

Todavía tienes mucha confusión. Trataré de explicarlo con un ejemplo.

Supongamos $ \ mathbf {Y} = (y_1, \ dots, y_n) '$, y tiene $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, con $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$ es decir, un modelo de regresión. Entonces tus parámetros son $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. La observación, dada $ \ theta $, es independiente y luego la probabilidad es $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ donde $ f (y_i | \ theta) $ es normal con mean $ \ beta_0 + \ beta_1x_i $ y varianza $ \ sigma ^ 2 $.

Como puede ver, generalmente puede calcular $ f (\ mathbf {Y} | \ theta) $ ya que es su modelo, es lo que supone.

Por supuesto, también debe definir previamente para $ \ beta_0 $, $ \ beta_1 $ y $ \ sigma ^ 2 $, esto es $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) $, por ejemplo.

$ f (\ mathbf {Y} | \ theta) $ no es igual a $ f (\ mathbf {Y}) $ porque la probabilidad normal depende de los parámetros $ theta $.

Ahora, si quiere tener muestras posteriores, $ f (\ theta | Y) $, comienza a definir un valor inicial $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ y $ \ sigma ^ {2,0} $ , propones algunos valores nuevos, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ y $ \ sigma ^ {2, *} $, y usando la respuesta que di anteriormente puedes actualizar tus parámetros. Observe que $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$ donde $ f (y_i | \ theta ^ *) $ es normal con mean $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ y varianza $ \ sigma ^ {2, *} $.

Por cierto: no es necesario calcular el posterior, la idea es obtener muestras del psoterior $ f (\ theta | \ mathbf {Y}) $


HighResolutionMusic.com - Download Hi-Res Songs

1 (G)I-DLE

POP/STARS flac

(G)I-DLE. 2018. Writer: Riot Music Team;Harloe.
2 Ariana Grande

​Thank U, Next flac

Ariana Grande. 2018. Writer: Crazy Mike;Scootie;Victoria Monét;Tayla Parx;TBHits;Ariana Grande.
3 Imagine Dragons

Bad Liar flac

Imagine Dragons. 2018. Writer: Jorgen Odegard;Daniel Platzman;Ben McKee;Wayne Sermon;Aja Volkman;Dan Reynolds.
4 Clean Bandit

Baby flac

Clean Bandit. 2018. Writer: Jack Patterson;Kamille;Jason Evigan;Matthew Knott;Marina;Luis Fonsi.
5 Backstreet Boys

Chances flac

Backstreet Boys. 2018.
6 BTS

Waste It On Me flac

BTS. 2018. Writer: Steve Aoki;Jeff Halavacs;Ryan Ogren;Michael Gazzo;Nate Cyphert;Sean Foreman;RM.
7 Fitz And The Tantrums

HandClap flac

Fitz And The Tantrums. 2017. Writer: Fitz And The Tantrums;Eric Frederic;Sam Hollander.
8 BlackPink

Kiss And Make Up flac

BlackPink. 2018. Writer: Soke;Kny Factory;Billboard;Chelcee Grimes;Teddy Park;Marc Vincent;Dua Lipa.
9 Lady Gaga

I'll Never Love Again flac

Lady Gaga. 2018. Writer: Benjamin Rice;Lady Gaga.
10 Diplo

Close To Me flac

Diplo. 2018. Writer: Ellie Goulding;Savan Kotecha;Peter Svensson;Ilya;Swae Lee;Diplo.
11 Halsey

Without Me flac

Halsey. 2018. Writer: Halsey;Delacey;Louis Bell;Amy Allen;Justin Timberlake;Timbaland;Scott Storch.
12 Imagine Dragons

Machine flac

Imagine Dragons. 2018. Writer: Wayne Sermon;Daniel Platzman;Dan Reynolds;Ben McKee;Alex Da Kid.
13 Little Mix

The Cure flac

Little Mix. 2018. Writer: Pete Kelleher;Camille Purcell;Tom Barnes;Ben Kohn.
14 Bradley Cooper

Always Remember Us This Way flac

Bradley Cooper. 2018. Writer: Lady Gaga;Dave Cobb.
15 Calum Scott

No Matter What flac

Calum Scott. 2018. Writer: Toby Gad;Calum Scott.
16 Frida Sundemo

Apologize flac

Frida Sundemo. 2018.
17 Little Mix

Woman Like Me flac

Little Mix. 2018. Writer: Nicki Minaj;Steve Mac;Ed Sheeran;Jess Glynne.
18 Kelly Clarkson

Never Enough flac

Kelly Clarkson. 2018. Writer: Benj Pasek;Justin Paul.
19 Ashley Tisdale

Voices In My Head flac

Ashley Tisdale. 2018. Writer: John Feldmann;Ashley Tisdale.
20 Haley Reinhart

Something Strange flac

Haley Reinhart. 2018.

Related questions

Hot questions

Language

Popular Tags