EM アルゴリズムによるパラメータ学習

実際の出力列(Term/Document の対応)は観察可能.
その時の内部状態( $P(w\vert z),P(d\vert z),P(z)$)のパラメータを学習したい. $\rightarrow$ EM アルゴリズムを使用

Expectation (E) Step と Maxmization (M) Step

• E-Step
  $$\begin{eqnarray*} P(z\vert d,w) = \frac{P(z)P(d\vert z)P(w\vert z)}{\sum_{z'} P(z') P(d\vert z') P(w\vert z')} \end{eqnarray*}$$
  
  
  
  
  

• M-Step
  $$\begin{eqnarray*} P(w\vert z) &=& \frac{\sum_{d} n(d,w) P(z\vert d,w)}{\sum_{d,... ...) &=& \frac{\sum_{d,w} n(d,w) P(z\vert d,w)}{\sum_{d,w} n(d,w)} \end{eqnarray*}$$
  
  
  
  
  
  実際には over fitting を避けるため, TEM (temperd EM) という手法を採用.