Aspect Model

Document と Term のそれぞれの集合と結び付く Latent Class を用いた Model

$$\begin{eqnarray*} \left\{ \begin{array}{rll} \rm {Document\ Class}: {\cal D} ... ..._K \bigl\}\ \ (K \ll \{N,M\}) \end{array} \right. \nonumber \\ \end{eqnarray*}$$

$P(d,w)$ を Bayes 則により求める.

$$\begin{eqnarray*} P(d,w) &=& P(d)P(w\vert d) \\ P(w\vert d) &=& \sum_{z \in {... ...(z\vert d) \\ P(z\vert d) &=& \frac{P(z)}{P(d)}P(d\vert z) \\ \end{eqnarray*}$$

これらより

$$\begin{eqnarray*} P(d,w) &=& \sum_{z \in {\cal Z}} P(z) P(w\vert z) P(d\vert z) \end{eqnarray*}$$

尤度 ${\cal L}$ を

$$\begin{eqnarray*} {\cal L} = \sum_{d \in {\cal D}} \sum_{w \in {\cal W}} n(d,w) \log P(d,w) \\ n(d,w) = \rm {Term\ Frequency\ of\ w\ in\ d} \\ \end{eqnarray*}$$

とするとき, ${\cal L}$ を最大にするように, 各パラメータ( $P(w\vert z),P(d\vert z),P(z)$)を 学習させたい