PLSI と LSI の比較

• LSI
  $$\begin{eqnarray*} \rm {N = U S V^t},\ \ \rm {(U^t U = V^t V = I,\ \ S = Singular\ Value)} \end{eqnarray*}$$
  
  
  
  
  
  $S$ の大きいものから K こ取り,残りを 0 とする ($=\hat{S}$)
  $$\begin{eqnarray*} \rm {N_{LSI} = U \hat{S} V^t \simeq U S V^t = N} \end{eqnarray*}$$
  
  
  
  
  
  ↓
  ガウス2乗誤差を最小にするような圧縮
• PLSI
  
  $$\begin{eqnarray*} \rm {N_{PLSI} = \hat{U} \hat{S} \hat{V}^t}\ \ \rm {(\hat{U}... ...\vert z_k)_{j,k}},\ \ \rm {\hat{S}} = \it {diag(P(z_k))_{k}}) \end{eqnarray*}$$
  
  
  
  
  
  ↓
  確率の尤度を最大にするような圧縮