LSI

Latent Semantic Indexing

• Document, Term からなる 高次元のベクトル空間を, SVD (Singlar Value Decompositon) を利用して,低次元のベクトル空間に射影(圧縮)
• 共起しやすい2つの単語が, 隣接するベクトルに射影
• 単語ベクトルの smoothing, robust なシステム

$$\begin{eqnarray*} \rm {N = U S V^t},\ \ \rm {(U^t U = V^t V = I,\ \ S = Singular\ Value)} \end{eqnarray*}$$

$S$ の大きいものから K こ取り,残りを 0 とする ($=\hat{S}$)

$$\begin{eqnarray*} \rm {N_{LSI} = U \hat{S} V^t \simeq U S V^t = N} \end{eqnarray*}$$

SVD は, 圧縮の手法の1つにすぎない. 確率の尤度を最大にするような圧縮を提案 $\rightarrow$ PLSI