岩波書店 確率と情報の科学シリーズ
『統計的テキストモデル』
持橋大地 著
(2025/7/1発売予定) [Amazon] [岩波書店公式]
正誤表はこちら: errata.html

本書の特徴

• 統計的自然言語処理を基礎から学ぶための教科書です。深層学習フレームワークで自然言語処理を「やった気」になるのではなく, 確率や情報理論の基礎から始めて, ブラックボックスを使わずにテキストを統計的に扱えるようになることを目指しています.
• Pythonを使って実際の計算例を示しながら解説しています. 計算例は, 下のJupyter NotebookおよびGoogle Colaboratoryですべて試すことができます.
• TransformerやLSTMといった多層の深層学習はその動作原理(実装や目的関数ではなく)がほとんど不明なため含めていませんが, 単語ベクトルや文ベクトル, 文書ベクトルなどについては知られている数理的背景を丁寧に解説しています.
• トピックモデルや隠れマルコフモデル, そのためのEMアルゴリズムやGibbsサンプリングのような学習法についても, 可能な限りわかりやすく説明しています.
• 内容的には初心者の方, 特に人文系の方でも理解できるように注意を払いましたが, 専門家に近い方でも楽しめるよう, レベルの高い話も脚注等で随所に盛り込んでいます.

Python実習ノートブック, スクリプト, データ

章	内容	実習Notebook	Colaboratory	スクリプト+データ
2章	文字の統計モデル	char.ipynb		char.tar.gz (2.6MB)
3章	単語の統計モデル	word.ipynb		word.tar.gz (826MB)
4章	文の統計モデル	sent.ipynb		sent.tar.gz (489MB)
5章	文書の統計モデル	doc.ipynb		doc.tar.gz (112MB)

コラム・本文 (抜粋)

• テキスト処理のための言語 (2章) [PDF] (2023/12/19更新)
• 文字列の確率と情報理論的入力システムDasher (2章) [PDF]
• 単語の前処理について (3章) [PDF] (2023/6/4)
• 文の長さの確率分布について (4章) [PDF] (2024/7/23)
• LDAのハイパーパラメータのベイズ推定について (付録) [PDF] (2023/6/4)
• 単語ベクトルのICA(独立成分分析)について (5章) [PDF] (2023/12/24)

プレビュー (クリックで拡大します)

ベイズの定理 (2章)	"単語"のランダム生成 (2章)	ディリクレ分布 (3章)	単語ベクトルの分布 (3章)

スクリプト

データ

LaTeX Tips

News:

• 本書の発売に伴い, 本サポートページをリニューアルしました。(2025/6/17)
• 本書の出版準備に伴い, 草稿PDFの公開を停止しました. (2025/3/31)
• 初校で発見されたバグを修正した, 最終版γ版を更新しました. (2025/2/20)
• 編者からのコメントも反映した最終版γ版を更新しました. (2024/12/09)
• 最終調整および「あとがき」も含めて執筆はすべて終了し, ほぼ最終版のγ版を更新しました. (2024/11/23)
• 岩波書店のチェックも反映し, 現在, 最終調整中です. 完成直前のγ版を公開しました. (2024/11/2)
• 細かいところを修正した最新版を, 随時更新しています. (2024/7/1)
• 全体のβ版を公開しました. 原稿は現在推敲中です. (2024/4/30)
• 執筆が最後まで到達し, 文書の統計モデルの章を公開しました. その他の章も, 最新版に更新されています. (2024/4/25)
• 本書のコラムの一部を公開しました. (2023/6/4)
• α版の細かい点を修正しました. (2022/9/22)
• 3章までのα版を公開しました. (2022/9/15)