著者・出版社・関連アーティスト
商品説明
人気シリーズの第6弾。今回のテーマは「大規模言語モデル(LLM)」です。ChatGPTの魔法のような能力、その仕組みを自らの手で解き明かしてみませんか?本書では、トークナイザからTransformer、事前学習から事後学習まで、LLMを支える技術をゼロから実装します。実装の舞台となるのは、CodeBot→StoryBot→WebBotという3段階のチャットボット開発。作るほどに、見えてくる―そんな読書体験が待っています。
関連記事
収録内容
| 1 | 第1部 基本編―CodeBotを作る(トークナイザ 基本編 |
| 2 | モデル 基本編 |
| 3 | 学習 基本編) |
| 4 | 第2部 応用編―StoryBotを作る(トークナイザ 応用編 |
| 5 | モデル 応用編 |
| 6 | 学習 応用編) |
| 7 | 第3部 挑戦編―WebBotを作る(トークナイザ 挑戦編 |
| 8 | モデル 挑戦編 |
| 9 | 学習 挑戦編) |
| 10 | 付録A UTF‐8エンコーディングの仕組み |
| 11 | 付録B Attentionのスケーリング効果の証明 |
| 12 | 付録C ベースライン付き方策勾配の不偏性の証明 |
| 13 | 付録D Adamのバイアス補正 |
| 14 | 付録E DPOの最適解の導出 |
