LLM-wiki パターン (Karpathy)

要点: RAG で毎回 raw chunk を retrieve する代わりに、LLM が incrementally build して維持する wiki を持つ。raw sources / wiki / schema の 3 層、ingest / query / lint の 3 操作。人間が curate + 意味を考える、LLM が cross-reference 保全と更新伝搬を担う。

出典#

Karpathy, "LLM Wiki" gist (gist.github.com/karpathy/442a6bf...)

3 層モデル#

Raw sources は「素材」、wiki は「結晶」、schema は「作法」。

3 操作#

Ingest (source を追加した時)#

LLM が実行:

1. 新 source を読む
2. 主要 takeaway を抽出
3. summary page を書く
4. 影響する entity / concept page を横断して更新
5. log.md に 1 行 append

単一 source が複数 page に touch するのが正常。

Query (質問を投げる時)#

LLM が実行:

1. 関連 wiki page を検索
2. citation 付きで synthesize
3. 有用な結果は wiki に filed back (query が新規知見を生む場合)

Lint (定期健診)#

LLM が実行:

• 矛盾検出 (A の記述が B と食い違う)
• stale claim (数値・API が現実と乖離)
• orphan page (被 link ゼロ)
• 欠けている cross-reference
• 未カバー領域

Index と Log#

Karpathy は 2 つの構造要素を推奨:

• index.md: 内容軸の catalog。カテゴリで並べる。fumadocs の auto-sidebar (file 順) では足りない
• log.md: append-only chronological。parseable timestamp で wiki の evolution を追える

なぜ機能するか#

• メンテナンスの経済性が反転: 人間が wiki を諦める理由は cross-reference 保全のコストが perceived value を上回るから。LLM は忘れないし、15 file を 1 pass で touch できるので保全がほぼ無料
• 役割分担: 人間 = source curate + 意味を考える、LLM = 保全 + 更新伝搬

従来 RAG との違い#

実装のヒント#

• 「pattern is intentionally abstract, modular」— pick what's useful
• CLAUDE.md を co-evolve させる (domain に合わせて schema を育てる)
• Raw sources / wiki / schema の責務境界を守る (人間が wiki に生素材を放り込まない、LLM が raw を書き換えない)
• 「複数 page に触れることを恐れない」を schema に明記 (LLM は控えめになりがち)

関連#

• 個人 wiki 機能一覧
• claude context injection