Karpathy LLM Wiki pattern#
Andrej Karpathy 2026 áprilisában publikált minimal RAG-mintája. Központi gondolat: a klasszikus retrieval (vektor-DB, embedding, runtime keresés) helyett az LLM inkrementálisan compile-olja a tudást egy strukturált wikibe, ami időben felhalmozódik (compounds).
A három réteg#
| Réteg | Mire való | Példa nálunk |
|---|---|---|
| raw/ | Immutable forrás — cikkek, transzkriptek, chat-dump-ok, screenshot-olvasatok. Az LLM olvassa, de soha nem módosítja. | 10-raw/ |
| wiki/ | Desztillált, saját szavakkal átírt tudás. Az LLM ide ír — koncepciók, playbookok, glosszárium. Linkelt entries, konzisztens struktúra. | 11-wiki/ |
| agent munkavault | Spekulatív vázlatok, rendezetlen drag-drop. Itt nem-validált tartalom is lehet. | (most még nincs külön — a 08-Sessions/ tölti be ezt a szerepet) |
Compilation > Retrieval#
A klasszikus RAG: query → embed → keresés → top-k chunks → válasz.
Karpathy: query → olvasd a wiki-index.md-t → drill into wiki-page-ek → válasz.
Vector DB nincs. Embedding nincs. Index.md a térkép, a szemantikus struktúra a wiki-fájlokban.
Crystallization workflow#
Egy munkamenet (research thread, debug session, analysis) végén az LLM: 1. Az érintett 08-Sessions/ fájlt átolvassa 2. Készít egy 11-wiki/ digestet ami a tartós tanulságokat tartalmazza 3. Ha új koncepció került elő, külön wiki-bejegyzés 4. A 08-Sessions/ raw marad — referenciának
A nálunk lévő /11.11stop parancs ezt félig már csinálja: Summary + Learnings + Next session szekciók a session-ben. A teljes Karpathy-pattern szerint a Learnings bullet-jeit külön 11-wiki/ bejegyzésekbe is propagáljuk.
Operatív komponensek (Karpathy minimum-stackje)#
- CLAUDE.md / AGENTS.md = a "schema-brain" — entity-types, page-formátumok, workflow-szabályok. Az LLM első dolga olvasni.
- index.md = a "térkép" — minden mappához (Projects/Index.md, Hosts/Index.md, wiki/Index.md). Az LLM ezzel navigál a kérdés feltevése után.
- Vector DB nincs — index + drill-down megoldja "hundreds of pages"-ig (~200-300 fájl).
Mit veszünk át, mit nem#
| Karpathy mintája | Nálunk |
|---|---|
raw/ mint immutable forrás | ✅ 10-raw/ létezik |
wiki/ mint desztillátum | ✅ 11-wiki/ létezik (most fejlesztjük) |
| Agent-munkavault külön | 🟡 Részben — 08-Sessions/ betölti, de tisztán nem szétválasztva |
| index.md per mappa | 🟡 02-Projects/Index, 03-Hosts/Index, 06-Audits/Index, 10-raw/Index, 11-wiki/Index van — bővítve |
| Crystallization workflow | 🟡 /11.11stop félig — bővíthető wiki-propagációval |
| CLAUDE.md schema-brain | ✅ AGENTS |
Production validation — GenericAgent L0-L4 párhuzam (2026-05-11)#
Egy 10.7k★ kínai self-evolving agent framework, lsdefine/GenericAgent (arXiv 2604.17091), ugyanazt a 5-rétegű Karpathy-mintát választotta production-szintre — két különböző projekt egymástól függetlenül erre konvergált:
| GenericAgent | Saját vault |
|---|---|
| L0 — Meta Rules (alap-viselkedés + system constraints) | 00-Meta/ (Tag-taxonomy, Frontmatter-schema, AGENTS.md) |
| L1 — Insight Index (minimális index, gyors routing/recall) | 02-Projects/Index, MEMORY.md |
| L2 — Global Facts (long-term stabil tudás) | 05-Memory/User, 05-Memory/Infrastructure |
| L3 — Task Skills / SOPs (reusable workflow-ok) | 11-wiki/ evergreen playbookok |
| L4 — Session Archive (kész taskok desztillált rekordjai) | 08-Sessions/ |
9 atomic tool ≈ saját stack:
code_run,file_read/write/patch≈ Bash, Read, Write, Editweb_scan,web_execute_js≈ WebFetch, WebSearchask_user≈ AskUserQuestionupdate_working_checkpoint,start_long_term_update≈11.11note,11.11stopcrystallization
Kulcskülönbség: autonómia-szint. GenericAgent autonomous-skill-growth (minden task után auto-crystallize), saját rendszerünk human-in-the-loop (batch preview + user approval /11.11stop-nál). A memory-struktúra ugyanaz, az autonómia-szint különbözik.
Takeaway: ha valamikor PaaS-szerű agent-rendszert építünk (pl. MyForge OS részeként), a 9-atomic-tool + L0-L4-réteg minta jó starting skeleton.
External implementations of the same pattern#
A "Karpathy LLM-Wiki" minta nem csak nálunk élünk vele — több 2025-2026-os külső projekt explicit-én hivatkozik rá és bővíti különböző irányokba. Mindezek komplementer erőforrások, NEM helyettesítők — a saját stack-ünk safety + crystallization + RSI-réteg egyedi értéke.
rohitg00/agentmemory (2026-05-20 verified)#
- Repo: https://github.com/rohitg00/agentmemory v0.9.21 (15k★, TypeScript)
- Explicit Karpathy-extension: README mondja: "The gist extends Karpathy's LLM Wiki pattern with confidence scoring, lifecycle, knowledge graphs, and hybrid search: agentmemory is the implementation."
- Stack: iii-engine 0.11.6 runtime, REST :3111, 53+ MCP tools, 12 auto-hooks, 950+ tests, 0 external DBs (file-based KV)
- Operation modes: noop (no LLM key, BM25+lexical), LLM-mode (Anthropic/OpenAI/Gemini compression+reflection)
- A mi benchmark-unk (fair n=89 corpus 573 vault-doc, noop-mode): 76.4% R@5 — 20pp jobb mint vault-search alone
- Production-use: ensemble-component a
vault-search-fusionRRF-stack-ben (2026-05-20 LANDED) - Lesson: ha valaki külön implementálja ugyanazt a Karpathy-mintát, ne félj — gyakran complementary signal-forrás lesz, NEM duplikát. RRF-merge a két implementation-ből +23pp recall-t adott.
- Részletek: rrf-hybrid-fusion-retrieval-pattern · ../06-Audits/2026-05-20 agentmemory head-to-head LongMemEval-S R@5 — TIE 52.81 percent, 22pp ensemble-gain potential · ../07-Decisions/2026-05-20 Production retrieval-stack v2 — RRF hybrid-fusion architecture
Kapcsolódó#
- 11-wiki/Johnny-Decimal-prefix
- 11-wiki/11.11-session-protokoll
- 11-wiki/Kepano-File-over-App-filozofia
- rrf-hybrid-fusion-retrieval-pattern — RRF hybrid-fusion 2 Karpathy-implementation-ből
- 07-Decisions/2026-04-23 Vault design - NotebookLM research findings
- 07-Decisions/2026-04-23 Claude Code Agentic OS - build plan
- 08-Sessions/2026-05-11-github-repo — GenericAgent README elemzés + L0-L4 párhuzam felfedezés
- 10-raw/2026-04-23 — NotebookLM briefing - Obsidian vault AI agent infra