30 題自建測試集 · 量的是 vault_search 的 production 路徑（qsc-cli.ts，與 MCP 工具同源）· 取前 20 名 · 3 趟結果完全一致 · 2026-09-17 14:59
秒回的那支（vault_search）只找得到你已經知道名字的東西。三十題裡，問「哪一部電影／哪一本書」這種帶得出專有名稱的，六題全部第一名命中；問「我說過什麼」「哪一場夢查到什麼」「那個坑怎麼解的」這種只記得內容的，踩坑卡 4 題、夢境 3 題、原始捕捉 2 題全軍覆沒，前二十名裡連影子都沒有，整體 Recall@10 只有 43%。
慢的那支（vault_query）把大部分撈回來了——Recall@10 從 43% 跳到 83%。夢境 0/3 變 3/3、原始捕捉 0/2 變 2/2、踩坑卡 0/4 變 3/4，代價是每題等 22 秒而不是 1 秒。所以這套的實情是：搜不到不代表沒有，只代表用錯了那一支。
| 引擎 | Recall@1 | Recall@3 | Recall@5 | Recall@10 | Recall@20 | MRR | 中位耗時 |
|---|---|---|---|---|---|---|---|
| vault_search（關鍵字，秒回） | 30% | 33% | 40% | 43% | 53% | 0.345 | 0.94s |
| vault_query（深度語意） | 47% | 67% | 70% | 83% | 90% | 0.582 | 21.91s |
Recall@K＝正解文件出現在前 K 名的題數比例；MRR＝正解名次倒數的平均（1.0 代表每題都排第一）。三趟重跑名次一次都沒抖，所以這組數字不是抽樣雜訊。
| 類別 | vault_search | vault_query | ||
| 生活領域 | 2/2 | 100% | 2/2 | |
|---|---|---|---|---|
| wiki 作品條目 | 6/6 | 100% | 6/6 | |
| 資料夾筆記 | 3/4 | 75% | 4/4 | |
| wiki 來源整理 | 1/2 | 50% | 1/2 | |
| 洞見卡 | 1/4 | 25% | 2/4 | |
| 夢境 | 0/3 | 0% | 3/3 | |
| 踩坑卡 | 0/4 | 0% | 3/4 | |
| 專案 | 0/1 | 0% | 0/1 | |
| 原始捕捉 | 0/2 | 0% | 2/2 | |
| wiki 概念 | 0/2 | 0% | 2/2 |
| 題號 | 問題 | 類別 | vault_search | vault_query |
| v01 | 哪一部星艦電影是企業號被一個瓦肯人劫持、跑去宇宙中心找神？ 正解：星艦奇航記5終極先鋒 | wiki-entity | 第 1 | 第 4 |
| v02 | 湯川學那個系列裡，有一部發生在海邊小鎮、一家人沉默守了十六年的謊，是哪一部？ 正解：破案天才伽利略-真夏方程式 | wiki-entity | 第 1 | 第 1 |
| v03 | 有部片講律師被兒子的生日願望詛咒到說不出謊話，台灣片名是什麼？ 正解：王牌大騙子 | wiki-entity | 第 1 | 第 1 |
| v04 | 日昇和 SHAFT 首度合作、Netflix 全球獨家的那部動畫，原作漫畫是哪一部？ 正解：愚者之夜 | wiki-entity | 第 1 | 第 7 |
| v05 | 那部七英里寬彗星要撞地球、政府一邊挖地下避難所一邊派太空船去炸的片，我有存嗎？ 正解：彗星撞地球 | wiki-entity | 第 1 | 第 1 |
| v06 | 「那身本事從來沒有真正離開過他」是我給哪一部電影寫的一句話？ 正解：暴力效應 | wiki-entity | 第 1 | 第 1 |
| v07 | 我看過哪一份整理在講用 Obsidian 的屬性跟視圖取代資料夾層級來管筆記？ 正解：note-organization-automation | wiki-source | 第 5 | 第 19 |
| v08 | Meta 那副智慧眼鏡對外部開發者到底開放到什麼程度？ 正解：meta-rayban-dev-ecosystem | wiki-source | 第 13 | 第 2 |
| v09 | Y Combinator 執行長替自己的 AI 做的那個記憶層叫什麼、用什麼授權開源？ 正解：GBrain | wiki-concept | 第 14 | 第 3 |
| v10 | 有一個把運氣拆成四個因子相乘的模型，那四個因子分別是什麼？ 正解：運氣設計-luck-as-designable-system | wiki-concept | 找不到 | 第 3 |
| v11 | 為什麼把規矩寫進一份要人自己去翻的文件裡，擋不住同一個錯誤重複發生？ 正解：rule-in-doc-cannot-gate-the-action | pitfall | 找不到 | 找不到 |
| v12 | 抓 Instagram 短影音的說明文字常常抓到空的，那時候改用什麼辦法讀內容？ 正解：IG-Reel-curl抓caption常回空值-改用縮圖crop讀疊字fallback | pitfall | 找不到 | 第 2 |
| v13 | 把一個 LINE 群從共用的那條升成自己獨立一條，步驟順序弄錯會發生什麼事？ 正解：Tier-1-LINE-group-bootstrap-SOP | pitfall | 找不到 | 第 7 |
| v14 | 我以前用「不急」「有空再看」那套講法，後來被什麼規則取代掉？ 正解：不急-有空-這類-deflection-話術曾經生效-但下次-incident | pitfall | 找不到 | 第 1 |
| v15 | 我哪一場夢查到貝特森講的「學習如何學習」？ 正解：2026-04-24-gregory-bateson-learning-mamoru-oshii-ghost-nassim-dream | dream | 找不到 | 第 2 |
| v16 | 哪一場夢引到梅多斯那本系統思考的入門書？ 正解：2026-06-30-crenshaw-intersectionality-ghost-shell-oshii-meado-dream | dream | 找不到 | 第 1 |
| v17 | 哪一場夢讀到維納他們那篇談行為、目的與目的論的論文？ 正解：2026-04-22-norbert-wiener-cybernetics-norbert-wiener-feedback-dream | dream | 找不到 | 第 1 |
| v18 | 我說過 agent 的事件紀錄應該長得像哪一種軟體的介面？ 正解：Agent-事件簿該長得像剪輯軟體的音波圖 | insight | 找不到 | 第 1 |
| v19 | 我說過把這套系統開源出去，真正幫買的人省下的是什麼？ 正解：開源產品賣的是省下教AI的功夫 | insight | 找不到 | 找不到 |
| v20 | 我判斷電商接下來的新戰場會是什麼？ 正解：2026-07-24-電商AI-Agent友善化是未來路線 | insight | 第 1 | 第 1 |
| v21 | 我用什麼比喻講六條 session 各自的記憶跟共用的東西？ 正解：一個家有六個兄弟還需要一個大白板 | insight | 找不到 | 第 15 |
| v22 | WWDC 上發表的新版語音助理是靠什麼技術驅動的？ 正解：Siri-美國 | resource | 第 1 | 第 1 |
| v23 | 把每一個技能當成有生命週期的迷你產品來管，那套設計叫什麼？ 正解：架構-Skill-as-App-自演化生命週期 | resource | 第 4 | 第 1 |
| v24 | 我存過哪一篇在談競爭之下的比較心態、為什麼老覺得比不上別人？ 正解：對照別人的-台灣 | resource | 第 1 | 第 1 |
| v25 | Anthropic 自己內部把技能用在哪幾種情境？ 正解：2026-03-19-Claude-Code-Skills-學習心得 | resource | 找不到 | 第 1 |
| v26 | 那道松阪豬拌拉麵的醬料要放哪幾樣？ 正解：2026-06-28-matsuzaka-oil-ramen | raw | 第 11 | 第 3 |
| v27 | 多倫多影展那份十部片的清單裡，丹尼鮑伊拍的是哪一部？ 正解：2026-08-15-filmtvrate-2026多倫多影展TIFF片單 | raw | 找不到 | 第 1 |
| v28 | 四月那份交接筆記裡，定下的長期節奏是在什麼前提下談成的？ 正解：交接-04-09 | area | 第 2 | 第 8 |
| v29 | 有一份規則要求每一輪開頭先校時、再把自己讀一次，那份是什麼？ 正解：每輪強制注入行為準則 | area | 第 6 | 第 6 |
| v30 | 高雄那場小聚的簡報主張哪兩件事？ 正解：deck-個人筆記閉環系統 | project | 找不到 | 找不到 |
deflection 話術命中 0.048，同一份文件用完整問句問只剩 0.023，而且被一堆 daily 流水帳擠掉——問句裡的「我」「以前」「那套」「後來」「什麼」到處都有，詞一多就把真正的答案稀釋掉。照 WeKnora 教材那套：每題保存問題、標準答案、必要來源文件、允許的同義表達，題目按 Vault 的分區分層抽（wiki 條目／來源／概念、踩坑卡、夢境、洞見、資料夾筆記、原始捕捉、生活領域、專案），每題的正解都是一份唯一存在且已在索引裡驗過的檔案。
問題一律用自然講法問，不抄原文的關鍵句——抄了就等於把答案餵給關鍵字比對，量出來的分數是假的。測試集自己放在 drafts/memory-benchmark/ 底下，排序器的 excludeBenchSelf 會把它剔除，不會自己搶排名。
檔案：drafts/memory-benchmark/vault30/questions.jsonl（題庫）、run.py（量具）、results-search.json／results-query.json（原始結果，含每題前五名）。重跑一次就是 python3 run.py --mode search --trials 3。