Leo/Arcrun
1
0
Fork 0
Code Issues 49 Pull Requests 5 Actions Packages Projects Releases Wiki Activity
363 Commits 27 Branches 0 Tags
fix/instructions-knowledge-entrypoint
Commit Graph

4 Commits

Author SHA1 Message Date
uncle6me-web 05b215c9f7 語意門檻改相對式＋下架連帶刪向量（leo 兩個實測回饋） 
## ① 「關懷型 AI 命中 20 筆、只有前 3 筆相關」⇒ 閾值太寬（leo 判斷正確）
固定門檻兩頭都不對，因為每個查詢的分數尺度不同（實測 youlin 實例）：
  關懷型 AI          正解 0.645-0.770，雜訊起於 0.547  ← 固定 0.5 放進 6 筆雜訊
  閉環機             正解 0.552-0.638，雜訊起於 0.446  ← 固定 0.6 砍到剩 2/4（＝早上的 0 命中）
  人力媒合系統規劃書   正解 0.842，雜訊起於 0.550
⇒ 改**相對門檻** max(0.45, top×0.8)。五組實測：固定 0.5 混入 9 筆雜訊／
  固定 0.6 有兩組正解被砍／相對式四組雜訊 0 且正解全留。

## 🔴 寫測試才發現的真問題：門檻不能在 Vectorize 那層算
Vectorize 的 indexed metadata 沒有 status ⇒ 那層不知道誰已下架。
若最高分是下架殘影（t24 復現案 0.971），拿它算門檻＝0.777，
會把 0.6 的正解一起砍光 ⇒ **又變成 0 命中**。
⇒ 相對門檻移到 routes/entries.ts，接在「hydrate＋濾下架」之後；
  embed.ts 只留絕對下限。新增測試鎖住這個順序。

## ② leo：「理論上它的向量也要刪掉，就不會有殘影了吧？」——對，補上
單筆真刪已接 deleteByIds（b7af622），但「移除整個庫」走軟刪、向量原地不動。
⇒ deprecate-by-library 同時 deleteByIds ＋ is_embedded 歸零（D1 與 Vectorize 不說兩套話）；
  backfill 兩條路徑（含 reindex）都排除 deprecated，否則下次補嵌會把殘影養回來。
不違背 t135「資料保留可還原」：D1 那列原封不動，還原後跑 backfill 重嵌即可。
回應新增 vectors_deleted，刪失敗誠實回 0 不假裝清乾淨。

驗：kbdb 91/91 綠（新增 4 項相對門檻測試，含「下架殘影不得決定門檻」）

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-05 18:47:10 +08:00
uncle6me-web 0ff369f818 修語意搜尋全 0 命中：分數門檻沒跟著 bge-m3 換代（換模型漏掉的第五處） 
leo 2026-08-05 實撞：「新上傳的『loop-engine-north-star.md』語義 0 命中，
但舊的『人力媒合系統規劃書』語義 2 命中」。

## 根因不在向量——向量是好的
直打 Vectorize 實測（youlin 實例、bge-m3、1024 維 index）：
  搜「閉環機」→ loop-engine-north-star.md 穩坐第 1-4 名（0.638/0.603/0.588/0.552）
D1 與 Vectorize 也對得上：659 筆 embeddable 全 is_embedded=1、index vectorCount 659。

真兇是 **min_score 門檻綁在舊模型的分數尺度上**：
  舊 bge-base-en-v1.5：中文分數全擠 0.65-0.90（沒區辨力）⇒ t183 取 0.75 砍雜訊，對
  新 bge-m3          ：尺度整體下移（相關 0.5-0.85、雜訊 0.4 上下）⇒ 0.75 砍掉的是正解
leo 看到的「舊檔中、新檔不中」由此而來——「人力媒合系統規劃書」拿 0.842 僥倖存活，
其餘全被門檻掃掉。08-05 換 bge-m3 的「四處同步」清單（embed.ts／deploy.ts／
deploy-all.mjs／worker.js）**漏了這第五處**，因為它不在 kbdb 而在 portal 呼叫端。

## 改動
· kbdb/src/embed.ts：新增 DEFAULT_MIN_SCORE=0.5，**緊鄰 DEFAULT_EMBED_MODEL**
    ——門檻是模型的性質，放模型旁邊，下次換模型的人一定會看到
· cypher-executor/src/routes/portal-data.ts：拿掉硬寫的 0.75，
    只在使用者顯式指定時才傳 min_score（不再各自持有一份數字＝不再漂移）
· console-ui/public/portal/os-split.test.mjs：修好被今天 fe0ee82 弄壞的自測
    （結尾標記寫死文案 ⇒ 改文案就炸「抽不到函式區塊」；改成錨定結構）
    ＋斷言同步改成 Mac 給 DMG

## 0.5 怎麼來的（實測分布，不是猜的）
「閉環機」            0.638/0.603/0.588/0.552 全是目標檔 ── 斷崖 ── 0.446 才是雜訊
「火星座標 奧林帕斯山」 0.750…0.500 全對，0.475 以下才是雜訊
「人力媒合系統規劃書」   0.842 對，0.550 起是雜訊
誠實 trade-off：0.5 非每個查詢都乾淨（「AI 上課名冊」0.658 的 ax-academy 會擠進來），
但「偶有雜訊」遠優於現況「什麼都搜不到」。

## 驗
· kbdb 87/87 綠（三筆斷言隨新契約更新：預設不再是「不過濾」）
· cypher-executor 9 failed/301 passed＝**與改動前逐數相同**（git stash 前後各跑一次）⇒ 既有債
· portal os-split 自測 10/10 綠

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-05 18:00:43 +08:00
uncle6me-web dd78b770a9 fix(kbdb): /entries/search 服務端濾 deprecated（keyword+semantic），修下架不生效 
daemon-beta t24（t11 斷點①②，總管 0.971 親復現）：rag_takedown_direct 下架只把
metadata_json.status 標 deprecated（軟刪，append-only），但 /entries/search 兩 mode
都不濾，已下架內容照樣回傳——semantic 甚至最高分照吐。過去唯一的濾層只在
cypher-executor/portal-data.ts 客端（Arcrun#46），沒部署 rag_chat 的實例等於完全沒濾。

- entry-crud.ts：新增 json_extract($.status) NOT_DEPRECATED_PREDICATE（同 source/library
  既有 json_extract 模式，issue #5.1/#18；不用 LIKE 避免 JSON 序列化格式誤判）；
  searchEntries 新增 includeDeprecated 參數（尾端新增，向後相容）。
  新增 isDeprecatedEntry：semantic 路徑用（Vectorize metadata 沒存 status，只能 hydrate
  回完整 entry 後 JS 側判斷）。
- entries.ts：/entries/search 新增 include_deprecated 開關（預設 false，濾掉；true 給
  管理面查殘留）。semantic 分支補位——過濾生效時先以 topK×3（封頂 100）向 Vectorize
  多撈，hydrate+濾完再截斷回 caller 要求的量，避免命中大半下架時整頁被吃光
  （t11 ZZ-T10 實測案例）。
- Vectorize 向量殘留本 PR 不動（只做查詢時過濾，not 同步刪向量）——取捨見 PR 描述。

測試：新增 search-deprecated-filter.test.ts 15 案（keyword 濾/include_deprecated 開關/
semantic 濾+補位+封頂+截斷/isDeprecatedEntry 單元）；同步更新 search-source-and-score.test.ts
3 案的 topK 期望值（route 補位改變送進 Vectorize 的實際 topK，回應對外契約不變）。
kbdb 全套 60/60 綠、tsc --noEmit 乾淨。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-24 16:35:17 +08:00
Claude 65d85eb08f fix(kbdb): search keyword 補 source filter（#66）＋semantic 曝 top_k/min_score 帶 score（#67） 
#66：/entries/search keyword 路徑 source 解析後丟棄（#5.1 只接了 listEntries 那半）——
searchEntries 尾端加 source?（既有 positional caller 全不用改），conds 補與 listEntries
同款 json_extract(metadata_json,'$.source') 謂詞；route keyword 分支與 semantic 降級
分支兩處傳入。

#67：semantic 固定 topK=20、零分數閾值、低分尾硬湊數——route 曝 top_k（預設 20、封頂
100）與 min_score（預設 0＝不過濾）query 參數；semanticSearch 依 min_score 截低分尾；
semantic 回應 entry 附 score 欄（加欄不改形）。壞值（非數字/非正）視同沒帶，不 400。

向後相容：不帶新參數時輸出與現況一致（semantic 僅多 score 資訊）；不動表（D6）、
不動 D1 結構（API-as-Wall）。測試：新增 search-source-and-score.test.ts 13 條
（source 謂詞形狀/route 下傳/降級不洩 filter/min_score 截斷/topK 透傳封頂/壞值防呆/
不帶參數行為不變），kbdb vitest 33/33 綠、tsc 0。

關聯 #66 #67。merge 後需 gated redeploy kbdb worker（leo 閘）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01JUmjwkHLVBHM3ydhT1WSW3
 2026-07-19 07:53:46 +00:00