Leo/Arcrun
1
0
Fork 0
Code Issues 49 Pull Requests 5 Actions Packages Projects Releases Wiki Activity
326 Commits 27 Branches 0 Tags
af3edff856469cd4ae20dec861e61b655d39d5de
Commit Graph

16 Commits

Author SHA1 Message Date
uncle6me-web af3edff856 WIP(kbdb): 語意搜尋零命中的排查——⚠️ 被總管中途叫停，未完成驗證 
leo 2026-08-11 判斷「如果是 Vectorize 沒完成就不用查了」，總管據此停線。
真因已經寫在 repo 自己的註解裡（kbdb/wrangler.toml:43-51，Arcrun#11）：
metadata index 只收「建立後 upsert」的向量，既有向量須 reindex，
否則帶 owner_id filter 一律 0 命中——與實測每一格吻合
（805 筆在、關鍵字搜得到、語意 0、拿自己查自己也 0 ⇒ 不是分數門檻）。

⚠️ 這批改動是排查途中的產物，**沒有走完驗證**，不要當成可用的修法。
保留只是不讓它憑空消失（總管中斷造成，不是它做壞）。
接手的人請先讀 Arcrun#85 上的結論再決定要不要用。

真正的補救是 reindex，而 reindex 要燒 AI 額度
⇒ 卡在 Arcrun#85 的每日額度閘上線之後才能做。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-11 23:05:20 +08:00
uncle6me-web 6715402bcc fix(kbdb): DELETE /entries/:id 向量刪除改同步＋誠實回報（arcrun-rag#46） 
舊版把向量刪除包成 fire-and-forget（waitUntil(...).catch(()=>{})）——失敗被靜默
吞掉，呼叫端（rag_takedown_direct workflow／未來的 portal 刪除 UI）永遠不知道
向量沒清乾淨。與同檔 /entries/deprecate-by-library（同步 await + 回報
vectors_deleted）的做法不一致，補齊同款誠實回報：回應加 vector_deleted
(true/false/null)，D1 本體刪除不因向量失敗而被擋下。

補上這支端點原本零覆蓋的測試（entries-delete.test.ts，3 案：模組未開／
向量刪除成功／向量刪除失敗）。

隨附 live e2e 驗證（youlin stage，4 筆測試知識，含批次 3 筆）：刪除後
keyword/semantic 混合檢索與 rag_chat AI 問答皆不再讀到已刪內容，控制組
（未刪的既有知識）不受影響——確認端到端「刪除即在所有查詢路徑消失」成立，
細節見 Leo/arcrun-rag#46 留言。
 2026-08-10 15:41:01 +08:00
uncle6me-web 6846d6ddae fix(semantic): 故障照實說是故障——不再把壞掉說成「沒開通」（leo 2026-08-09 直令） 
一、文案（portal/console/kbdb hint）：語意搜尋是一安裝就提供的功能，
   降級＝故障。橫幅改「語意搜尋目前故障／我們的問題／你不用做任何事」，
   拿掉「還沒開通、想開通請匯出診斷檔」這種要使用者申請開通的假框架。
   kbdb 降級回應加 degraded_reason（module_off / embed_query_failed）。

二、查詢向量化失敗不再偽裝成空結果（leo 點名的謊）：
   semanticSearch 舊行為「AI 額度用完 → 回 []」會讓使用者以為
   自己的知識庫裡沒有這筆資料。改丟 EmbedQueryFailedError，
   route 誠實降級 keyword＋照實告知是暫時故障。

三、源頭機制（裝好的實例為什麼會失去語意搜尋）：
   - acr update：kbdb_embed 判斷 ===true → !==false。config 缺欄位時
     redeploy 會把 [[vectorize]]+[ai] binding 靜默剝掉（wrangler deploy
     整份覆蓋），一台正常實例就此壞掉。init 預設同步翻成 [Y/n]。
   -（另 repo）deploy-all.mjs ensureVectorizeIndex 失敗改致命中止。

四、順手自癒：孤兒向量/下架殘影搜尋時背景清除；空結果且 pending>0
   背景 backfill；no_index 拆「故障」vs「還沒有資料」兩態。

測試：kbdb 146/146（新增 degraded 6 案＋selftest 1 案）；cli 10/10；
瀏覽器端到端兩種故障畫面實測（local wrangler dev＋portal 真登入）。
無 SDD 對應：leo 直令修故障（同 08-07 檢修孔前例的人閘直接授權路徑）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-09 02:05:12 +08:00
uncle6me-web c7a0b317cb fix(kbdb): 補 kbdb/src/routes/entries.ts 缺的自癒搬遷 hook（上一commit漏了這支檔） 
上一個 commit（046ceba）訊息宣稱改了 entries.ts 但實際只有測試檔進了 git——
entries.ts 的 migrateLegacyCredentialsForOwner 呼叫留在工作區沒進 index
（同一份工作目錄有另一個 session 併行在改這支檔案的語意搜尋空結果診斷功能，
兩邊的 import 改到同一行，第一次 commit 時漏收）。這次補上：

- import migrateLegacyCredentialsForOwner，GET /entries 對 entry_type=
  credential 觸發自癒搬遷（見 046ceba 說明，本檔案是實際掛載點）
- 同時收進另一個 session 已完成且測試通過的變更（search-semantic-empty-reason
  ：語意搜尋回空時分辨 no_index/no_match/stale_index 三態，給人話 capability_
  hint + 技術向 admin_hint；非本次任務範圍，因同檔同 import 行交織、且已驗證
  119/119 全過，一併收下不拆散）

kbdb 全測試 119/119 通過（含新增的 credential-legacy-migration.test.ts 5 項
與 search-semantic-empty-reason.test.ts 4 項）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 22:53:51 +08:00
uncle6me-web 05b215c9f7 語意門檻改相對式＋下架連帶刪向量（leo 兩個實測回饋） 
## ① 「關懷型 AI 命中 20 筆、只有前 3 筆相關」⇒ 閾值太寬（leo 判斷正確）
固定門檻兩頭都不對，因為每個查詢的分數尺度不同（實測 youlin 實例）：
  關懷型 AI          正解 0.645-0.770，雜訊起於 0.547  ← 固定 0.5 放進 6 筆雜訊
  閉環機             正解 0.552-0.638，雜訊起於 0.446  ← 固定 0.6 砍到剩 2/4（＝早上的 0 命中）
  人力媒合系統規劃書   正解 0.842，雜訊起於 0.550
⇒ 改**相對門檻** max(0.45, top×0.8)。五組實測：固定 0.5 混入 9 筆雜訊／
  固定 0.6 有兩組正解被砍／相對式四組雜訊 0 且正解全留。

## 🔴 寫測試才發現的真問題：門檻不能在 Vectorize 那層算
Vectorize 的 indexed metadata 沒有 status ⇒ 那層不知道誰已下架。
若最高分是下架殘影（t24 復現案 0.971），拿它算門檻＝0.777，
會把 0.6 的正解一起砍光 ⇒ **又變成 0 命中**。
⇒ 相對門檻移到 routes/entries.ts，接在「hydrate＋濾下架」之後；
  embed.ts 只留絕對下限。新增測試鎖住這個順序。

## ② leo：「理論上它的向量也要刪掉，就不會有殘影了吧？」——對，補上
單筆真刪已接 deleteByIds（b7af622），但「移除整個庫」走軟刪、向量原地不動。
⇒ deprecate-by-library 同時 deleteByIds ＋ is_embedded 歸零（D1 與 Vectorize 不說兩套話）；
  backfill 兩條路徑（含 reindex）都排除 deprecated，否則下次補嵌會把殘影養回來。
不違背 t135「資料保留可還原」：D1 那列原封不動，還原後跑 backfill 重嵌即可。
回應新增 vectors_deleted，刪失敗誠實回 0 不假裝清乾淨。

驗：kbdb 91/91 綠（新增 4 項相對門檻測試，含「下架殘影不得決定門檻」）

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-05 18:47:10 +08:00
Leo 5b983c47b8 Merge branch 'main' into fix/merge-main-into-batch-t173 
# Conflicts:
#	console-ui/public/portal/index.html
#	cypher-executor/src/routes/health.ts
#	cypher-executor/src/routes/portal.ts
#	registry/components/kbdb_upsert_block/component.contract.yaml
#	registry/examples/km-wiki-ingest/workflow.yaml
 2026-08-02 23:43:16 +08:00
Leo e28e19069f t142: 雲端子庫顯示同步幾張卡＋幾個三元組（政府專案驗收需求） 
leo 07-29：「要在雲端子庫顯示同步了幾個 wiki，既然這樣也同步顯示有幾個三元組，
這是為了政府專案驗收。」

kbdb 兩支統計端點：
- entries.ts: COUNT(DISTINCT page_name) AS card_count
  ⚠️ 必須 distinct——算 block 數會膨脹 3-5 倍，政府驗收看到假數字比沒數字更糟
- records.ts: COUNT(*) AS triplet_count（三元組本來就算全部）
portal.ts 聚合兩者掛進庫目錄；前端 index.html 顯示。

驗：卡數確為 COUNT(DISTINCT page_name)／前端內嵌 JS node --check 全通過
（07-29 白畫面事故教訓）／portal-admin 測試 34 passed（改動前 31 passed，
唯一的 1 failed 是既有債：GET /portal 回 404，改動前後相同，非本次造成）。

註：此為子 CC 完成後未 commit 的懸置工作，總管收工檢查時發現並補收。
 2026-07-29 19:55:03 +08:00
uncle6me-web 0860e84d22 feat(t135): 庫目錄可自主移除＋標示還在不在同步 
leo：「需要加移除按鈕。因為別人裝錯我沒辦法幫他弄，需要可以自主」
＋「你應該要顯示這個庫沒有本地對應的 folder，那就不容易刪錯」
（兩態非三態——leo 二修：「分兩種沒意義」，那是內部狀態不是用戶分類）。
- DELETE /portal/admin/libraries/:id（登記簿）與 by-name/:name（auto 庫需輸入庫名確認）
- kbdb 加 deprecate-by-library（auto 庫移除＝標 deprecated，資料保留可還原）
- daemon/libraries 存 active 清單 → 卡片標 🟢同步中／灰目前沒有在同步
- 不自動刪（daemon 可能沒開機）；daemon 從未回報時整列不標
vitest 24 passed（1 紅＝console HTML 搬遷陳舊測試，非本案）。
（實作＝子 CC；驗證+commit＝總管。含 t116/t117 先前未 commit 的 graph-executor/wasi-shim 修正）
 2026-07-29 14:45:44 +08:00
uncle6me-web 139d4c5ed1 feat(t52): 資料夾＝庫端到端——kbdb 加 /entries/libraries（資料面 distinct 庫）；portal 庫目錄合併「登記簿＋蓋章自動出現」(auto)；auto 庫改安全渲染（無 record_id 不放死按鈕，改給『登記到目錄』）＋daemon/libraries 自動登記端點。leo 07-26：地端 2 個資料夾雲端就要 2 個庫 2026-07-26 01:49:43 +08:00
uncle6me-web dd78b770a9 fix(kbdb): /entries/search 服務端濾 deprecated（keyword+semantic），修下架不生效 
daemon-beta t24（t11 斷點①②，總管 0.971 親復現）：rag_takedown_direct 下架只把
metadata_json.status 標 deprecated（軟刪，append-only），但 /entries/search 兩 mode
都不濾，已下架內容照樣回傳——semantic 甚至最高分照吐。過去唯一的濾層只在
cypher-executor/portal-data.ts 客端（Arcrun#46），沒部署 rag_chat 的實例等於完全沒濾。

- entry-crud.ts：新增 json_extract($.status) NOT_DEPRECATED_PREDICATE（同 source/library
  既有 json_extract 模式，issue #5.1/#18；不用 LIKE 避免 JSON 序列化格式誤判）；
  searchEntries 新增 includeDeprecated 參數（尾端新增，向後相容）。
  新增 isDeprecatedEntry：semantic 路徑用（Vectorize metadata 沒存 status，只能 hydrate
  回完整 entry 後 JS 側判斷）。
- entries.ts：/entries/search 新增 include_deprecated 開關（預設 false，濾掉；true 給
  管理面查殘留）。semantic 分支補位——過濾生效時先以 topK×3（封頂 100）向 Vectorize
  多撈，hydrate+濾完再截斷回 caller 要求的量，避免命中大半下架時整頁被吃光
  （t11 ZZ-T10 實測案例）。
- Vectorize 向量殘留本 PR 不動（只做查詢時過濾，not 同步刪向量）——取捨見 PR 描述。

測試：新增 search-deprecated-filter.test.ts 15 案（keyword 濾/include_deprecated 開關/
semantic 濾+補位+封頂+截斷/isDeprecatedEntry 單元）；同步更新 search-source-and-score.test.ts
3 案的 topK 期望值（route 補位改變送進 Vectorize 的實際 topK，回應對外契約不變）。
kbdb 全套 60/60 綠、tsc --noEmit 乾淨。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-24 16:35:17 +08:00
Claude 65d85eb08f fix(kbdb): search keyword 補 source filter（#66）＋semantic 曝 top_k/min_score 帶 score（#67） 
#66：/entries/search keyword 路徑 source 解析後丟棄（#5.1 只接了 listEntries 那半）——
searchEntries 尾端加 source?（既有 positional caller 全不用改），conds 補與 listEntries
同款 json_extract(metadata_json,'$.source') 謂詞；route keyword 分支與 semantic 降級
分支兩處傳入。

#67：semantic 固定 topK=20、零分數閾值、低分尾硬湊數——route 曝 top_k（預設 20、封頂
100）與 min_score（預設 0＝不過濾）query 參數；semanticSearch 依 min_score 截低分尾；
semantic 回應 entry 附 score 欄（加欄不改形）。壞值（非數字/非正）視同沒帶，不 400。

向後相容：不帶新參數時輸出與現況一致（semantic 僅多 score 資訊）；不動表（D6）、
不動 D1 結構（API-as-Wall）。測試：新增 search-source-and-score.test.ts 13 條
（source 謂詞形狀/route 下傳/降級不洩 filter/min_score 截斷/topK 透傳封頂/壞值防呆/
不帶參數行為不變），kbdb vitest 33/33 綠、tsc 0。

關聯 #66 #67。merge 後需 gated redeploy kbdb worker（leo 閘）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01JUmjwkHLVBHM3ydhT1WSW3
 2026-07-19 07:53:46 +00:00
Leo 7f409646e5 portal-auth P1（#24 #25）：KBDB library filter 地基（不 merge，待總管審） (#50) 2026-07-14 03:50:06 +00:00
Leo 9024f22534 fix(kbdb): entries list 端點加 q/search filter + 誠實 total 欄位 (Arcrun#3 發現①) 
根因（CF D1 直查已核實）：owner_id='leo' 租戶下 D1 實際有 458,357 筆，但
/kbdb/entries（list）從沒接過 search/q 參數——proxy 轉發白名單漏了它、base
listEntries() 也沒這個 filter，caller 帶 search= 會被靜默丟棄，永遠回「無過濾
list」。加上舊版 count 欄位＝本頁筆數（非總數），容易被誤讀成「總共只有這幾筆」。

修法：
- kbdb/src/actions/entry-crud.ts：ListEntriesFilter 加 q，listEntries 回傳
  { entries, total }（total = 符合條件全部筆數，COUNT(*) 與 list 查詢並行跑）。
- kbdb/src/routes/entries.ts：GET / 讀 q 或 search（別名）當 LIKE filter，
  回應同時帶 count（本頁）與 total（全部）。
- cypher-executor/src/routes/kbdb-proxy.ts：GET /kbdb/entries 轉發白名單加
  q/search → 統一轉發成 base 認得的 q。

驗證見 issue #3 留言（CF D1 直查 + curl /kbdb/entries?search=遷移 有真實命中）。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-07-03 08:51:29 +00:00
uncle6me-web 934b9265d9 feat: KBDB self-hosted 查詢 + embed 模組 + thin-shell 收窄 + search_workflow（code done 待端到端） 
按 issue 分段標明（檔 #5/#8 改動交疊處無法乾淨拆檔，故併一個 commit）：

#4 thin-shell §3.1 自力救濟階梯 + code-node 規則（純文檔/規則，code-node 零件未實作）
#5 KBDB source filter（json_extract metadata_json 零建表）+ 能力對照；documents 聚合與
   DELETE proxy 部分擱置等頂層 T8
#7 base embed 模組（kbdb/src/embed.ts）+ vectorize 開關（deploy/config/wrangler.toml 註解範本）
   + 語義查詢降級閉環（mode=semantic 未開→LIKE+capability_hint）
#8 部分（workflow-discovery）：
   - KBDB /entries/search 加 base 通用 entry_type filter（entry-crud/embed/route/kbdb-proxy 透傳）
   - /webhooks/named 強制 description（空→400，訊息要求操盤 AI 據實寫一句）
   - 部署雙寫 entry_type=workflow embeddable entry（waitUntil 非阻塞，供 search）
   - cypher GET /workflows/search + MCP u6u_search_workflows（優先語意、降級 hint）
   - cypher POST /workflows/backfill-search-entries（無 desc 列出不編造）
   - GET /webhooks/named 補回 description/created_at 欄位（為 list 來源收斂備）

⚠️ tsc 綠 = code done，非完成（mindset §7 禁假綠）：
- #7/#8 端到端待 leo21c 部署驗（Vectorize 需官方憑證、CC 跑不了）
- #8 ①-a（MCP deploy 改打 /webhooks/named）未做、MCP deploy 那半仍 404
- #8 端到端（強制填擋空/語義命中/租戶隔離/降級 hint）未驗

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-27 17:52:52 +08:00
uncle6me-web 886a8e31d0 feat(kbdb,mcp): KBDB 資料層薄殼 + self-hosted MCP 認證 + cypher KBDB proxy 
三件一條鏈（HANDOFF §2/§3b，kbdb-base Phase 9）：

A. KBDB MCP 薄殼（9.1）：mcp/src/tools/kbdb_data.ts 6 工具
   template/record/query/search，調基本盤 API。鐵律：不給建表/SQL，只 template+slot。

B. MCP self-hosted 認證 401（mcp-account-source §5.5）：
   - partner-auth.ts：MULTI_TENANT=false 時 Bearer 明碼直接當 org_namespace，
     繞 KBDB partner 驗證（對齊 cypher 的 opaque-key 模型）。官方 SaaS 行為不變、共用同碼。
   - mcp-setup.ts：把 namespace/api_key 寫進 .mcp.json headers.Authorization。
   - 新增 self-hosted vs SaaS 分支單測（9 tests 綠）。

C. cypher KBDB proxy（9.5）+ CLI 薄殼（9.2）：
   - routes/kbdb-proxy.ts 純轉發 /kbdb/* → KBDB 基本盤（KBDB_BASE_URL HTTP fetch，
     不新增 service binding）。讓 CLI（只認證到 cypher）能達獨立 KBDB worker。
   - 租戶隔離：X-Arcrun-API-Key 自動當 owner_id 注入 records/entries（強制覆寫防跨租戶）；
     templates 全域共享（虛擬表定義是 schema 非資料）。
   - cli/src/commands/kbdb.ts：acr kbdb template/record/query/search，與 MCP kbdb_* 同能力。
   - kbdb base：entries 加 page_name 過濾（9.3）。

cypher + cli + mcp tsc exit 0。未驗收：端到端需 deploy + KBDB_BASE_URL 可達後實測。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-14 22:12:32 +08:00
uncle6me-web 6a75117ba3 feat(kbdb): recipe 公庫/私庫雙向機制 + UUID 身份 + KBDB Base + 市場數據 
kbdb-base SDD §7.5（公庫/私庫雙向機制，richblack 2026-06-07 拍板）。

## KBDB Base worker（新）
- kbdb/：D1-only 核心三表（entries/templates/entry_values）+ CRUD + LIKE search
  + recipe-stats 端點（市場數據）+ 0001_base.sql migration（含 recipe_stat seed）

## Phase 2.3：init 建 D1 + 套 migration
- cli cf-api.ts 加 listD1Databases/ensureD1Database；init 建 arcrun-kbdb D1
- deploy.ts 部署後對 D1 套 0001_base.sql（CF /d1/query API，idempotent）+ 注入 database_id

## Phase 5.1：recipe 成功記錄（市場數據來源）
- GraphExecutor 收集本次用到的 recipe uuid（usedRecipeKeys）
- executeWebhookGraph 執行結束一次性記 per-uuid 成功/失敗到 KBDB（fire-and-forget）

## Phase 7.5：recipe UUID 身份 + app-store 模型
- recipe 領 uuid=唯一身份；canonical_id/author/公私=屬性（§7.5.5）
- recipe:{uuid} + idx:canonical/installed/hash；resolveRecipe 向後相容不破執行鏈
- POST /recipes/submit=領新 uuid 新增作者版本（非覆蓋，app-store）
- GET /public-recipes 搜尋（多作者+per-uuid 市場星數）/ :id pull（選市場最佳）
- 落空→found:false 創作引導（§7.5.6 閉環）
- POST /recipes/migrate-uuid 一次性轉舊 key（增量寫不刪舊、冪等）
- init-seed 用 UUID（author=system）

## 薄殼（rule 07 §5：CLI + MCP 覆蓋同組能力）
- CLI: acr recipe search/pull/submit-p（config 加 DEFAULT_PUBLIC_LIBRARY_URL）
- MCP: arcrun_recipe_search/pull/submit_p/push/list/delete（補齊漂移）

## 壓測修正
- api-recipe-seeds: google_sheets_append PUT→POST（:append 正確動詞，階段12）

四 worker tsc 全綠（cypher/cli/kbdb/mcp）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-07 16:18:10 +08:00