Leo/Arcrun
1
0
Fork 0
Code Issues 49 Pull Requests 5 Actions Packages Projects Releases Wiki Activity
349 Commits 27 Branches 0 Tags
3d3973ecbceed65919c26287bb133ddefc481a32
Commit Graph

16 Commits

Author SHA1 Message Date
uncle6me-web 3d3973ecbc feat(storage): 工作流與 recipe 的家搬到 KBDB，KV 降成可丟棄的快取（Arcrun#16＋#17） 
leo 08-12：「我要的是寫進 KBDB，不是 KV，他的 Recipes、Cypher 是一段話，文字，
數據，一個 entry」「如果零件和工作流的 recipe 不見了，是很可怕的事情」。
同日實害：一次例行更新讓九支工作流在畫面上全部消失。#97 已修掉直接原因
（別再照名字猜使用者的資源、別再擅自新建一顆空的綁上去）；這裡修更下面那一句——
**資產本來就不該只存在於一個會被換掉的暫存層裡**。

做法（換 binding，不改四十幾處呼叫端）：
- lib/asset-keys.ts    哪些 KV key 是資產、對應 KBDB 哪一列。**唯一**要人看懂的那張表。
- lib/durable-store.ts 讀＝KV 先行、miss 回源 KBDB 並補快取；寫＝先 KBDB 再 KV，
                       KBDB 失敗就拋錯（禁假綠）；**列舉一律回源**——空 KV 列出來是
                       「零筆」而不是「查不到」，那正是東西消失的形狀。
- index.ts             入口把 WEBHOOKS/RECIPES 換成上面那層。逐處改寫一定會漏，
                       而漏掉的那一處就是下一次「東西不見了」的入口。
- routes/storage.ts    /storage/audit（搬前搬後各數一次）＋ /storage/migrate-to-kbdb
                       （只增不刪、冪等、逐筆回報成敗）。
- kbdb                 migration 0005 seed 四列 template（零 schema 異動，手法同 0003/0004）
                       ＋ PUT /entries/:id 指定 id 的整列 upsert（通用原語，不是為誰開特例）。
- 衍生資料（idx:*、cron-idx:_all）不進 KBDB，讀不到就從資產重算。

⚠️ 狀態＝◐ 半通，**別因為程式碼看起來完整就先合併**。
已實測：5 份 migration 在本機 D1 全數套用（含 0005）；兩顆 worker 都能以改動後的
程式碼在本機開起來；tsc 錯誤數 7→7（既有，未新增）。
**沒跑到**：「砍掉 KV、資產還在」那一次端到端驗證——本次施工環境的權限閘不放行
執行 vitest/node/curl。那一次已寫成 scripts/verify-kv-retirement.sh，
在能執行的機器上跑一次就是證據。建議順序：先跑腳本、綠了再合併。

規格層依 D35 走 pending-changes.md「P-KV」提案，等 leo confirm（現行 active SDD
是 workflow-discovery，本案不在它的 tasks 內，故不自建 SDD、不改 rules 那張儲存表）。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-12 16:51:58 +08:00
uncle6me-web a5e4caf5cb fix(portal): 讀不到就說讀不到——總圖不再把「讀不到」畫成「你沒有」（Arcrun#100） 
leo 2026-08-12 打開總圖看到：「0 個實體 · 0 條關聯／知識庫還沒有任何關聯——
上傳文件後 AI 會自動織網」。**而他庫裡有 1854 條三元組。**
那句話會叫他去做一件不需要做的事。

三個獨立的洞疊起來才變成那句謊：
  ① console-dashboard.ts 打 kbdb-graph-plugin 沒帶認證（同段落打 kbdb 的兩支都有帶）
  ② 那顆 worker 不在更新的部署清單裡 ⇒ token 一換它就落單
  ③ **畫面把 null 畫成 0**——後端已經誠實回 null 了，是前端把它變成謊話

為什麼一直沒被發現：graph plugin 原本身上沒有 token ⇒ 門開著 ⇒ 沒帶也進得去。
2026-08-12 輪替後它有了 token，門關上，401 才浮出來。

📍 repo：matrix/arcrun（cypher-executor/src/routes/、console-ui/public/）
📍 票：Leo/Arcrun#100
 2026-08-12 13:33:53 +08:00
uncle6me-web 93b1140bf1 feat(portal): 新增 GET /portal/daemon/diagnostics（t213 matrix/arcrun 半部） 
InkStoneCo 總管交辦（arcrun-rag repo t213）：leo 拿真診斷檔實測四個真實問題，只答得出一題
——其餘三題需要地端資料（daemon 本機 manifest 總量／失敗分類／自我更新狀態），而現有
GET /portal/data/diagnostics 只有 portal session 認證，daemon 背景行程沒有 session
（密碼只在連線精靈當下用過就丟，不落地），構不到這支端點。

本次只做 matrix/arcrun 半部（雲端這半）：
- 把 /portal/data/diagnostics 的核心查詢邏輯抽成 buildDiagnostics(env, tenant)
  （portal.ts），薄殼原則：能力只實作一次
- 新增 GET /portal/daemon/diagnostics，認證比照既有 /portal/daemon/extract
  （X-Arcrun-API-Key，非 session）；apiKey 當 owner_id 用，不與 portalTenant(env)
  比對（t189 教訓：daemon 的 api_key 不保證等於 worker 的 CONSOLE_TENANT）
- /portal/data/diagnostics 改呼叫共用函式，回應形狀完全不變
- 按 leo 指示刪掉「需在失敗當下由封測者截圖」那句 notes（本機那半資料到位後這句話
  失去意義）

地端那半（arcrun-app 讀 manifest 合併 + 匯出按鈕）在 products/arcrun-rag repo 進行，
待另一隻處理 t210 的 agent 落地 app.go/main.js 改動後再接線，本次不動 arcrun-app。

驗證：
- npx tsc --noEmit：與 stash 前錯誤數相同（4 個），零新增（pre-existing，與本次改動無關）
- npx vitest run：314→315 通過（+3 新測試涵蓋 401／apiKey 當 owner_id 不比對 tenant／
  回應形狀與 session 版一致），14 個既有失敗與改動前完全相同（HTML 殼 404，測試環境
  static asset 問題，與 portal.ts/portal-data.ts 邏輯無關）

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-08 12:32:10 +08:00
uncle6me-web 7dbd4f59e7 fix(portal): 檢修孔 library_count/triplet_count 恆 0 的根因＋加統計自我檢查 
真因：/portal/data/diagnostics 讀 GET /map，那是 library_map 快取 block，只能
靠 POST /map/recompute 產生；核實過整個 repo 沒有任何呼叫點會打 /map/recompute
（library-map SDD 的 ingest 自動重算 M3 從沒接上，status: draft）。⇒ /map 對任何
租戶恆回空 libraries，與實際資料量無關——2026-08-07 leo 實測抓到：3 庫、大量
triplets，診斷檔卻回 0/0。

修法：改走 GET /portal/admin/libraries 已在用、驗證過的即時查詢組合（不依賴任何
快取）：listRecordsByTemplate(portal_library) ＋ /entries/libraries（t52 蓋章即
現身）＋ /records/triplet-stats（t142 即時聚合 SQL）。

附帶：加 library_scope_check 統計自我檢查（呼應 embedding.self_test 的精神）。
兩個計數都是 0 時，用完全不同的查詢路徑（不分庫/模板，只問這個租戶底下有沒有
任何 entries）交叉驗證，區分「真的是空」與「查詢方式或 owner_id 對不上」
（2026-08-01 t161 前科同型病：手動補的 record owner_id 存成 None，全量查得到、
按 owner_id 過濾的畫面永遠空）。

三個 diagnostics 測試全綠：即時查對出正確 library_count/triplet_count（且不再
外流庫名/內容，只回數字）、真空情境自我探測誠實回空、t161 同型病情境自我探測抓到
「查得到但統計回 0」的矛盾。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-08 00:12:54 +08:00
uncle6me-web 83aa1f6bb2 feat(portal): GET /portal/data/diagnostics —— 檢修孔聚合端點 
leo 2026-08-07 直接指令：「一顆按鈕在設定裡，按鈕下載一個檔案，把檔案發給我，你看那個
檔」。本端點是那個檔的資料來源：聚合 embed 模組健康狀態（module_enabled/cards_embedded/
cards_pending/self_test）、知識庫規模（library_count/triplet_count）、bundle_version、
instance_url。

紅線落實：
- 只轉發數字/布林/字串狀態，KBDB /map 回應裡的 narrative/top_entities（卡片內容）讀出
  triplet_count 後即丟棄，測試 portal-data.test.ts 新增案專門斷言回應不含內容字樣。
- 認證沿用既有 requirePortalUser session 閘，不對外公開。

3 個新測試全綠（未登入 401／完整聚合含隱私斷言／embed 未開時誠實回 false 不假裝）。
既有 1 個失敗案（/portal HTML 殼 404）為 stash 驗證過的既有失敗，與本次改動無關。
 2026-08-07 18:38:03 +08:00
uncle6me-web 60688c3108 fix(kv-quota): workflow 執行紀錄搬離 KV，改走 KBDB template 機制（A1/A2/A7） 
事故：cypher-executor/src/actions/execution-logger.ts 舊版每跑完一次 workflow 就
ANALYTICS_KV.put() 一筆新 key（註解寫「避免覆蓋」）= 只增不減，封測者 Evan 處理約 690 個
檔案就把 KV 免費層 1,000 write/日打爆（實測 1,070 write），整個實例 429。

A1 少記：workflow 執行紀錄改走 KBDB template 機制（entries 表 entry_type='execution_log'，
kbdb/migrations/0004_execution_log_template.sql 只 seed 一列 template 定義，零建表/改表）。
儲存精神比照既有 recipe_stat（kbdb/src/actions/recipe-stat.ts）：template 只負責文件化，
實際一筆執行是 entries 表一列（1 次執行=1 次 D1 寫入，不走 entry_values 全展開）。欄位收斂：
時間/workflow/verdict/duration/錯誤訊息/(可得的)目標；成功記最少，失敗多記（訊息截斷長度
不對稱：200 vs 2000 字）。target 只認 trigger context 的 page_name/path，不整包存 input。

A2 自我降級：D1 額度仍與知識卡共用同一顆 100,000 rows/日，本模組自設 20% 軟上限（可用
EXECUTION_LOG_DAILY_WRITE_LIMIT 覆寫），超過 80% 降成只記失敗、超過 100% 完全停止記錄，
但 workflow 執行永遠照跑（cypher-executor 端 fire-and-forget 永不 throw）。

A7 讀取端：/workflows/:name/executions、/portal/data/workflows 的 last_execution、MCP
list_recent_executions 全部改打 KBDB HTTP API（GET /execution-log、/execution-log/latest），
取代原本的 ANALYTICS_KV list/get（免費層 list 也是 1,000/日）。

架構鐵律修正（本次施工中兩度被抓到走偏，過程留痕於 commit 訊息供後續參考）：
- KBDB 三張表打天下（entries/templates/entry_values），永遠不加新 table——新資料類型
  一律用 template + entries，不建表、不 ALTER TABLE。
- KBDB = API-as-Wall，零 SQL：cypher-executor 端一律走 KBDB 的 HTTP API（連法比照既有
  recordRecipeStats/kbdbFetch 慣例），不直連任何 D1、不對 arcrun-kbdb 下任何原生 SQL。

順帶修復：kbdb/src/actions/entry-crud.ts listEntries 的 ORDER BY 補 `, rowid DESC` 二級
排序——entries.created_at 是 unixepoch() 秒級解析度，高頻寫入（execution_log 一秒內多筆）
常同秒，單靠 created_at DESC 不保證「最新一筆」正確，此為本次測試（latestExecutionLog）
發現的既有潛在缺陷，順手補上決定性排序，不改變任何既有查詢在 created_at 不同時的行為。

隔離：portal-data.ts INTERNAL_ENTRY_TYPES 加入 execution_log/execution_log_usage（與既有
value/workflow 同層級排除），避免用戶知識搜尋混進執行 log；本模組從不設 metadata_json.embed，
故永不進 Vectorize 語意搜尋索引。

不動：registry/src/actions/recordAnalytics.ts（零件市場統計，獨立 Worker、獨立 KV 命名空間、
不同資料模型，非本次事故根因所指範圍）；cypher-executor/{wrangler.toml,kbdb/wrangler.toml}
未變動（repo 層級 deny 規則保護這兩個生產設定檔不被 AI 編輯）——ANALYTICS_KV binding
因此仍留在 wrangler.toml 宣告中但程式碼零讀寫點（見 PR 說明的完整 grep 佐證）。

KV 裡既有的 stats:* 舊資料不搬移（是統計不是真相源，維持原樣任其依 90 天 TTL 自然過期）。

測試：kbdb/tests/execution-log.test.ts（13 個，含零建表證明/少記/A2 降級/route）、
cypher-executor/tests/execution-logger.test.ts（payload 正確性/永不 throw）、
cypher-executor/tests/executions-route.test.ts（讀取端轉發）、portal-data.test.ts 對應區塊
改寫。kbdb 全測試 104/104 通過；cypher-executor 320 個測試中 9 個失敗為 main 既有（與本次
改動無關，改動前後 stash 對照確認）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 16:13:00 +08:00
uncle6me-web 0ff369f818 修語意搜尋全 0 命中：分數門檻沒跟著 bge-m3 換代（換模型漏掉的第五處） 
leo 2026-08-05 實撞：「新上傳的『loop-engine-north-star.md』語義 0 命中，
但舊的『人力媒合系統規劃書』語義 2 命中」。

## 根因不在向量——向量是好的
直打 Vectorize 實測（youlin 實例、bge-m3、1024 維 index）：
  搜「閉環機」→ loop-engine-north-star.md 穩坐第 1-4 名（0.638/0.603/0.588/0.552）
D1 與 Vectorize 也對得上：659 筆 embeddable 全 is_embedded=1、index vectorCount 659。

真兇是 **min_score 門檻綁在舊模型的分數尺度上**：
  舊 bge-base-en-v1.5：中文分數全擠 0.65-0.90（沒區辨力）⇒ t183 取 0.75 砍雜訊，對
  新 bge-m3          ：尺度整體下移（相關 0.5-0.85、雜訊 0.4 上下）⇒ 0.75 砍掉的是正解
leo 看到的「舊檔中、新檔不中」由此而來——「人力媒合系統規劃書」拿 0.842 僥倖存活，
其餘全被門檻掃掉。08-05 換 bge-m3 的「四處同步」清單（embed.ts／deploy.ts／
deploy-all.mjs／worker.js）**漏了這第五處**，因為它不在 kbdb 而在 portal 呼叫端。

## 改動
· kbdb/src/embed.ts：新增 DEFAULT_MIN_SCORE=0.5，**緊鄰 DEFAULT_EMBED_MODEL**
    ——門檻是模型的性質，放模型旁邊，下次換模型的人一定會看到
· cypher-executor/src/routes/portal-data.ts：拿掉硬寫的 0.75，
    只在使用者顯式指定時才傳 min_score（不再各自持有一份數字＝不再漂移）
· console-ui/public/portal/os-split.test.mjs：修好被今天 fe0ee82 弄壞的自測
    （結尾標記寫死文案 ⇒ 改文案就炸「抽不到函式區塊」；改成錨定結構）
    ＋斷言同步改成 Mac 給 DMG

## 0.5 怎麼來的（實測分布，不是猜的）
「閉環機」            0.638/0.603/0.588/0.552 全是目標檔 ── 斷崖 ── 0.446 才是雜訊
「火星座標 奧林帕斯山」 0.750…0.500 全對，0.475 以下才是雜訊
「人力媒合系統規劃書」   0.842 對，0.550 起是雜訊
誠實 trade-off：0.5 非每個查詢都乾淨（「AI 上課名冊」0.658 的 ax-academy 會擠進來），
但「偶有雜訊」遠優於現況「什麼都搜不到」。

## 驗
· kbdb 87/87 綠（三筆斷言隨新契約更新：預設不再是「不過濾」）
· cypher-executor 9 failed/301 passed＝**與改動前逐數相同**（git stash 前後各跑一次）⇒ 既有債
· portal os-split 自測 10/10 綠

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-05 18:00:43 +08:00
uncle6me-web 6c5706ba7d 補上合併漏收的修改檔（t189/t181/CIS portal 本體） 
上一筆 5d78806 我只 add 了新增檔（favicon 三件套），四個修改檔沒收進去
⇒ 合併內容只推了一半，t189 的 tenant 比對修復其實還躺在工作區。

本次補上（實測與已刪分支 HEAD 23f2fd4 逐檔相同）：
· cypher-executor/src/routes/portal.ts      +81（t181 /portal/daemon/extract、t189 tenant）
· cypher-executor/src/routes/portal-data.ts +21
· console-ui/public/portal/index.html      +169（CIS 視覺、版本卡）
· cypher-executor/tests/portal-admin.test.ts +45

教訓：merge --no-commit 後要 git add -A，不能只 add status 裡看到的第一類。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-05 13:31:57 +08:00
uncle6me-web ccb86481ae fix(t128+t129): 圖搜尋補 template:triplet＋AI 問答出處按頁去重 
t128 真因（總管實測定罪）：t116 只補 kbdb_base，同一行 URL 還吃 {{input.template}}
⇒ /records/by-template/?owner_id=... 查不到；手動補 template 即 count=1
（企業版功能解鎖→控制→授權系統）。**同種病三犯，已記 mistakes。**
t129：一卡切 3-5 block 每段都算一筆命中 ⇒ dedupeSourcesByPage 後端去重＋hit_count。
vitest 52 passed（1 紅＝console HTML 搬遷陳舊測試，非本案）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-29 14:11:52 +08:00
uncle6me-web e36cd2d990 fix(t95+t96): 查詢 CJK 邊界自動補空白＋圖譜節點模糊命中 
leo 07-28 實測：「AI協作」（無空白）搜不到；圖譜搜「AI 協作」0 鄰居但總圖有
「AI 協作規範書」節點（「這個搜尋詞來自 Graph View 的一部分，居然搜不到？」）。
- normalizeCjkQuery：CJK↔ASCII 邊界插空白，search q 與 graph 節點名都過
- fuzzyFindNode：精確 0 鄰居時 fallback contains 比對（取最短命中）重查
測試 +18 全綠（vitest 197 passed；9 個既有紅=console HTML 搬遷陳舊測試，與本案無關，
stash 基線對照確認）。B5 分支衝突面已查：僅 line 274 一行。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 15:06:07 +08:00
Claude (總管雲端) a82c9bbb82 portal: 搜尋濾內部型別（value/workflow 雜項列）＋總圖頁（Arcrun#39 藏書地圖 GUI 切片） 
- filterDeprecatedEntries 加 INTERNAL_ENTRY_TYPES（value/workflow）：
  搜尋不再出現無標題雜項列與工作流定義（leo 客戶測試回饋）；
  #46 上游修好後隨治標段一併拔除。測試 49/49 綠。
- 新增 GET /portal/data/graph/overview：全租戶 active 三元組 →
  {nodes(degree), edges}，D-4 graph 粗閘、kbdbFetch 直讀、上限 500 誠實截斷。
- portal 新增「總圖」頁：nav 隨 graph_allowed 顯示；力導向佈局手刻
  （固定種子＝確定性、零外部套件）、紙感樣式（green 節點/amber hub）、
  邊 hover 顯示謂詞、點節點跳該實體圖譜搜尋；頁尾連 00-MAP.md
  （#39「人機共用同一份地圖」的 AI 注入文字版）。
- #39 本體（library_map Template/ingest 重算/MCP 注入）仍歸該 issue SDD。
 2026-07-18 08:17:22 +00:00
Claude 8accdacc3c portal 搜尋濾殘影（#46 治標）＋四件套單測 
/portal/data/search 拿到 KBDB 回應後 server-side 過濾 metadata_json.status=
'deprecated' 與 content 以「（舊管線產物」開頭的 entries（metadata parse 失敗
視為保留，不誤殺），count 重算。這是 Arcrun#46 上游修好前的 portal 端治標，
上游清完資料後整段（含 filterDeprecatedEntries）可拔。
單測：sanitizeUploadFilename（路徑穿越/副檔名/長度）、filterDeprecatedEntries
（濾殘影/壞 metadata 保留）、mapGraphWorkflowOutput（#57 輸出映射）；
/portal/session 補 upload_enabled=false 斷言。另修 portal-ui 一處註解字樣
（誤用產品名，撞零 Mira 斷言）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01BH7LdhuCdVUHfHXbM7N8r5
 2026-07-17 06:28:04 +00:00
Claude fde1827928 portal 上傳頁：POST /portal/data/upload（server-side 寫 Gitea）＋前端拖放上傳 
server：requirePortalUser 閘；filename 驗證（去路徑分隔、強制 .md、限 100 字）；
server-side POST Gitea contents API 到 PORTAL_UPLOAD_REPO 的 docs/{filename}
——token 只在 server，前端零 repo/token 字串。409/422 → 誠實「同名文件已存在」。
新增三個 Bindings：PORTAL_UPLOAD_REPO / PORTAL_UPLOAD_GITEA / PORTAL_UPLOAD_TOKEN
（secret），任一缺 → 404「未啟用上傳」＝Mira 零影響（功能不存在，現行為一字不變）。
/portal/session 補 upload_enabled 布林（server 判 bindings 齊全；顯示提示，真閘在路由層）。
前端：上傳 nav（sidenav＋tabbar，一般用戶可見、未啟用時隱藏）＋檔案選擇（.md/.txt
多選）＋拖放區；讀檔轉 b64 逐檔 POST、逐檔狀態列；成功顯示「已收件，約 1 分鐘後
可在搜尋頁找到；AI 整理後會以 wiki 卡形式出現」。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01BH7LdhuCdVUHfHXbM7N8r5
 2026-07-17 06:24:14 +00:00
Claude c01c6c4d02 portal AI 問答：/portal/data/chat 端點＋搜尋頁問答面板 
端點：requirePortalUser 閘（同 search）；in-process 執行 tenant 的 rag_chat
workflow（與 graph_neighbors 同機制），input {question}，回 {answer, sources,
graph_facts}；workflow 不存在 → 誠實 404「此實例未安裝問答 workflow」。
前端：搜尋框下方問答列，loading→純文字 answer（pre-wrap 保留換行、esc 防
XSS）＋sources 列表（mode＋page，點 page 帶回搜尋框自行驗證）。設計哲學：
AI 檢索＝用戶手動搜尋同一套，AI 只代查再作答，不多開任何權限。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01BH7LdhuCdVUHfHXbM7N8r5
 2026-07-17 06:20:27 +00:00
Claude 204cd5bff3 portal 圖譜模式修復（#57）：優先 in-process 執行 tenant graph_neighbors workflow 
RAG self-hosted 實例不部署 kbdb-graph-plugin，graphBase 直連必 1042。改為：
WEBHOOKS KV 有 {tenant}:wf:graph_neighbors 時直接 import executeWebhookGraph
（webhooks-named trigger/query 同一執行入口）在本進程執行——絕不 fetch 自己
hostname（self-loop）；輸出映射成與 plugin 相同形狀 {neighbors, edges, count}。
沒有該 workflow → fallback 原 graphBase 直連（Mira/leo21c 行為一字不變）。
input：node=path、depth=query（預設 2）、namespace/owner=tenant。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01BH7LdhuCdVUHfHXbM7N8r5
 2026-07-17 06:19:03 +00:00
Leo 3577e9255c portal-auth P3（#24 #25）：Portal UI＋/portal/data/* server-side enforce（不 merge，待總管審） (#52) 2026-07-14 07:19:01 +00:00