 uncle6me-web
|
4ca23c256a
|
feat(kbdb): 執行紀錄保留期可設定（P7，leo 08-08 confirm）
背景：08-07 事故修復（60688c3）已把執行紀錄從 KV 搬到 KBDB/D1（entries 表，
API-as-Wall），解掉「稽核資料放在會揮發、被額度打斷的地方」這個結構性錯誤，
也順帶把 Evan 撞到的 1,070 次寫入牆退到 D1 額度層級。但那次修復留了一個誠實
的缺口：MCP list_recent_executions 的說明文字寫著「無固定保留期」——保留期
可設定這件事還沒做。本次補上。
P7 規格（system-dev/docs/3-specs/pending-changes.md「P7」，leo 08-08 confirm）：
執行紀錄是稽核資料，預設保留 90 天（3 個月）過期即清；租戶可自訂天數，也可
設「不刪除」（企業稽核，leo：「我願意花很多錢保存，不要刪除」）。
實作（kbdb/src/actions/execution-log.ts，牆內）：
- getRetentionDays/setRetentionDays：沿用 execution_log_usage 的 upsert 慣例，
單一 entries 列/租戶（entry_type='execution_log_retention_config'），零建表。
- cleanupExpiredLogs：分兩段掃——有自訂天數的租戶各自 cutoff；其餘（含無租戶）
套預設 90 天，排除「不刪除」與已處理過的租戶。每次呼叫界限刪除量
（CLEANUP_BATCH_LIMIT=500），長期多次呼叫可逐步清完累積量。
路由（kbdb/src/routes/execution-log.ts）：GET/PUT /execution-log/retention、
POST /execution-log/cleanup，沿用既有的 Bearer token 全域守衛（fail-closed）。
清理觸發（cypher-executor/src/scheduled.ts）：不新增排程基礎設施（wrangler.toml
[triggers] 是受保護檔案）——搭 cypher-executor 既有的每分鐘 cron tick 便車，
固定 UTC 02:30 那一分鐘 fire-and-forget 打一次 KBDB 的 cleanup 端點，一天一次，
不是輪詢。
Portal 薄殼（cypher-executor/src/routes/portal.ts）：GET/PUT
/portal/admin/execution-log-retention（role=admin 閘），讓本實例的租戶
（portalTenant）能實際設定保留天數，不只是 KBDB 內部端點。
測試（kbdb/tests/execution-log.test.ts）：新增 27 個測試（含原有測試共 27 通過
於本檔），真 SQLite 驗證 cutoff 邏輯、自訂天數隔離、「不刪除」永不清、壞資料
容錯、混合租戶情境、路由層 400/200。測試治具需要「插入指定 created_at 的過期
紀錄」這個正式寫入路徑刻意不開放的能力，做成 kbdb/src/actions/execution-log.ts
內匯出的 testInsert*/testCount* 函式（牆內執行 SQL），測試檔本身零原生 SQL。
量測（不是推論）：youlin（yuga3bse）實例上，redeploy 後對 graph_neighbors
webhook 發送 1,200 次併發請求（超過 Evan 實測失敗的 1,070 次）——全部 HTTP 200；
ANALYTICS_KV 的 key 數量在請求前後維持 663 不變，證明新寫入路徑完全不碰 KV，
Evan 撞到的那道牆的成因已被物理移除，不只是延後。
讀取端驗證（真呼叫，非 curl）：透過綁定 yuga3bse 的 MCP 連線實際呼叫
arcrun_list_recent_executions（回傳含本次量測寫入的 D1 紀錄）與
arcrun_get_execution_trace（正確回 404 not_found，非崩潰）；portal 前端
（https://arcrun-rag-ui.youlin-hsieh-dev.workers.dev/portal）瀏覽器實際載入，
無 console 錯誤、無異常紅色橫幅。
舊資料：KV 裡既有的 stats:* 沿用 60688c3 的既有決定——不搬移，任其依現有 90
天 TTL 自然過期（那是統計快取不是真相源）；新的 D1 execution_log 保留政策只
管新資料，不回溯處理。
部署：cypher-executor + kbdb 已手動部署到 youlin（yuga3bse，AI 測試場，leo
08-08 令），未動 prod（uncle6）。本次僅程式碼行為變更、無新增/修改 D1 binding、
無新表——三個既有 D1 binding（CREDENTIALS_DB×2＋kbdb DB）維持原樣，未新增第四個。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-09 00:43:55 +08:00 |
|
|
uncle6me-web
|
60688c3108
|
fix(kv-quota): workflow 執行紀錄搬離 KV，改走 KBDB template 機制（A1/A2/A7）
事故：cypher-executor/src/actions/execution-logger.ts 舊版每跑完一次 workflow 就
ANALYTICS_KV.put() 一筆新 key（註解寫「避免覆蓋」）= 只增不減，封測者 Evan 處理約 690 個
檔案就把 KV 免費層 1,000 write/日打爆（實測 1,070 write），整個實例 429。
A1 少記：workflow 執行紀錄改走 KBDB template 機制（entries 表 entry_type='execution_log'，
kbdb/migrations/0004_execution_log_template.sql 只 seed 一列 template 定義，零建表/改表）。
儲存精神比照既有 recipe_stat（kbdb/src/actions/recipe-stat.ts）：template 只負責文件化，
實際一筆執行是 entries 表一列（1 次執行=1 次 D1 寫入，不走 entry_values 全展開）。欄位收斂：
時間/workflow/verdict/duration/錯誤訊息/(可得的)目標；成功記最少，失敗多記（訊息截斷長度
不對稱：200 vs 2000 字）。target 只認 trigger context 的 page_name/path，不整包存 input。
A2 自我降級：D1 額度仍與知識卡共用同一顆 100,000 rows/日，本模組自設 20% 軟上限（可用
EXECUTION_LOG_DAILY_WRITE_LIMIT 覆寫），超過 80% 降成只記失敗、超過 100% 完全停止記錄，
但 workflow 執行永遠照跑（cypher-executor 端 fire-and-forget 永不 throw）。
A7 讀取端：/workflows/:name/executions、/portal/data/workflows 的 last_execution、MCP
list_recent_executions 全部改打 KBDB HTTP API（GET /execution-log、/execution-log/latest），
取代原本的 ANALYTICS_KV list/get（免費層 list 也是 1,000/日）。
架構鐵律修正（本次施工中兩度被抓到走偏，過程留痕於 commit 訊息供後續參考）：
- KBDB 三張表打天下（entries/templates/entry_values），永遠不加新 table——新資料類型
一律用 template + entries，不建表、不 ALTER TABLE。
- KBDB = API-as-Wall，零 SQL：cypher-executor 端一律走 KBDB 的 HTTP API（連法比照既有
recordRecipeStats/kbdbFetch 慣例），不直連任何 D1、不對 arcrun-kbdb 下任何原生 SQL。
順帶修復：kbdb/src/actions/entry-crud.ts listEntries 的 ORDER BY 補 `, rowid DESC` 二級
排序——entries.created_at 是 unixepoch() 秒級解析度，高頻寫入（execution_log 一秒內多筆）
常同秒，單靠 created_at DESC 不保證「最新一筆」正確，此為本次測試（latestExecutionLog）
發現的既有潛在缺陷，順手補上決定性排序，不改變任何既有查詢在 created_at 不同時的行為。
隔離：portal-data.ts INTERNAL_ENTRY_TYPES 加入 execution_log/execution_log_usage（與既有
value/workflow 同層級排除），避免用戶知識搜尋混進執行 log；本模組從不設 metadata_json.embed，
故永不進 Vectorize 語意搜尋索引。
不動：registry/src/actions/recordAnalytics.ts（零件市場統計，獨立 Worker、獨立 KV 命名空間、
不同資料模型，非本次事故根因所指範圍）；cypher-executor/{wrangler.toml,kbdb/wrangler.toml}
未變動（repo 層級 deny 規則保護這兩個生產設定檔不被 AI 編輯）——ANALYTICS_KV binding
因此仍留在 wrangler.toml 宣告中但程式碼零讀寫點（見 PR 說明的完整 grep 佐證）。
KV 裡既有的 stats:* 舊資料不搬移（是統計不是真相源，維持原樣任其依 90 天 TTL 自然過期）。
測試：kbdb/tests/execution-log.test.ts（13 個，含零建表證明/少記/A2 降級/route）、
cypher-executor/tests/execution-logger.test.ts（payload 正確性/永不 throw）、
cypher-executor/tests/executions-route.test.ts（讀取端轉發）、portal-data.test.ts 對應區塊
改寫。kbdb 全測試 104/104 通過；cypher-executor 320 個測試中 9 個失敗為 main 既有（與本次
改動無關，改動前後 stash 對照確認）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 16:13:00 +08:00 |
|