fix(kv-quota): workflow 執行紀錄搬離 KV,改走 KBDB template 機制(A1/A2/A7)
事故:cypher-executor/src/actions/execution-logger.ts 舊版每跑完一次 workflow 就
ANALYTICS_KV.put() 一筆新 key(註解寫「避免覆蓋」)= 只增不減,封測者 Evan 處理約 690 個
檔案就把 KV 免費層 1,000 write/日打爆(實測 1,070 write),整個實例 429。
A1 少記:workflow 執行紀錄改走 KBDB template 機制(entries 表 entry_type='execution_log',
kbdb/migrations/0004_execution_log_template.sql 只 seed 一列 template 定義,零建表/改表)。
儲存精神比照既有 recipe_stat(kbdb/src/actions/recipe-stat.ts):template 只負責文件化,
實際一筆執行是 entries 表一列(1 次執行=1 次 D1 寫入,不走 entry_values 全展開)。欄位收斂:
時間/workflow/verdict/duration/錯誤訊息/(可得的)目標;成功記最少,失敗多記(訊息截斷長度
不對稱:200 vs 2000 字)。target 只認 trigger context 的 page_name/path,不整包存 input。
A2 自我降級:D1 額度仍與知識卡共用同一顆 100,000 rows/日,本模組自設 20% 軟上限(可用
EXECUTION_LOG_DAILY_WRITE_LIMIT 覆寫),超過 80% 降成只記失敗、超過 100% 完全停止記錄,
但 workflow 執行永遠照跑(cypher-executor 端 fire-and-forget 永不 throw)。
A7 讀取端:/workflows/:name/executions、/portal/data/workflows 的 last_execution、MCP
list_recent_executions 全部改打 KBDB HTTP API(GET /execution-log、/execution-log/latest),
取代原本的 ANALYTICS_KV list/get(免費層 list 也是 1,000/日)。
架構鐵律修正(本次施工中兩度被抓到走偏,過程留痕於 commit 訊息供後續參考):
- KBDB 三張表打天下(entries/templates/entry_values),永遠不加新 table——新資料類型
一律用 template + entries,不建表、不 ALTER TABLE。
- KBDB = API-as-Wall,零 SQL:cypher-executor 端一律走 KBDB 的 HTTP API(連法比照既有
recordRecipeStats/kbdbFetch 慣例),不直連任何 D1、不對 arcrun-kbdb 下任何原生 SQL。
順帶修復:kbdb/src/actions/entry-crud.ts listEntries 的 ORDER BY 補 `, rowid DESC` 二級
排序——entries.created_at 是 unixepoch() 秒級解析度,高頻寫入(execution_log 一秒內多筆)
常同秒,單靠 created_at DESC 不保證「最新一筆」正確,此為本次測試(latestExecutionLog)
發現的既有潛在缺陷,順手補上決定性排序,不改變任何既有查詢在 created_at 不同時的行為。
隔離:portal-data.ts INTERNAL_ENTRY_TYPES 加入 execution_log/execution_log_usage(與既有
value/workflow 同層級排除),避免用戶知識搜尋混進執行 log;本模組從不設 metadata_json.embed,
故永不進 Vectorize 語意搜尋索引。
不動:registry/src/actions/recordAnalytics.ts(零件市場統計,獨立 Worker、獨立 KV 命名空間、
不同資料模型,非本次事故根因所指範圍);cypher-executor/{wrangler.toml,kbdb/wrangler.toml}
未變動(repo 層級 deny 規則保護這兩個生產設定檔不被 AI 編輯)——ANALYTICS_KV binding
因此仍留在 wrangler.toml 宣告中但程式碼零讀寫點(見 PR 說明的完整 grep 佐證)。
KV 裡既有的 stats:* 舊資料不搬移(是統計不是真相源,維持原樣任其依 90 天 TTL 自然過期)。
測試:kbdb/tests/execution-log.test.ts(13 個,含零建表證明/少記/A2 降級/route)、
cypher-executor/tests/execution-logger.test.ts(payload 正確性/永不 throw)、
cypher-executor/tests/executions-route.test.ts(讀取端轉發)、portal-data.test.ts 對應區塊
改寫。kbdb 全測試 104/104 通過;cypher-executor 320 個測試中 9 個失敗為 main 既有(與本次
改動無關,改動前後 stash 對照確認)。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,53 @@
|
||||
// Execution log route(KV 額度事故修復,2026-08-07)。
|
||||
// cypher-executor 對每次 workflow 執行 fire-and-forget POST /execution-log/record;
|
||||
// executions.ts / portal-data.ts 讀 GET /execution-log 取代舊的 ANALYTICS_KV list/get。
|
||||
// 形狀比照 recipe-stats.ts(同一種「cypher 寫、KBDB 存」的 fire-and-forget stat 端點)。
|
||||
import { Hono } from 'hono';
|
||||
import type { Bindings } from '../types';
|
||||
import { recordExecutionLog, listExecutionLog, latestExecutionLog } from '../actions/execution-log';
|
||||
|
||||
export const executionLogRoutes = new Hono<{ Bindings: Bindings }>();
|
||||
|
||||
// POST /execution-log/record — { workflow_id, owner_id?, verdict, duration_ms, message?, target? }
|
||||
executionLogRoutes.post('/record', async (c) => {
|
||||
const body = await c.req.json().catch(() => null) as {
|
||||
workflow_id?: string;
|
||||
owner_id?: string | null;
|
||||
verdict?: string;
|
||||
duration_ms?: number;
|
||||
message?: string;
|
||||
target?: string | null;
|
||||
} | null;
|
||||
if (!body || !body.workflow_id || (body.verdict !== 'success' && body.verdict !== 'failed')) {
|
||||
return c.json({ success: false, error: 'workflow_id 與 verdict("success"|"failed") 必填' }, 400);
|
||||
}
|
||||
const result = await recordExecutionLog(c.env.DB, c.env, {
|
||||
workflow_id: body.workflow_id,
|
||||
owner_id: body.owner_id ?? null,
|
||||
verdict: body.verdict,
|
||||
duration_ms: typeof body.duration_ms === 'number' ? body.duration_ms : 0,
|
||||
message: body.message ?? '',
|
||||
target: body.target ?? null,
|
||||
});
|
||||
return c.json({ success: true, ...result });
|
||||
});
|
||||
|
||||
// GET /execution-log?workflow_id=&owner_id=&limit= — 最近 N 次(降冪)
|
||||
executionLogRoutes.get('/', async (c) => {
|
||||
const workflowId = c.req.query('workflow_id');
|
||||
if (!workflowId) return c.json({ success: false, error: 'workflow_id 必填' }, 400);
|
||||
const ownerId = c.req.query('owner_id') || undefined;
|
||||
const limitParam = c.req.query('limit');
|
||||
const limit = Math.min(Math.max(parseInt(limitParam || '10', 10) || 10, 1), 100);
|
||||
const executions = await listExecutionLog(c.env.DB, workflowId, ownerId, limit);
|
||||
return c.json({ success: true, executions });
|
||||
});
|
||||
|
||||
// GET /execution-log/latest?workflow_id=&owner_id= — 最新一次(portal 卡片用)
|
||||
executionLogRoutes.get('/latest', async (c) => {
|
||||
const workflowId = c.req.query('workflow_id');
|
||||
if (!workflowId) return c.json({ success: false, error: 'workflow_id 必填' }, 400);
|
||||
const ownerId = c.req.query('owner_id') || undefined;
|
||||
const execution = await latestExecutionLog(c.env.DB, workflowId, ownerId);
|
||||
return c.json({ success: true, execution });
|
||||
});
|
||||
Reference in New Issue
Block a user