feat: ingest 寫入端 + deprecate + get_source/refresh + wiki 合併 (issue #1 T3) (#2)

* chore(wiki): 導入 system-dev-template + 合併 wiki 到新位置 - system-dev/ 模板包進版控（VERSION/docs/scripts/wiki 骨架） - 逐檔合併舊 .claude/wiki/ → system-dev/wiki/： - status/mistakes/decisions-summary 真資料覆蓋空範本 - INDEX 新「多角度視圖」結構 + 舊決策/導航併入（過時詞「萬物皆 Block」改 API-as-Wall） - principles/TAXONOMY 為新位置獨有，保留 - 刪舊 .claude/wiki/（git 識別為 rename，內容完整搬移） - 三層機敏防護 hooks + wiki 命令更新 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * docs(sdd): 立 ingest-contract SDD + 搬入 ingest-candidate 契約 (T3.1+T3.8) 對應 issue #1（頂層 mira-dissolve T3）。 - contracts/ingest-candidate.json：ingest→graph 邊界契約（自頂層搬入） - contracts/README.md：標明候選(輸入)≠已存(triplet) - docs/3-specs/ingest-contract/design.md + tasks.md： - ensureTemplate 改 slot-diff 補丁（取代 early-return，免遷移腳本） - 補 KbdbClient.updateRecord（base PATCH /records/:id） - ingest 流程：驗證(422)→idempotency(uri+hash)→先 append 後 deprecate - triplet template 增 source_uri+content_hash slot 承載 idempotency - 跨 repo 協調點（3.6 圖工具併 KBDB MCP）明列需 arcrun 配合總管已認可四個設計決定（issue #1 comment）。鐵律：零建表/零 SQL/零 migration。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * feat(ingest): POST /triplets/ingest 寫入端 + deprecate-then-append (T3.2-3.5) 對應 issue #1 T3 B 段。 - templates: TRIPLET_SLOTS 加 status/superseded_by/source_uri/content_hash； ENTITY_SLOTS 加 gloss；recordToTriplet 映射新欄位（缺省 status=active 相容舊資料） - kbdb-client: ensureTemplate 改 slot-diff 補丁（既有 template 走 PATCH /templates/:id 補缺 slot，取代 early-return → 免遷移腳本）；新增 updateRecord（PATCH /records/:id） - triplet-ingest action（88 行純函式）：Zod strict 鏡射 ingest-candidate 契約 → idempotency（uri+hash 同→no-op）→ 先 append 後 deprecate（無「全無 active」空窗） - POST /triplets/ingest route：strict 驗證失敗 → 422（禁送 graph 領域欄位） - queryTriplets 預設 active-only（traverse/search/neighbors 皆經此）， includeDeprecated opt-out 供 rollback/考古 - 6 測試案全綠（vitest 16 passed）；mock-client 同步 slot-diff + updateRecord gates: zero SQL / zero migration / 無 D1·Vectorize·AI 綁定 / dry-run bundle 乾淨 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> * feat(graph): get_source + refresh 端點 + keyword 收斂 (T3.6-3.7) 對應 issue #1 T3 C 段（圖工具 HTTP API 備好，MCP 註冊薄殼待 arcrun）。 - get_source (3.7): graph-source.ts + GET /graph/source/:name — 回節點的 active triplet 來源指標（uri/anchor/block_id/content_hash），去重。連帶加 source_anchor slot，ingest 從 source.anchor 帶入 - refresh (3.6/3.6b): graph-refresh.ts + POST /graph/refresh — 純被動代轉 ingest（KBDB_INGEST_URL），只人發起、無排程/webhook（fan-out 紅線）。未設 URL → 誠實 forwarded:false，不假綠 - 3.6d: POST /search 移除公開 keyword 模式（重複 KBDB MCP），收斂 suggest-only； keywordSearch helper 留作 suggest 內部建構塊 - 3 新測試（get_source uri+anchor / active-only / refresh 未就緒誠實回報） gates: vitest 19 passed / zero SQL / 無新綁定 / dry-run bundle 乾淨待接：MCP 註冊薄殼併 arcrun u6u-mcp-server；refresh 端到端待 ingest(T4) 部署 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> --------- Co-authored-by: richblack <leo21c@gmail.com> Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-06-26 19:00:54 +08:00
parent 3a1faf19f4
commit 7a29dee357
44 changed files with 2773 additions and 96 deletions
@@ -0,0 +1,34 @@
+// refresh（T3.6 / T3.6b）— 代轉 ingest 重抓+萃某來源。
+//
+// 🚫 紅線：只能【人發起的 MCP 調用】觸發。禁掛排程/webhook 自動 refresh
+//    （否則變回 fan-out，踩 GitHub flag 紅線）。本端點純被動：收到一次調用 → 代轉一次。
+// graph 自己不抓檔、不萃取（那是 ingest 純餵食器的職責）；graph 只把 refresh 意圖
+// 轉給 ingest 的端點，ingest 抓+萃完後再走 POST /triplets/ingest 回灌。
+
+export type RefreshRequest = { uri: string; owner_id?: string };
+export type RefreshResult = { forwarded: boolean; ingest_url?: string; note?: string };
+
+/**
+ * 代轉 refresh 給 ingest 服務。ingestUrl 由 env 注入（KBDB_INGEST_URL）。
+ * 未設 → 誠實回 {forwarded:false}（ingest repo T4 尚未就緒/未部署），不假裝成功。
+ */
+export async function refreshSource(
+  req: RefreshRequest,
+  ingestUrl: string | undefined,
+): Promise<RefreshResult> {
+  if (!ingestUrl) {
+    return {
+      forwarded: false,
+      note: 'KBDB_INGEST_URL 未設：ingest 服務尚未就緒（T4 待部署），refresh 無對象可轉。',
+    };
+  }
+  const res = await fetch(ingestUrl.replace(/\/$/, '') + '/refresh', {
+    method: 'POST',
+    headers: { 'Content-Type': 'application/json' },
+    body: JSON.stringify({ uri: req.uri, owner_id: req.owner_id }),
+  });
+  if (!res.ok) {
+    throw new Error(`[ingest] refresh ${req.uri}: ${res.status} ${res.statusText}`);
+  }
+  return { forwarded: true, ingest_url: ingestUrl };
+}
@@ -0,0 +1,35 @@
+// get_source（T3.7）— 指回原文：給一個節點名，回它所有 triplet 的來源指標。
+// 鐵律：走 base API、零 SQL。圖在插件層組裝。
+// 用途：圖遍歷找到一筆知識後，回跳產生它的 canonical MD（source.uri + anchor）。
+
+import type { KbdbClient } from '../lib/kbdb-client';
+import { getNodeEdges } from './graph-nodes';
+
+export type SourceRef = {
+  uri: string | null;          // 來源穩定識別（github:owner/repo@path）
+  anchor: string | null;       // 檔內定位（heading slug / block id）
+  block_id: string | null;     // 向後相容：Logseq block id
+  content_hash: string | null; // 該批快照 hash
+  edge: { subject: string; predicate: string; object: string };
+};
+
+/** 給節點名，回觸及它的（active）triplet 的來源指標清單，去重同 uri+anchor。 */
+export async function getSource(client: KbdbClient, node: string): Promise<SourceRef[]> {
+  const edges = await getNodeEdges(client, node); // 已 active-only（經 queryTriplets）
+  const seen = new Set<string>();
+  const refs: SourceRef[] = [];
+
+  for (const t of edges) {
+    const key = `${t.source_uri ?? ''}#${t.source_anchor ?? ''}`;
+    if (seen.has(key)) continue;
+    seen.add(key);
+    refs.push({
+      uri: t.source_uri,
+      anchor: t.source_anchor,
+      block_id: t.source_block_id,
+      content_hash: t.content_hash,
+      edge: { subject: t.subject, predicate: t.predicate, object: t.object },
+    });
+  }
+  return refs;
+}
@@ -18,6 +18,9 @@ export type CreateTripletData = {
  bridge_score?: number;
  subject_entity_type?: string;
  object_entity_type?: string;
+  source_uri?: string;
+  content_hash?: string;
+  source_anchor?: string;
 };

 /** 建立三元組 → POST /records（template=triplet）。 */
@@ -37,10 +40,14 @@ export async function createTriplet(
    confidence: String(data.confidence ?? 1.0),
    clusters_json: JSON.stringify(clusters),
    bridge_score: String(bridgeScore),
+    status: 'active',
  };
  if (data.source_block_id) values.source_block_id = data.source_block_id;
  if (data.subject_entity_type) values.subject_entity_type = data.subject_entity_type;
  if (data.object_entity_type) values.object_entity_type = data.object_entity_type;
+  if (data.source_uri) values.source_uri = data.source_uri;
+  if (data.content_hash) values.content_hash = data.content_hash;
+  if (data.source_anchor) values.source_anchor = data.source_anchor;

  const id = await client.createRecord(TPL_TRIPLET, values, data.owner_id);
  return { id, subject: data.subject, predicate: data.predicate, object: data.object };
@@ -54,6 +61,7 @@ export type TripletFilters = {
  offset?: number;
  owner_id?: string;
  entity_type?: string;
+  includeDeprecated?: boolean;  // 預設只回 active；rollback/考古才開（T3.5）
 };

 /** 查三元組 → 取 template 全部 record，插件層 filter（base 無複合 slot 查詢）。 */
@@ -64,6 +72,9 @@ export async function queryTriplets(
  const records = await client.listRecordsByTemplate(TPL_TRIPLET, filters.owner_id);
  let triplets = records.map(recordToTriplet);

+  // active-only：deprecated 不進圖遍歷/查詢（缺省 status 視為 active，相容舊資料）。
+  if (!filters.includeDeprecated) triplets = triplets.filter((t) => t.status === 'active');
+
  if (filters.subject) triplets = triplets.filter((t) => t.subject === filters.subject);
  if (filters.predicate) triplets = triplets.filter((t) => t.predicate === filters.predicate);
  if (filters.object) triplets = triplets.filter((t) => t.object === filters.object);
@@ -0,0 +1,83 @@
+// ingest 寫入端 — 收 ingest-candidate envelope，做 idempotency + deprecate-then-append。
+// 契約：contracts/ingest-candidate.json。鐵律：走 base API、零 SQL。
+// 取代策略：先 append 新批 active，後翻舊批 status=deprecated（中途失敗不留「全無 active」空窗）。
+
+import { z } from '@hono/zod-openapi';
+import type { KbdbClient } from '../lib/kbdb-client';
+import { TPL_TRIPLET, ensurePluginTemplates, recordToTriplet } from '../lib/templates';
+import { createTriplet } from './triplet-crud';
+
+// Zod 鏡射契約：strict() = additionalProperties:false → 禁送欄位 422（route 把 ZodError 轉 422）。
+const NodeSchema = z.object({
+  name: z.string().min(1),
+  gloss: z.string().optional(),
+  entity_type: z.enum(['person', 'event', 'product', 'market', 'org']).optional(),
+}).strict();
+
+const EdgeSchema = z.object({
+  subject: z.string().min(1),
+  predicate: z.string().min(1),
+  object: z.string().min(1),
+  confidence: z.number().min(0).max(1).optional(),
+}).strict();
+
+export const IngestEnvelopeSchema = z.object({
+  source: z.object({
+    uri: z.string().min(1),
+    content_hash: z.string().min(1),
+    anchor: z.string().optional(),
+    commit: z.string().optional(),
+    block_id: z.string().optional(),
+  }).strict(),
+  extractor: z.object({
+    model: z.string().min(1),
+    tier: z.enum(['shallow', 'deep']),
+    extracted_at: z.number().int().optional(),
+  }).strict(),
+  nodes: z.array(NodeSchema).optional(),
+  triplets: z.array(EdgeSchema).min(1),
+}).strict();
+
+export type IngestEnvelope = z.infer<typeof IngestEnvelopeSchema>;
+
+export type IngestResult = { skipped: boolean; ingested: number; deprecated: number };
+
+/** 收 envelope → idempotency → 先 append 後 deprecate。回 {skipped,ingested,deprecated}。 */
+export async function ingestEnvelope(
+  client: KbdbClient,
+  env: IngestEnvelope,
+  owner_id?: string,
+): Promise<IngestResult> {
+  await ensurePluginTemplates(client);
+
+  // 同 source_uri 的現存 active triplet（idempotency 分組 + 待 deprecate 對象）。
+  const all = (await client.listRecordsByTemplate(TPL_TRIPLET, owner_id)).map(recordToTriplet);
+  const priorActive = all.filter((t) => t.source_uri === env.source.uri && t.status === 'active');
+
+  // 同 hash → no-op（envelope 已落地過）。
+  if (priorActive.some((t) => t.content_hash === env.source.content_hash)) {
+    return { skipped: true, ingested: 0, deprecated: 0 };
+  }
+
+  // 1) 先 append 新批 active。
+  for (const e of env.triplets) {
+    await createTriplet(client, {
+      subject: e.subject,
+      predicate: e.predicate,
+      object: e.object,
+      confidence: e.confidence,
+      source_block_id: env.source.block_id,
+      source_uri: env.source.uri,
+      content_hash: env.source.content_hash,
+      source_anchor: env.source.anchor,
+      owner_id,
+    });
+  }
+
+  // 2) 後翻舊批 status=deprecated（指向本批 source_uri；append 在前 → 無空窗）。
+  for (const old of priorActive) {
+    await client.updateRecord(old.id, { status: 'deprecated', superseded_by: env.source.content_hash });
+  }
+
+  return { skipped: false, ingested: env.triplets.length, deprecated: priorActive.length };
+}