feat(t73): manifest 記錄 extracted_by——換萃取器時才分辨得出哪些卡是舊的

leo 07-27 三問查證後補的缺口。查證結果(已用測試釘死,下次不必再讀碼推論):
① 已萃過它知道嗎 → 知道。ingested_hash vs content_hash,相同就跳過;
   只有 2xx 成功才回寫(direct.go:405),失敗下輪自動重試不漏檔。
② gemma 會重萃 claude 萃過的嗎 → 不會重萃(hash 相同),但原本**分辨不出誰萃的**
   =換萃取器後兩種品質的卡混在同一知識庫,想重萃也不知該重萃哪些。← 這次補的
③ 誰負責萃 → cfg.Extractor 一個資料夾一個設定(direct.go:346),無自動判斷。

做法(純記錄不改行為、可逆,故自裁):
- ManifestEntry 加 ExtractedBy(omitempty)
- 另開 MarkIngestedBy 而非改 MarkIngested 簽名——後者有多處呼叫(direct 兩處+
  trigger.go MarkIngestedEvents+測試),改簽名會擴散破壞

測試 7/7:萃過不重萃/改了要重萃/失敗下輪重試/記得誰萃的/
舊簽名仍可用/舊 manifest 讀得進來且空值不污染 JSON/有值真的存進檔案。

未做(屬品味題待 leo 裁):B 自動偵測有無 claude 優先用用戶訂閱、C ChatGPT 路。
This commit is contained in:
2026-07-27 20:58:30 +08:00
parent 12c8098b5f
commit a50cc37949
3 changed files with 180 additions and 1 deletions
+20
View File
@@ -22,6 +22,16 @@ type ManifestEntry struct {
Mtime int64 `json:"mtime"`
IngestedHash string `json:"ingested_hash,omitempty"`
IngestedAt int64 `json:"ingested_at,omitempty"`
// ExtractedBy=這張卡是誰萃的("claude""gemma"""=無萃取器的直送路)。
//
// 為什麼要記(leo 2026-07-27 問「如果已經萃過了它知道嗎?」時發現的缺口):
// 原本 manifest 只記「萃過了」不記「誰萃的」。防重複本來就成立(hash 相同就跳過),
// 但**換萃取器時無從分辨哪些卡是舊萃取器產的**——claude 萃的卡和 gemma 萃的卡
// 品質不同卻混在同一個知識庫裡,想重萃也不知道該重萃哪些。
//
// 本欄位**不改變任何現有行為**(純記錄),但它是「換萃取器要不要重萃」這個決定的前提:
// 沒有它,之後想分辨就永遠分辨不了(舊資料補不回來)。
ExtractedBy string `json:"extracted_by,omitempty"`
}
// Manifest 對應一個被勾選的資料夾。
@@ -81,12 +91,22 @@ func LoadManifest(path, root string) (*Manifest, error) {
// 同檔每輪重發 added/modified=設計內重試,R2 端靠 HEAD no-op 天然冪等、零浪費。
// 回傳 false=路徑已不在 manifest(例如回報前檔案又被改名/刪除),呼叫端自行決定忽略或告警。
func (m *Manifest) MarkIngested(path, sourceHash string, at int64) bool {
return m.MarkIngestedBy(path, sourceHash, at, "")
}
// MarkIngestedBy 同 MarkIngested,另記「這輪是誰萃的」(extractor"claude""gemma""")。
//
// 為什麼另開一支而不是改 MarkIngested 的簽名:MarkIngested 有多個呼叫點
// direct 兩處+trigger.go 的 MarkIngestedEvents+測試),改簽名會擴散破壞。
// 走無萃取器路徑(sync/直送)的呼叫端不必知道這個欄位,維持原簽名最小侵入。
func (m *Manifest) MarkIngestedBy(path, sourceHash string, at int64, extractor string) bool {
e, ok := m.Entries[path]
if !ok {
return false
}
e.IngestedHash = sourceHash
e.IngestedAt = at
e.ExtractedBy = extractor
return true
}