arcrun-collector

inkstone/arcrun-collector

Fork 0

Commit Graph

Author	SHA1	Message	Date
Leo	66d4fef045	feat(t73/t16): 本地轉檔層骨架＋docx 抽取器（leo 定的『收集端 Markitdown』） leo 07-27 定的形狀：「本地任何檔案都透過一個機制把它轉成模型可讀，再把模型可讀內容發給它」「能不能讀 PDF 根本不是 Arcrun 的工作」。 convert.go＝調度層(工頭)：認副檔名→派抽取器→統一吐純文字。加新格式只要在 extractors 註冊一行，不動架構。 convert_docx.go＝第一個抽取器，純標準庫 archive/zip+encoding/xml。三個設計決定（都有理由，非隨手）： ① ErrNoText 獨立錯誤——掃描件 PDF 抽不出字時絕不能靜默略過（leo 撞過的病），要能轉成使用者看得懂的訊息；與 ErrUnsupported 分開因為說法不同。 ② NFKC 正規化——PDF 抽中文會出康熙部首變體，長得一樣但碼位不同＝用戶搜不到自己的檔案。廉價保險，對其他來源同樣有效。 ③ 只取 word/document.xml——頁首頁尾多是雜訊(頁碼/公司名)，知識萃取不要。測試 10/10 + 真 Word 檔實測： textutil 產生的 real.docx → 抽出「船舶維修合約/350,000/2026 年 8 月 15 日」全對同段落多 run 相連(Word 常把一句話切成多個 w:r) 壞檔(舊版 .doc 改名)報錯且不歸類成 ErrNoText NFKC 康熙部首摺回正常字註：全形「，」會被 NFKC 轉半形「,」＝正常行為，對搜尋無害(反而統一)。下一步：接 PDFium-via-wazero(+10.43MB)。未接進 extract_gemma 主流程。	2026-07-27 20:36:02 +08:00
Leo	bb96bceb04	feat(ingest-hash-trigger): 凍結 collector/ingest schema＋Go collector 骨架（issue #5 , SDD task 1+2） - schemas/collector-trigger.v1.schema.json：collector→named-webhook 觸發 payload（source_hash/r2_key/renamed/R6 warnings） - schemas/kbdb-ingest-request.v1.schema.json：source_hash 必填缺=400；儲存映射走 metadata_json.$.source_hash（守 kbdb 表不變鐵律）；同 hash 重送=200 already_ingested - schemas/MIGRATION-webhook-payload.md：舊 Gitea push payload 逐欄對照（給 task 4 改寫 workflow） - collector/：Go module（純 stdlib）——manifest 讀寫＋mtime fast-path 掃描＋renamed hash 配對＋40% 大量刪除防呆；CLI collector scan - go test ./... 全綠 7/7（added/modified/removed/renamed/防呆五情境＋fast-path＋manifest 往返） - Node 版 collector 標 legacy 並存（SDD task 4 拆除） Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-19 20:31:11 +08:00

Author

SHA1

Message

Date

Leo

66d4fef045

feat(t73/t16): 本地轉檔層骨架＋docx 抽取器（leo 定的『收集端 Markitdown』）

leo 07-27 定的形狀：「本地任何檔案都透過一個機制把它轉成模型可讀，再把模型可讀
內容發給它」「能不能讀 PDF 根本不是 Arcrun 的工作」。

convert.go＝調度層(工頭)：認副檔名→派抽取器→統一吐純文字。
加新格式只要在 extractors 註冊一行，不動架構。
convert_docx.go＝第一個抽取器，純標準庫 archive/zip+encoding/xml。

三個設計決定（都有理由，非隨手）：
① ErrNoText 獨立錯誤——掃描件 PDF 抽不出字時絕不能靜默略過（leo 撞過的病），
   要能轉成使用者看得懂的訊息；與 ErrUnsupported 分開因為說法不同。
② NFKC 正規化——PDF 抽中文會出康熙部首變體，長得一樣但碼位不同＝用戶搜不到
   自己的檔案。廉價保險，對其他來源同樣有效。
③ 只取 word/document.xml——頁首頁尾多是雜訊(頁碼/公司名)，知識萃取不要。

測試 10/10 + 真 Word 檔實測：
  textutil 產生的 real.docx → 抽出「船舶維修合約/350,000/2026 年 8 月 15 日」全對
  同段落多 run 相連(Word 常把一句話切成多個 w:r)
  壞檔(舊版 .doc 改名)報錯且不歸類成 ErrNoText
  NFKC 康熙部首摺回正常字
註：全形「，」會被 NFKC 轉半形「,」＝正常行為，對搜尋無害(反而統一)。

下一步：接 PDFium-via-wazero(+10.43MB)。未接進 extract_gemma 主流程。

2026-07-27 20:36:02 +08:00

Leo

bb96bceb04

feat(ingest-hash-trigger): 凍結 collector/ingest schema＋Go collector 骨架（issue #5 , SDD task 1+2）

- schemas/collector-trigger.v1.schema.json：collector→named-webhook 觸發 payload（source_hash/r2_key/renamed/R6 warnings）
- schemas/kbdb-ingest-request.v1.schema.json：source_hash 必填缺=400；儲存映射走 metadata_json.$.source_hash（守 kbdb 表不變鐵律）；同 hash 重送=200 already_ingested
- schemas/MIGRATION-webhook-payload.md：舊 Gitea push payload 逐欄對照（給 task 4 改寫 workflow）
- collector/：Go module（純 stdlib）——manifest 讀寫＋mtime fast-path 掃描＋renamed hash 配對＋40% 大量刪除防呆；CLI collector scan
- go test ./... 全綠 7/7（added/modified/removed/renamed/防呆五情境＋fast-path＋manifest 往返）
- Node 版 collector 標 legacy 並存（SDD task 4 拆除）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-19 20:31:11 +08:00

2 Commits