inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 14 Wiki Activity
13 Commits 2 Branches 14 Tags
18a873001bfbc676e63a7d6f3cb3c8471e90d345
Commit Graph

13 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Leo 18a873001b fix(daemon-beta t3): 真機 e2e 抓到 /wiki-extract 拒非 vault 資料夾——新增 daemon 專用 /rag-extract-file 命令（template overlay，prompt 活在 skill 檔），claude 路改呼叫它 2026-07-24 12:27:15 +08:00
Leo 058d19b743 feat(daemon-beta t5/t6): rag_ingest_card 收卡 workflow（零LLM零credential）＋direct 迴圈接萃取器——本地萃卡只上卡、原文不出機；e2e 測試驗「原文不洩上雲」＋失敗重試語意 2026-07-24 12:23:52 +08:00
Leo be47afe26e feat(daemon-beta t3/t4): 可插拔本地萃取器——claude 路(叫起用戶訂閱跑 /wiki-capture、stub 驗呼叫契約)＋gemma 路(實戰 prompt/thought 淨化/httptest 替身)；測試 6 支全綠 2026-07-24 12:21:41 +08:00
Leo 73a5a67b72 feat(daemon-beta t2): template 代裝——embed v1.18.0 快照(36檔)/冪等不覆寫/daemon 啟動自動鋪/template-install 子命令；scan 加 SkipDirNames 防 system-dev 與 CLAUDE.md 被當知識掃 
- 測試 3 支新增全綠（首鋪/冪等護用戶檔/掃描跳 template 產物——第三支先紅抓到 CLAUDE.md 洩入再修綠）
- CLI 實跑：新鋪 36 檔→重跑 0 新檔（冪等證據）
 2026-07-24 12:18:37 +08:00
Leo b355165180 feat(daemon-beta t1): 多資料夾 config——watch_folders[]+單數相容、manifest 每根一份、多根掃描標 Root、托盤資料層相容；rag-wave1 closed→daemon-beta 實作卷 active 
- direct.go: Folders() 正規化（去重保序）/manifestPathFor（單根沿用不丟狀態、多根 sha 尾碼）/RunDirectOnce 多根彙總
- 新測試 4 支全綠（單數相容/多根去重/缺欄驗證/多根 dry-run 標 Root）；既有 7 支不動全綠
- tray: config 加 watch_folders 欄（防存檔洗掉）＋addWatchFolder 資料層；勾選 UI=task 7
 2026-07-24 12:10:08 +08:00
Leo 44a9aeddc4 wip(daemon/tray): 保底 07-21 fyne 托盤進度（單資料夾版；情境1改造前的基線） 2026-07-24 12:10:08 +08:00
cloud-worker 9e356e3d99 feat(daemon/p04): fyne 托盤殼 + collector 看守器（CP-1 第6關產品化，leo 定 fyne） 
leo 2026-07-21 回「fyne」。交付「可交付的殼」：
- collector/supervisor（純 stdlib，無 fyne）：看守 collector direct 子行程、串 stdout JSON 出
  狀態（看守中/上次同步/出錯自動重試/已暫停）、崩潰重起、Stop 同步等 loop 收掉（修 Stop→Start
  換資料夾時舊 loop 覆寫新狀態的 race）。**sandbox `go test -race ./... 全綠（6 測，含 race）**，
  既有 collector 測試零回歸。
- collector/cmd/arcrun-tray（獨立 module，隔開 fyne CGo 依賴）：選單列/系統匣 icon＋狀態＋
  選資料夾(原生對話框)/暫停·繼續/打開資料夾；關窗縮背景；watch_folder 預設 ~/ArcrunRAG 避開
  ~/Documents 的 TCC 禁區；wires supervisor。

誠實界定（mindset §7）：
- **in-process vs 子行程**：leo 偏好 in-process，但 collector 是 package main，真 in-process 需抽核心成
  library（動已驗引擎有回歸風險）→ 本版走子行程看守（collector 零改、崩潰隔離），行為對用戶相同；
  in-process 抽取列可選後續，待 leo 裁。
- **fyne GUI 沙箱編不了**（CGo+GL）→ build/簽章/TCC 授權＝leo/地端真機做（紅線②③）；
  fyne API 細節以首次真機 build 為準。README 附建置/簽章/TCC 交接。
 2026-07-21 09:27:55 +00:00
雲端總管 ad34a87210 feat(daemon): direct 直送萃取同步模式（無 R2/Gitea，youlin live e2e 綠） 
SDD ingest-hash-trigger task 11：daemon 跨平台核心 + 產品承諾核心實證
（丟檔進資料夾 → AI 查得到）。

- collector 新增 direct 子命令（direct.go）：監看資料夾 → hash 差異偵測（沿用 Scan）
  → 讀檔內容 inline POST 進實例 rag_ingest_direct workflow；刪檔 → POST {page_name,path}
  進 rag_takedown_direct。設定走 --config JSON（install/direct-config.sample.json）。
  常駐輪詢＝純 stdlib ticker，零 CGo，darwin/arm64 + windows/amd64 交叉編譯 OK。
- workflows/rag-ingest-direct：ask_llm（rag_extract_one）+ parse_card/post_block/post_triplet
  （rag_ingest）拼成單一自足直鏈，繞開 R2 撈原稿與 Gitea 落卡。blocks/triplets 寫法與
  rag_ingest 逐欄一致 → rag_chat 檢索得到。
- workflows/rag-takedown-direct：不含 __CARDS_PREFIX__ 閘的下架（rag_ingest removed 分支的
  前綴閘會擋掉資料夾根的 direct 檔——2026-07-20 live e2e 實撞）。

dogfooding（D29 daemon 薄殼豁免）守住：daemon 只監看/讀檔/算 hash/HTTP POST，
萃取/切塊/RAG 全在 Arcrun workflow。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Xabu4T28MmQEiYDwT2KnKW
 2026-07-20 11:15:21 +00:00
Leo 1c2fa6b294 ingest-hash-trigger SDD task 4：觸發鏈 Gitea webhook → collector sync 直打 named-webhook 
- collector Go：trigger.go＋sync 子命令（scan→R2 upload→POST collector-trigger.v1
  →2xx 才 MarkIngested 回寫；失敗不回寫＝下輪自然重試；上傳失敗事件不送、同路徑
  renamed 連坐不回寫；防呆警告輪照送 warnings）。go test 19/19 綠（httptest mock）。
- workflow v3：rag-ingest-cards.local.yaml 改吃 collector payload（events[] 取代
  commits[]；原稿從 R2 撈 CF REST API objects/{r2_key}；新增 renamed 分支＝只更新
  路徑映射 R5，跨界搬移轉 added/removed；removed 沿用 G9 雙判準；M3 recompute 尾鏈
  原樣保留，fetch_index 改 R2）；rag-ingest.yaml v1 同步等價改。source_uri 遷移
  gitea://→kb://。schema_version!==1 整輪 no-op。
- push-demo-workflow.sh：補 __CF_ACCOUNT_ID__/__R2_BUCKET__/__CF_R2_TOKEN__ 佔位；
  GITEA_* 標 deprecated-for-ingest（rag-extract* 仍用）。
- Gitea 退場（本 repo 範圍）：legacy JS collector 六檔刪除（git 記錄可查）；
  install.sh 步驟 5 降級 deprecated；README 落「Gitea 退場切換 checklist」
  （推 v3→collector sync 實測→拆 Gitea webhook→觀察期＋回滾法）。
- 驗證：yaml parse（raw＋sed 模擬）／flow-config 對齊／JS 語法 node --check／
  demo cypher 唯讀 /cypher/search 編譯 missing=[]、出邊序如設計。
  未部署、未實跑 e2e（推 demo＝leo 閘）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:58:39 +08:00
Leo fdb7a67484 feat(ingest-hash-trigger): collector R2 content-addressed 原稿上傳（SDD task 3） 
- collector upload 子命令＝scan＋把 added/modified 原稿傳 R2（CF REST API
  Bearer token，key=raw/<sha256hex>，對齊 collector-trigger.v1 的 r2_key）
- 冪等：存在檢查命中＝skipped_exists 不 PUT；CF API objects 端點不支援
  HEAD（live 實測 405）→ 改 GET＋Range: bytes=0-0
- 完整性：上傳前重算 hash 核對 key，不符＝failed 不上傳
- 失敗語意：failed → exit 1，ingested_hash 不動＝下輪自動重試；
  回寫鉤子 Manifest.MarkIngested 留給 task 4
- 設定只走環境變數 CF_ACCOUNT_ID/CF_API_TOKEN/R2_BUCKET，不落 repo
- go test 14/14 綠（httptest mock 對齊真 API：HEAD 405）；live e2e 全通
  （arcrun-rag-raw-demo：真上傳→重傳 no-op→下載 diff 一致＋sha256==key）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:27:42 +08:00
Leo bb96bceb04 feat(ingest-hash-trigger): 凍結 collector/ingest schema＋Go collector 骨架（issue #5, SDD task 1+2） 
- schemas/collector-trigger.v1.schema.json：collector→named-webhook 觸發 payload（source_hash/r2_key/renamed/R6 warnings）
- schemas/kbdb-ingest-request.v1.schema.json：source_hash 必填缺=400；儲存映射走 metadata_json.$.source_hash（守 kbdb 表不變鐵律）；同 hash 重送=200 already_ingested
- schemas/MIGRATION-webhook-payload.md：舊 Gitea push payload 逐欄對照（給 task 4 改寫 workflow）
- collector/：Go module（純 stdlib）——manifest 讀寫＋mtime fast-path 掃描＋renamed hash 配對＋40% 大量刪除防呆；CLI collector scan
- go test ./... 全綠 7/7（added/modified/removed/renamed/防呆五情境＋fast-path＋manifest 往返）
- Node 版 collector 標 legacy 並存（SDD task 4 拆除）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 20:31:11 +08:00
Leo eff30bd741 T4: Markitdown adapter——docx/pptx/pdf 轉檔 + 原檔進 assets/originals（design §4） 
transform.js：MARKITDOWN_EXT（docx/pptx/pdf）走 markitdown CLI 子行程轉出 md，輸出路徑
副檔名換 .md；回傳 originalCopy 供 index.js 把原檔複製進 assets/originals/<相對路徑>。
git-sync.js：ensureGitAttributes() 啟動時冪等寫入 LFS 宣告（三種格式 filter=lfs）。

已驗（雲端 sandbox，兩輪煙測）：用 python-docx 生真實 docx（含標題+段落）丟進 watch 資料夾，
collector 呼叫 markitdown 轉出真實 md 內容（人工核對與原檔一致）、原檔複製進
assets/originals/、.gitattributes 正確含三種格式 LFS 宣告、commit+push 送達 bare remote。

誠實邊界：sandbox 無 git-lfs 二進位，驗不到真實 LFS smudge/clean filter 生效（只驗到
.gitattributes 內容正確）；真實 Gitea remote push/憑證、真實客戶檔案樣本仍待本機/客戶環境。
其餘格式（xlsx/圖片）不在第一波承諾範圍，仍誠實丟 NotImplementedError。
 2026-07-07 21:13:13 +00:00
Leo 4ca94c17ca T3: collector 骨架——watch→轉檔→git commit/push（design §4） 
Node 單檔服務（非 arcrun workflow，跑客戶端機器）：chokidar watch 事件驅動、debounce
合併批次 commit、.md passthrough（非 md 格式誠實丟 NotImplemented 待 T4 Markitdown）、
刪檔→target repo 移除對應檔（deprecated 標記留給 ingest workflow，collector 只管檔案鏡像）。

已驗（雲端 sandbox scratch 環境，非真實客戶環境）：node --check 全過；起 scratch watch dir
+ scratch git repo + bare remote，實測 add/change/delete 三種事件皆正確偵測、debounce 正確
合併成一次 commit、git push 真的送達 remote（git log 驗證）、非 md 格式正確跳過並警告。

端到端待本機/客戶環境驗（README.md 已列）：真實 NAS/VM watch、真實 Gitea remote+憑證、
Gitea push webhook 真觸發 ingest、systemd 常駐穩定性。
 2026-07-07 21:08:21 +00:00