inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 15 Wiki Activity
52 Commits 2 Branches 15 Tags
6a3942024a2e7eb0846207c235cbc197efea4cad
Commit Graph

19 Commits

Author SHA1 Message Date
Leo 6a3942024a t149: Folders() 收 accounts[].watch_folders——修多帳號用戶「按同步沒反應」 
leo 07-29 實測揪出：按「立刻同步」毫無反應，log 顯示 "folders": null、results: []。
真因：Folders() 只讀頂層 watch_folder/watch_folders，**完全沒讀 Accounts[].WatchFolders**。
多帳號設定（新制）一律寫在 accounts[] 裡 ⇒ 掃描清單空 ⇒ 什麼都不做。
**每個多帳號用戶都會中**，不是 leo 特有。

驗：go build 過；純 accounts[] 設定 dry-run → folders = [/tmp/aaa /tmp/bbb]（先前 null）。
註：AccountConfig 只有複數 WatchFolders（無單數欄位），初版寫錯已修正。
 2026-07-29 21:00:00 +08:00
Leo be5d6e3237 fix(t126): 萃取引擎/金鑰改每帳號一份——多帳號不再互相覆蓋 
leo：「2 個 CF 帳號一個填 gemma4 一個填 Mistral，daemon 會用誰的？別人也加就會有一樣的疑問」
實證：金鑰只有機器層一份 ⇒ 後連的覆蓋前一個。
修：AccountConfig 加 Extractor/GeminiAPIKey/LLMModel；帳號層優先、空值繼承機器層；
既有 config 遷移（頂層金鑰複製到各帳號，冪等）；連線只寫該帳號不覆蓋機器層；
托盤帳號標題顯示「· Gemini」/「· Claude」（一眼看出誰用誰）。
三模組 go test 全綠（總管親跑）。（實作＝子 CC；驗證+commit＝總管）
 2026-07-29 14:36:44 +08:00
Leo 1738acaca7 fix(t108 🔴🔴): 逐帳號同步遺失萃取設定→原文直送——三層修＋契約保險絲 
事故（leo 機 07-28 17:3x 總管現場抓到）：t104 config 重寫吃掉機器層 extractor/key、
per-account DirectConfig 不繼承 ⇒ extractor 空 ⇒ 6 筆走 rag_ingest_direct 原文出機。
修：①config 讀改寫全程保留既有欄位（帶測試）②帳號層無值垂直繼承機器層
extractor/claude_bin/gemini_api_key/llm_model/CardIngestWF/RemovedWF（帶 fake server 測試：
必須收到 rag_ingest_card 非 direct）③契約保險絲：extractor 空時非 .md/.txt 禁直送、
標 failed「萃取器未設定，已跳過（不直送原文）」——同類 bug 永不再成外洩。
三模組 go test 全綠（總管親跑）。（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 17:59:42 +08:00
Leo bf1f0d9991 feat(t104): 多帳號同時看守——切換概念消滅 
leo 架構依據：「它只是一個門，幾個帳號通過它同步並沒有影響」＋
「我不是 Google Drive……不提供暫存空間，daemon 工作輕巧，多帳號只是頁簽問題」
（D-daemon-not-Drive）。
Accounts[] 每帳號獨立連線+資料夾；舊 config 冪等遷移 accounts[0]；
逐帳號同步一敗不擋全；status.json 分帳；托盤每帳號一分組；
「連上知識庫」→「＋新增帳號…」（append 非替換）；t86 切換清空退役；
t101 刪除作用於正確帳號。+873/-149、collector 5+tray 5 新測試，
兩模組 go test 全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 16:45:14 +08:00
Leo f8450815d3 feat(t103): daemon 偵測雲端過舊＋托盤更新入口——連動閉環 
每輪 GET /health 取 bundle_version（5s timeout 失敗靜默）；空或日期<minCloudBuilt
→ 托盤「⚠ 知識庫需要更新（點我）」開 install.arcrun.dev；結果進 status.json。
兩模組 go test 全綠（總管親跑）。leo：「daemon 和雲端是連動的」——自此用戶只看托盤。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 16:15:12 +08:00
Leo 77aa4c5195 feat(t98): 托盤「立刻同步」——訊號檔法零 IPC，跨平台 
leo：「無法知道到底同步了沒，可以在 daemon 上加一個立刻同步？」
tray 點擊寫 ~/.arcrun-rag/sync-now＋短暫顯示「同步中…」；collector 主迴圈 1 秒輪詢
訊號檔、有就立刻跑一輪刪檔，無則照 PollSec 排程；完成後 status.json 更新自然刷新托盤。
測試：collector＋supervisor＋tray 三模組全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 15:06:08 +08:00
Leo 9df8d037ca fix(t86b): manifest 分實例——換知識庫後同資料夾不再被舊帳跳過 
根因：manifestPathFor 雜湊只含資料夾路徑，換實例讀到舊帳本
→ 全部檔案被視為已同步 → 新知識庫靜默拿不到資料（leo 機實證：刪 manifest 才通）。
- instanceHostOf：CypherURL 的 host 作為實例鍵
- manifestPathFor：sha256(host+"\n"+absRoot)，單根多根統一公式
- migrateManifestIfNeeded：新名不在、舊名在 → rename 過戶（一次性、冪等）
- 換回舊實例帳本仍在＝不重傳（每實例一本帳，設計目標）
已知殘窗（記 tasks.md）：升級後第一次掃描前就換實例，舊帳會被過戶給新實例
（舊格式無實例資訊，無從分辨）；常態下升級後首掃已把帳過戶給舊實例，窗口極窄。
測試：新增 6 條（分實例/穩定/單根遷移/多根遷移/冪等）＋三模組全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 12:59:07 +08:00
Leo 6c9d74d588 fix(t91+t92): 萃取狀態可見＋Finder 啟動 PATH 修正——背景執行不可見的兩題同根一起解 
leo 07-28 實測根因：Finder 起的 GUI app 只有最小 PATH（無 /opt/homebrew/bin）
→ claude 靜默找不到→整輪萃取失敗，托盤卻顯示「看守中」。leo：「我怎麼知道它有萃？」
- FindClaudeBin：LookPath 失敗後掃 4 個常見絕對路徑，找到回寫 config claude_bin
- CheckExtractor 預檢＋每輪寫 ~/.arcrun-rag/status.json（ok/fail 計數＋失敗清單）
- 托盤：引擎未就緒→「⚠ 萃取引擎未就緒：<白話原因>」；失敗>0→可點開明細；正常→「已萃 N 檔」
測試：collector＋supervisor＋tray 三模組 go test 全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 12:41:41 +08:00
Leo fb63d9f0c4 fix(t89 🔴🔴): 純中文資料夾名不再靜默併進 kb 庫——slug 空改生路徑穩定雜湊鍵 
leo 07-28 實測：「官方總圖」被顯示成「知識庫」＝slug 後為空退到 kb；
兩個純中文資料夾會塌縮同庫（靜默混庫，B5 分庫隔離形同虛設）。
修：libraryFor 第三優先從退 c.Library/kb 改為 lib_+sha256(絕對路徑)前6hex——
路徑穩定故鍵穩定、不同路徑必不同鍵；後端庫名鍵限 A-Za-z0-9_- 相容。
測試（t52_library_test.go）：純中文→lib_雜湊非kb／兩中文夾不同鍵／同夾重跑鍵穩定／
ASCII 行為不變／明列對映仍最優先。collector go test 全綠（總管親跑）。
（實作＝子 CC headless；審查+commit＝總管）
 2026-07-28 12:03:20 +08:00
Leo a50cc37949 feat(t73): manifest 記錄 extracted_by——換萃取器時才分辨得出哪些卡是舊的 
leo 07-27 三問查證後補的缺口。查證結果（已用測試釘死，下次不必再讀碼推論）：
① 已萃過它知道嗎 → 知道。ingested_hash vs content_hash，相同就跳過；
   只有 2xx 成功才回寫(direct.go:405)，失敗下輪自動重試不漏檔。
② gemma 會重萃 claude 萃過的嗎 → 不會重萃(hash 相同)，但原本**分辨不出誰萃的**
   ＝換萃取器後兩種品質的卡混在同一知識庫，想重萃也不知該重萃哪些。← 這次補的
③ 誰負責萃 → cfg.Extractor 一個資料夾一個設定(direct.go:346)，無自動判斷。

做法（純記錄不改行為、可逆，故自裁）：
- ManifestEntry 加 ExtractedBy(omitempty)
- 另開 MarkIngestedBy 而非改 MarkIngested 簽名——後者有多處呼叫(direct 兩處+
  trigger.go MarkIngestedEvents+測試)，改簽名會擴散破壞

測試 7/7：萃過不重萃／改了要重萃／失敗下輪重試／記得誰萃的／
舊簽名仍可用／舊 manifest 讀得進來且空值不污染 JSON／有值真的存進檔案。

未做(屬品味題待 leo 裁)：B 自動偵測有無 claude 優先用用戶訂閱、C ChatGPT 路。
 2026-07-27 20:58:30 +08:00
Leo fedb765742 feat(t52): per-folder 庫章——DirectConfig.libraries 對映＋libraryFor()（資料夾名 slug／中文退後備／明列優先，go test 綠）；兩支 ingest workflow 的 post_block metadata 補 library（真兇：blocks 沒蓋章＝兩資料夾全歸 general）；托盤連線時回報庫自動登記 2026-07-26 01:53:44 +08:00
Claude e548c57efa fix(t39): daemon 端展開 config 的 ~/ 路徑 
安裝器成功頁下載的 config.json 把 manifest 寫成 ~/.arcrun-rag/manifest.json——那是給人
看的寫法，Go 不展開波浪號，os.ReadFile 會去找一個字面上叫 "~" 的資料夾。

修在 daemon 端而非前端：用戶自己手打 config、或把設定搬到另一台機器時 ~/ 都該會動，
而前端也拿不到用戶家目錄。manifest 與 watch_folder(s) 全展開；只認 ~/ 與單獨的 ~，
~user 形式不猜（Go 無法解析他人家目錄）；拿不到家目錄就原樣返回讓錯誤誠實浮現。

測試 +2（config 展開含 CJK 路徑與絕對路徑不動、expandHome 六種邊界），collector 全套綠。
 2026-07-25 08:18:21 +00:00
Leo 125377b899 feat(daemon-beta t26): 托盤選單顯連線身分（暱稱>email>未設定），CF 全程隱形 
- directConfig/DirectConfig 加 Email、InstanceName（選配）欄，兩結構同形
- rebuildTray 選單頂加 disabled「連線中：<暱稱||email||未設定>」列；
  有 cypher_url 再加一行縮短 host（fyne MenuItem 無 tooltip，取捨見註解）
- connectionStatusLabel/shortCypherHost 抽純函式，3+3 案 table test
- go vet + go test 全綠（collector 43 通、tray 10 通）；tray go build 過
 2026-07-24 17:59:01 +08:00
Leo b9d880413d feat(daemon-beta t14/t15/t17): supervisor log 檔＋removed 清本地卡＋托盤建新資料夾 
- t14 supervisor：子行程 stdout（tee）/stderr 全落 ~/.arcrun-rag/collector.log，
  >5MB 改名 .old 重開（兩代輪替）；落 log 失敗一律吞掉不擋看守。新增 2 測試
  （輸出進檔＋輪替觸發）。
- t15 direct removed（extractor 模式）：雲端 takedown 2xx 後同步刪本地
  system-dev/wiki/cards/<頁名>.md（存在才刪；刪失敗只記 warning 不擋）。
  新增 2 測試（刪原檔→本地卡被清／卡已不在照常下架）。
- t17 arcrun-tray：tray 選單＋設定視窗加「建立新資料夾並看守…」——
  widget.Entry 輸入名稱→ ~/ 底下 mkdir（已存在沿用；擋路徑分隔與 ..）→
  addWatchFolder＋saveConfig＋重啟看守＋rebuildTray。

collector: go vet ✓、go test -count=1 ./... 43/43 綠；arcrun-tray: go build ✓（產物已刪）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-24 15:06:21 +08:00
Leo 6e5009ff35 fix(daemon-beta t6): ingest path 改帶原檔路徑——修 takedown 0 命中孤兒 bug（第五枚真機坑）；mistakes 補成對操作同鍵教訓 2026-07-24 13:21:26 +08:00
Leo 058d19b743 feat(daemon-beta t5/t6): rag_ingest_card 收卡 workflow（零LLM零credential）＋direct 迴圈接萃取器——本地萃卡只上卡、原文不出機；e2e 測試驗「原文不洩上雲」＋失敗重試語意 2026-07-24 12:23:52 +08:00
Leo 73a5a67b72 feat(daemon-beta t2): template 代裝——embed v1.18.0 快照(36檔)/冪等不覆寫/daemon 啟動自動鋪/template-install 子命令；scan 加 SkipDirNames 防 system-dev 與 CLAUDE.md 被當知識掃 
- 測試 3 支新增全綠（首鋪/冪等護用戶檔/掃描跳 template 產物——第三支先紅抓到 CLAUDE.md 洩入再修綠）
- CLI 實跑：新鋪 36 檔→重跑 0 新檔（冪等證據）
 2026-07-24 12:18:37 +08:00
Leo b355165180 feat(daemon-beta t1): 多資料夾 config——watch_folders[]+單數相容、manifest 每根一份、多根掃描標 Root、托盤資料層相容；rag-wave1 closed→daemon-beta 實作卷 active 
- direct.go: Folders() 正規化（去重保序）/manifestPathFor（單根沿用不丟狀態、多根 sha 尾碼）/RunDirectOnce 多根彙總
- 新測試 4 支全綠（單數相容/多根去重/缺欄驗證/多根 dry-run 標 Root）；既有 7 支不動全綠
- tray: config 加 watch_folders 欄（防存檔洗掉）＋addWatchFolder 資料層；勾選 UI=task 7
 2026-07-24 12:10:08 +08:00
雲端總管 ad34a87210 feat(daemon): direct 直送萃取同步模式（無 R2/Gitea，youlin live e2e 綠） 
SDD ingest-hash-trigger task 11：daemon 跨平台核心 + 產品承諾核心實證
（丟檔進資料夾 → AI 查得到）。

- collector 新增 direct 子命令（direct.go）：監看資料夾 → hash 差異偵測（沿用 Scan）
  → 讀檔內容 inline POST 進實例 rag_ingest_direct workflow；刪檔 → POST {page_name,path}
  進 rag_takedown_direct。設定走 --config JSON（install/direct-config.sample.json）。
  常駐輪詢＝純 stdlib ticker，零 CGo，darwin/arm64 + windows/amd64 交叉編譯 OK。
- workflows/rag-ingest-direct：ask_llm（rag_extract_one）+ parse_card/post_block/post_triplet
  （rag_ingest）拼成單一自足直鏈，繞開 R2 撈原稿與 Gitea 落卡。blocks/triplets 寫法與
  rag_ingest 逐欄一致 → rag_chat 檢索得到。
- workflows/rag-takedown-direct：不含 __CARDS_PREFIX__ 閘的下架（rag_ingest removed 分支的
  前綴閘會擋掉資料夾根的 direct 檔——2026-07-20 live e2e 實撞）。

dogfooding（D29 daemon 薄殼豁免）守住：daemon 只監看/讀檔/算 hash/HTTP POST，
萃取/切塊/RAG 全在 Arcrun workflow。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Xabu4T28MmQEiYDwT2KnKW
 2026-07-20 11:15:21 +00:00