inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 14 Wiki Activity
153 Commits 2 Branches 14 Tags
021b3962e22e154510d9ab2b23c769df0cb3a0ff
Commit Graph

14 Commits

Author SHA1 Message Date
Leo 6c74b97718 feat(collector): workers-ai 路改吃共用契約——免金鑰預設路的卡跟 BYOK 一樣完整（Arcrun#134） 
InkStoneCo#44 ④ 只修了 gemma BYOK 路（JSON 契約＋wikishape 機械組卡），
免金鑰預設路（多數用戶實際走的）仍吃雲端舊 prompt 的舊格式卡 ⇒ 走預設路
拿到次級知識庫。

修法＝契約單一真相源：wikiExtractPrompt（原 gemmaPrompt 改名，因為它已是
兩條路共用）由 daemon 整段帶上雲（request prompt 欄位），雲端只當執行器回
模型原文（response output），解析（parseWikiExtractJSON）與組卡（BuildWikiDoc）
回到本 package 與 gemma 路同一段程式碼——同形不再靠「兩邊要一起改」的叮嚀。

版本歪斜兩向都有路：舊雲端忽略 prompt 回 card ⇒ fallback 走 legacy 落卡
（#60 前綴／不覆蓋保護原封不動，收端 lint 新舊雙軌）；舊 daemon 不帶 prompt
⇒ 雲端 legacy 行為不變（對向修法在 Arcrun work/extract-wiki-json-0815）。

測試：+2——①request 的 prompt 必須是 wikiExtractPrompt 本人（不是手抄第二份）
②同原稿＋同判斷走兩條路，.wiki/ 產物逐位元組相同（卡＋00-INDEX＋manifest）。
既有兩則（stub 回 card）自動變成舊雲端 fallback 的守衛。go test ./... 全綠。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-15 21:26:30 +08:00
Leo 12c2d41886 feat(collector): daemon 產出改成規範形 wiki 卡——1 文件卡＋N 原子卡落 .wiki/（InkStoneCo#44 ④） 
LLM 只回 JSON 判斷，格式/落點/連結閉合/索引/manifest 全由 wikishape.go 機械組裝：
- 卡形＝frontmatter(tags/gloss/created/updated)＋← 上層＋摘要/重點/實體(帶類型)/
  關聯(內文知識關係/卡片關係/出處)——差距表 #6
- 落點 <節點>/.wiki/、檔名＝H1（.wiki 隱藏目錄自身即機器標記，machinemark 例外③）——#7
- 00-INDEX 機械維護：每行五樣照抄 frontmatter；每份原稿必列——#8
- 萃取端就切 1 hub＋N 原子卡（gemma 路 prompt 改 JSON 契約）——#9
- 無可萃概念標「空」＋理由，上索引不產卡——#10
機械保證對著 wiki-lint.py 寫：斷連結拆殼、index 式句改寫、三元組恰三項、
雙向邊自動補反向、佔用不覆蓋、原稿永不動；同名概念跨文件先消歧（merge 歸第⑤環）。
scan/convert 白名單補 .feature/.yaml/.yml/.org/.rst（規範洞 6）；
lint.go 新舊格式雙軌（workers-ai 雲端 prompt 屬 matrix/arcrun 核心，待開票）；
direct.go 只送文件卡上雲（takedown 配對鍵不變）、下架收走 .wiki 產物。

實測：真資料夾＋真 Gemini → 2 節點 12 卡，wiki-lint 17/17 exit 0，
原稿 sha256 前後不變；go test collector＋supervisor＋arcrun-app 全綠（新增 9 案）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-15 21:03:45 +08:00
Leo f233eec9c2 feat(collector): 結構先行——掃描完幾秒內就能問「資料夾裡有什麼」，不等 LLM 不等額度（InkStoneCo#43） 
leo 08-15 量測：266 檔真正算的 ~20 分鐘／<$0.5，使用者卻等 ~4 天（多在等
Workers AI 每日額度）；而「有哪些檔案／最近改了什麼」本地掃一遍就有答案
（1,335 檔實測 0.254s），卻因 part_of 只在雲端 parse_card（萃取之後）生成
而排同一條隊、撞同一面額度牆。

- collector/inventory.go：Scan() 後、萃取迴圈前（額度冷卻閘之外），把 manifest
  現況做成機械總覽卡（檔案清單／最近改動／目錄 part_of）POST 既有 rag_ingest_card
  ——零 LLM、零新 workflow、既有實例直接受益；自帶同頁名 upsert 防重複
- 冪等：內容 sha256 記 manifest.inventory_hash；失敗 10 分鐘退避（防 t195 同款
  每 5 秒重撞）；額度失敗訊息人話化，不裸露 4006/502
- 清單 ≤200 逐檔、關聯 ≤10 條：守 Workers 免費層 50 subrequests 天花板
- 不寫本機檔案、不動使用者原稿

實測（youlin stage yuga3bse，刻意無金鑰＝零萃取）：總覽卡 200 送達、rag_chat
正確回答「有哪些檔案／最近改了什麼」；重掃不重複（blocks 恆 5、triplets 恆 2）；
go test collector＋supervisor＋arcrun-app 全綠（新增 inventory_test.go 6 案）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-15 16:39:45 +08:00
Leo 5322103459 fix(collector): 修好 #60 的編譯——測試用的 sortedKeys 與 convert_table.go 撞名 
上一批把修法寫完了但沒編譯過：vault_footprint_test.go 自己定義了一支
sortedKeys，而 convert_table.go 早就有同名的（吃 map[string][]byte），
同一個 package 裡不能重名。改名成 sortedFootprintKeys，並順手把本分支
碰過的三個檔 gofmt 過。

驗收（實跑）：
  bash collector/verify-60.sh  → ✅ 全部通過（五關）
  go test -count=1 ./...       → ok collector 9.6s / ok supervisor 12.2s

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-12 15:07:55 +08:00
Leo 5a140faf1f fix(collector): 機器寫進筆記庫的檔案一律帶前綴，不再跟使用者的頁面撞名（arcrun-rag#60） 
leo 2026-08-12：「我的 Logseq 又被覆蓋⋯⋯**不只是加上 journal，可能所有的檔案都加一個前後綴，比如「wiki」**。」

不是資料被蓋掉，是機器產出用了跟他一樣的命名空間（status.md、日期檔那些）
⇒ 他打開資料夾分不出哪些是自己的。**心理上的覆蓋跟實際覆蓋一樣糟。**
 2026-08-12 14:57:32 +08:00
Leo 63bea13f21 feat(daemon-beta B2): 萃取品質 lint（H1–H6）重新接到現行 direct.go 
Gitea #24：分支 work/b2-quality-lint-0726（2f3e9ec）躺在 main 外兩週，
今天重新整合進現行 direct.go（原分支落後 main 130+ 筆，direct.go 本身
差 667 行，需要真正的整合工作而非硬併，見 wiki status.md 與頂層
daemon-beta/tasks.md 已記載的殘項）。

- collector/lint.go／lint_test.go：package main → package collector
  （main.go 在 4a26856／v0.18.9 已從兩支執行檔併成一支，整個 collector/
  目錄已改名 package collector；分支停在改名之前）。
- collector/main.go：func main() → func Run(args []string) int
  （同一次重構），新增 case "lint" 呼叫 runLint。
- collector/direct.go：DirectConfig.LintStrict 欄位＋extractor 萃完、
  POST rag_ingest_card 前掛 LintCard 閘（硬缺→不送標 rejected；
  軟項→照送帶 quality:low+quality_warnings）；CLI --strict 旗標。
- 既有測試共用的 cardFixture（direct_extract_test.go）／direct_pacing_test.go
  三處 inline 卡片，從「兩段最簡卡」補成 B2 合格四段卡——不是新增例外，
  是 lint 正確地在做它的事，舊卡片本來就不合格。

驗證：go build/vet/test ./... 全綠；另以真實 PDF（docs/onboarding/封測說明.pdf，
2MB 二進位）跑過完整 direct.go 同步鏈，證實送進 Gemini 的 prompt 是
5,071 字乾淨中文（0 個控制字元/NUL），不是原始位元組——ConvertToText
（t73）已完整解決 900b895 想止血的問題，故該分支的 looksLikeText
二進位止血、Windows 交叉編譯腳本判定作廢，不併。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-09 14:26:21 +08:00
Leo 4d3a6a09a6 v0.18.9：collector 併進同一支執行檔——磁碟上不再攤出第二支 exe 
leo 08-06 裁決：「不要兩支，寫成一支檔案」。

## 為什麼
v0.18.7-8 的「單一 exe」其實是**一支包著另一支**：collector.exe 被 go:embed
進 Arcrun.exe，執行時攤到 ~/.arcrun-rag/bin/ 再跑。
那正是防毒軟體眼中的 dropper 特徵 —— 封測者實撞
`Trojan:Win32/Sabsik.FL.A!ml`，檔案當場被隔離、自動刪除。

⚠️ 誠實界定：`!ml` 結尾＝**機器學習判定**，Sabsik 是最常見的通用誤判家族，
   主因是「未簽章＋下載次數少」，**不是**特別指向 dropper 行為。
   所以本次改動**不保證**解除誤判——真正的解是上架 MS Store（微軟簽章）。
   但「執行時把第二支 PE 寫到磁碟再執行」本來就該拿掉，這是對的方向且順手變小。

## 怎麼做
- `collector/` 39 個檔 `package main` → `package collector`，`main()` → 匯出的 `Run(args) int`
- 新增 `collector/cmd/collector/`（薄殼 CLI，讓單獨跑 collector 這條路仍可用）
- App 直接 import 該套件；`main()` 第一件事就判 `--collector`，是的話走 `collector.Run` 不碰 GUI
- `supervisor` 加 `ArgPrefix`，App 把 `BinPath` 指向 `os.Executable()` 自己
- 刪掉 `bundled_collector_{windows,other}.go`（embed + 攤檔那套）
- 三支打包腳本不再編/複製第二支；版本注入同時打到兩個 package
- build-win.sh 的機械閘改成**直接問它**：`--collector --version` 回得出版本才放行
  （舊閘是比大小，只能證明「有 embed」，證明不了「分派是對的」）

## 驗（真機實跑）
· `.app/Contents/MacOS/` 只有 **一個** 執行檔（原本兩個）
· 跑起來兩個行程是**同一個 exe**：
    …/MacOS/arcrun-app
    …/MacOS/arcrun-app --collector direct --config …
· `~/.arcrun-rag/bin` **不存在**（沒有任何東西被攤出來）
· 端到端：丟檔進看守資料夾 → collector.log `"status":"ingested","http_status":200`
· `lsappinfo` 仍是 `type="UIElement"`、`Version="0.18.9"`
· collector 39 檔測試全過；app 測試過；go vet 全綠；mac + windows 交叉編譯皆過
· 單檔 26MB → 22MB（不再夾帶第二份完整程式）
 2026-08-06 16:00:47 +08:00
Leo 133f5add46 t182：老 config 抹除成 Workers AI＋雲端探測——leo 實測「無卡」的真因 
leo 08-04 實測回報（更新 v0.15.5 後仍顯示 Gemini／丟 PDF 無卡），
查出來不是 Workers AI 不通，是**根本沒走到那條路**。三顆真 bug：

① 抹除只做一半（leo：「就要抹除改成用 Workers AI，如果保持 Gemini
   它不會改掉，那就是失敗的」）
   t181 只在 RunDirectOnce 改頂層記憶體值，但
   - makeAccountSubConfig 會把**帳號層**舊值蓋回來（t126「帳號層優先」）
   - 完全**沒寫回檔案** ⇒ 托盤是另一個行程，讀檔還是念 Gemini
   leo 的 config 正是頂層＋兩個帳號各留 "gemma"、無 explicit
   ⇒ 畫面顯示 Gemini、萃取也真的跑 Gemini。
   修：遷移移到 LoadDirectConfig（每次啟動必經），逐層抹除 + 寫回檔案。
   金鑰保留（Gemini 是選配不是廢除）。

② 驗證器擋掉自己的新預設
   `extractor 只能是 claude / gemma` ⇒ config 一旦寫成 workers-ai，
   daemon 直接載入失敗起不來。v0.15.5 已帶著這顆出貨。

③ 托盤標籤照 config 舊字串念（t178 的通則版）
   t178 只把 claude 這**一個**殘留值導向 Gemini，殘留 gemma 一樣脫鉤。
   改成與 direct.go 同一條判準：沒 explicit 就一律念「雲端 AI」。

＋ t182 雲端探測（leo 指定設計：「會去掃一次看雲端是否裝好，沒裝好就顯示
  workers AI 還沒通，一旦通了就顯示可用」）：ProbeWorkersAI 逐帳號探
  /portal/daemon/extract（送空 text，不燒 LLM 額度），結果寫進 status.json
  由托盤「狀態：」講白話。**不做靜默退回 Gemini**——那會讓用戶永遠
  不知道自己雲端沒更新。

實測證據（非 mock，打真實例）：
- youlin 實例萃真卡：3.67s，產出完整知識卡（一句話定義/要點/關鍵實體/關聯）
- 連測三次：3.51s / 3.34s / 3.59s（Gemini 實測 16.87s ⇒ 快約 5 倍）
- 兩個實例都已有 /portal/daemon/extract（皆回 400＝route 存在）
- 拿 leo 真 config 複本跑遷移：三層全抹成 workers-ai、金鑰留著、重讀仍是 workers-ai

測試：新增 direct_t182_test.go（抹除全層/寫回磁碟/主動選過不動/合法值/冪等）；
既有三則因預設變更而失效的斷言已更新（t108 二進位不出機的契約未放寬，仍綠）。
全套綠。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-04 16:29:56 +08:00
Leo 1a8906c0b7 t181 daemon 端：萃取預設走 Workers AI（免金鑰）＋托盤可切換 AI 來源 
【leo 08-04 列為最優先】「daemon 的 AI 改用 workers AI」
——「這是我的用戶**最大障礙**，造成首輪測試用戶的**好評或惡評**」。

【新增】collector/extract_workersai.go：打自己雲端實例的 /portal/daemon/extract，
那端用 env.AI binding ⇒ **完全不需要任何金鑰**。與 gemma 路架構完全對稱
（leo 的判斷：「不論用 Claude／Gemini／Workers AI…應該是同一件事」——是，
只有「送到哪」不同，讀檔/轉檔/淨化/落卡全共用）。
舊實例回 404 時講人話：「你的知識庫還是舊版 ⇒ 請到 portal 按『立即更新』」。

【預設改為一律 Workers AI】leo 特別交代：
  「default 用 Workers AI，你要用 Gemini 要**特別去選取**，**不管你現在是否有填金鑰**」
  「只要更新版本，就已經 default workers AI 了，除非去一個地方切換」
  「不然我會有很多質疑，**花在解釋為什麼 Gemini 不管用上**」
⇒ 判準是新欄位 ExtractorExplicit（使用者主動選過），**不是「有沒有金鑰」**。
  舊 config 沒這欄＝false ⇒ 更新版本後自動走 Workers AI；金鑰留著不動，改選 Gemini 立刻可用。

【托盤＝唯一切換處】「AI 設定…」改成引擎選擇：雲端 AI（預設）／Gemini（選配）。
選 Gemini 才顯示金鑰欄，並附「Billing Tier: Unavailable ⇒ 換 Google 帳號」的排難提示
（今天 oscar 撞的那題）。Gemini 不推廣（leo：「特定人告訴他怎麼做就好」），文案只說明不慫恿。

【標籤】leo：「用 workers AI 就**不顯示**，用 Gemini 會顯示 Gemini」
⇒ 預設路徑不佔版面；只有主動選了別的才標出來（延續 t178「標籤必須與實際行為一致」）。

【測試】新增 TestT181DefaultsToWorkersAI 六則，含最關鍵的
**「有金鑰但沒主動選 ⇒ 仍走 workers-ai」**；既有測試補 ExtractorExplicit 以隔離變因
（它們測的是萃取管線，不是預設邏輯）。兩模組全綠。

⚠️ 未送達：要打包 v0.15.5 並部署雲端端點才會到用戶手上。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-04 15:00:48 +08:00
Leo f903a3f53f t176 daemon：LLM 設定移回地端＋托盤單一實例（leo 08-03 架構翻案） 
leo 回報 Windows daemon 三症狀，查完 ①③ 同根，根在「雲端控制地端」這個設計。

【①③ 真兇】雲端 extractor_config 是**全租戶共用一把 KV**
（arcrun:portal.ts:43 portalTenant = worker 層級變數，不分用戶），
任一處設了 claude → 所有人的 daemon 都收到 claude。沒裝 Claude Code 的機器
FindClaudeBin 失敗 → 每檔萃取 failed、一張卡都沒建；想去 portal 改回 gemini，
checkbox 卻恆 disabled（claude_available 恆 false，因 daemon 從未實作
report-capabilities 回報 → daemon_caps KV 永遠空）⇒ 用戶自己解不開。
awindhon 實證：雲端同步成功、Gemini key 有效、零張卡，config.json extractor="claude"。

【leo 裁示】「地端要用什麼模型就在 daemon 上輸入 API Key 設置，而不是雲端設置後
控制地端」「地端先限制 Gemini API Key 配合客戶要求」「雲端就是 Workers AI」。

本次（daemon 端）：
- addOrUpdateAccount 不再接受雲端下發的 extractor/gemini_api_key/llm_model，
  只收連線欄位。t126「每帳號一份萃取設定」照舊保留——t126 修的是「存在哪一層」，
  本次改的是「值從哪來」，兩者正交。
- 托盤新增「AI 設定…」：使用者自己填 Gemini API Key，寫本地 config 後立即生效。
- 萃取一律走 gemini：殘留的 extractor:"claude" 正規化為 gemma；claude 路退役。
  ⚠️ 這不是「自動偵測有無 claude」（leo 07-27 已否決的 B 案），是整條路先不支援。
- 清掉隨之死亡的 claude_bin 回寫（死代碼＝錯誤的環境信號）。
- 托盤單一實例（症狀②）：pidfile + 跨平台 processAlive。
  mac 之前不多開是借 macOS Launch Services 的巧合，Windows 沒有該層 ⇒ 每點一次多一個 icon。
  Unix 用 signal 0（EPERM 也算活著，測試抓到的實際 bug）／Windows 用 OpenProcess+ExitCode。

測試：collector 全綠、tray 全綠。5 個原本用 claude stub 的測試改走**真實 gemma 路**
（httptest 替身注入 gemmaBaseURL），不是改斷言充綠；t126②③ 兩案翻轉成
「雲端下發一律被忽略」的回歸守衛；新增 4 案 single-instance。

未送達：本 commit 只到 code，尚未打包出貨；雲端側（刪 portal AI 設定區塊、
extractor 下發、admin/extractor）未動，待部署授權。CP rag-beta 步驟仍為 ◐。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-03 17:48:10 +08:00
Leo 1738acaca7 fix(t108 🔴🔴): 逐帳號同步遺失萃取設定→原文直送——三層修＋契約保險絲 
事故（leo 機 07-28 17:3x 總管現場抓到）：t104 config 重寫吃掉機器層 extractor/key、
per-account DirectConfig 不繼承 ⇒ extractor 空 ⇒ 6 筆走 rag_ingest_direct 原文出機。
修：①config 讀改寫全程保留既有欄位（帶測試）②帳號層無值垂直繼承機器層
extractor/claude_bin/gemini_api_key/llm_model/CardIngestWF/RemovedWF（帶 fake server 測試：
必須收到 rag_ingest_card 非 direct）③契約保險絲：extractor 空時非 .md/.txt 禁直送、
標 failed「萃取器未設定，已跳過（不直送原文）」——同類 bug 永不再成外洩。
三模組 go test 全綠（總管親跑）。（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 17:59:42 +08:00
Leo b9d880413d feat(daemon-beta t14/t15/t17): supervisor log 檔＋removed 清本地卡＋托盤建新資料夾 
- t14 supervisor：子行程 stdout（tee）/stderr 全落 ~/.arcrun-rag/collector.log，
  >5MB 改名 .old 重開（兩代輪替）；落 log 失敗一律吞掉不擋看守。新增 2 測試
  （輸出進檔＋輪替觸發）。
- t15 direct removed（extractor 模式）：雲端 takedown 2xx 後同步刪本地
  system-dev/wiki/cards/<頁名>.md（存在才刪；刪失敗只記 warning 不擋）。
  新增 2 測試（刪原檔→本地卡被清／卡已不在照常下架）。
- t17 arcrun-tray：tray 選單＋設定視窗加「建立新資料夾並看守…」——
  widget.Entry 輸入名稱→ ~/ 底下 mkdir（已存在沿用；擋路徑分隔與 ..）→
  addWatchFolder＋saveConfig＋重啟看守＋rebuildTray。

collector: go vet ✓、go test -count=1 ./... 43/43 綠；arcrun-tray: go build ✓（產物已刪）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-24 15:06:21 +08:00
Leo 6e5009ff35 fix(daemon-beta t6): ingest path 改帶原檔路徑——修 takedown 0 命中孤兒 bug（第五枚真機坑）；mistakes 補成對操作同鍵教訓 2026-07-24 13:21:26 +08:00
Leo 058d19b743 feat(daemon-beta t5/t6): rag_ingest_card 收卡 workflow（零LLM零credential）＋direct 迴圈接萃取器——本地萃卡只上卡、原文不出機；e2e 測試驗「原文不洩上雲」＋失敗重試語意 2026-07-24 12:23:52 +08:00