inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 15 Wiki Activity
115 Commits 2 Branches 15 Tags
a6ced32d4559bb3d3aaf24d5b14826e672383f19
Commit Graph

10 Commits

Author SHA1 Message Date
Leo a6ced32d45 collector：積壓分批＋新檔優先／額度用完講人話降速／斷點續傳／同內容多格式去重 
封測事故（Evan）：daemon 逐檔萃取上傳、每個檔在雲端產生一次工作流執行，
690 個檔在自己的免費 CF 帳號上短時間內衝出 1,070 次寫入，撞上免費上限 1,000，
額度爆掉、只有 8 個檔成功。雲端那一半（紀錄改走資料層 API）已修好，
daemon 這一半原本完全沒有節奏——本次補齊四件事：

1. 上傳節奏（direct_pacing.go）：單輪最多處理 MaxEventsPerRun 個事件
   （預設 25）、每次觸發雲端前節流 700ms；一輪掃到的事件依檔案 mtime
   由新到舊排序，今天寫的永遠優先，積壓慢慢消化不擋日常使用。

2. 額度用完講人話（quota.go）：偵測到 Workers AI「10,000 neurons」/
   「4006」等已知上游訊號後，換成三句話（今天已整理幾份／可換模型或
   升級 Cloudflare／不花錢也沒關係、今天或明天早上 8:00 會自動恢復），
   不出現裸露的錯誤碼；同帳號同輪與下一輪都不再繼續撞牆
   （quotaState 全域冷卻，跨資料夾／跨程序重啟持續，直到台灣時間
   早上 8:00 額度重置）。

3. 斷點續傳：每個事件處理完立刻寫回 manifest（不再等整輪跑完才存一次），
   process 被殺掉重開只會接著做真正還沒完成的部分；removed 事件另外
   用 preScanEntries 快照保護，下架失敗時不會被其他事件的存檔動作
   誤標成「已完成」而永遠不再重試。

4. 同內容多格式去重（scan.go）：同一批來源轉出的多種格式（如 leo 給的
   資料集 27,164 檔＝9,045 md＋9,044 json＋9,043 html，md/json 同檔名
   主幹）依檔名主幹分組，只留優先序最高的一份進事件管線，其餘標記在
   DuplicateFormats（不吃三倍額度）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 16:58:07 +08:00
Leo 67effe3b7f 首頁「沒被整理的檔案」修兩病：同一件事講兩次／不說是哪一個檔 
leo 08-06 封測回報（附截圖＋「他放一個 md 檔無法通過」）。

## ① 同一件事講兩次，而且「另外」前面沒有東西
截圖實況：
  「看起來不是文件，所以跳過了。」   ← 底下是空的（非文件檔不逐檔點名）
  「**另外**有 1 個不是文件的檔案（圖片、影片、壓縮檔之類）也沒有處理。」
真兇：app.go buildSkipped 的 else 分支先寫一句通用說明，
接著無條件再寫 Other 那句——後者的「另外」是為「兩種都有」寫的，
在「只有非文件檔」時就變成前面沒有東西可以「另外」。
解：該分支只講一句、自己帶數量，且不留 Other。「另外」只在兩種都有時出現。

## ② 只報總數＝等於沒說（這才是 md 那題卡住的原因）
封測者放 .md 說「無法通過」，但畫面只寫「有 1 個不是文件的檔案」，
**沒說是哪一個** ⇒ 誰也判斷不出發生什麼事。
而 `.md` 明明在 allowedExt 白名單裡（scan.go:26），我在本機實測也一次就過：
    "path":"arcrun-md-test.md","status":"ingested","http_status":200
⇒ 那個「1 個」必然不是他以為的那個檔（副檔名被 Windows 藏起來、存成別的格式…），
  但沒有檔名就永遠查不出來。
解：scan 收集非文件檔的檔名（上限 5 個），一路帶到 status.json 與首頁。
「只報總數」在幾百張圖時是對的，在 1 個時是失職——少量就點名。

## 驗
· 兩支新測試釘住規則：只有非文件檔時不准出現第二句、不准出現「另外」；
  兩種都有時「另外」才成立並帶數量
· 實際文案打出來看過（見下），不是只看測試綠
    有 1 個檔案沒有被整理
    看起來不是文件（圖片、影片、壓縮檔之類），所以跳過了。這是正常的，你不用做什麼。
      · 我的筆記.md.txt
· 312 張圖的情況：列 5 個 +「…還有 307 個」，不洗版
· collector 全測試過、app 測試過、go vet 全綠
 2026-08-06 16:12:01 +08:00
Leo 4d3a6a09a6 v0.18.9：collector 併進同一支執行檔——磁碟上不再攤出第二支 exe 
leo 08-06 裁決：「不要兩支，寫成一支檔案」。

## 為什麼
v0.18.7-8 的「單一 exe」其實是**一支包著另一支**：collector.exe 被 go:embed
進 Arcrun.exe，執行時攤到 ~/.arcrun-rag/bin/ 再跑。
那正是防毒軟體眼中的 dropper 特徵 —— 封測者實撞
`Trojan:Win32/Sabsik.FL.A!ml`，檔案當場被隔離、自動刪除。

⚠️ 誠實界定：`!ml` 結尾＝**機器學習判定**，Sabsik 是最常見的通用誤判家族，
   主因是「未簽章＋下載次數少」，**不是**特別指向 dropper 行為。
   所以本次改動**不保證**解除誤判——真正的解是上架 MS Store（微軟簽章）。
   但「執行時把第二支 PE 寫到磁碟再執行」本來就該拿掉，這是對的方向且順手變小。

## 怎麼做
- `collector/` 39 個檔 `package main` → `package collector`，`main()` → 匯出的 `Run(args) int`
- 新增 `collector/cmd/collector/`（薄殼 CLI，讓單獨跑 collector 這條路仍可用）
- App 直接 import 該套件；`main()` 第一件事就判 `--collector`，是的話走 `collector.Run` 不碰 GUI
- `supervisor` 加 `ArgPrefix`，App 把 `BinPath` 指向 `os.Executable()` 自己
- 刪掉 `bundled_collector_{windows,other}.go`（embed + 攤檔那套）
- 三支打包腳本不再編/複製第二支；版本注入同時打到兩個 package
- build-win.sh 的機械閘改成**直接問它**：`--collector --version` 回得出版本才放行
  （舊閘是比大小，只能證明「有 embed」，證明不了「分派是對的」）

## 驗（真機實跑）
· `.app/Contents/MacOS/` 只有 **一個** 執行檔（原本兩個）
· 跑起來兩個行程是**同一個 exe**：
    …/MacOS/arcrun-app
    …/MacOS/arcrun-app --collector direct --config …
· `~/.arcrun-rag/bin` **不存在**（沒有任何東西被攤出來）
· 端到端：丟檔進看守資料夾 → collector.log `"status":"ingested","http_status":200`
· `lsappinfo` 仍是 `type="UIElement"`、`Version="0.18.9"`
· collector 39 檔測試全過；app 測試過；go vet 全綠；mac + windows 交叉編譯皆過
· 單檔 26MB → 22MB（不再夾帶第二份完整程式）
 2026-08-06 16:00:47 +08:00
Leo 9cd0adab22 G-6.2：讀不了的檔案不再安靜消失——首頁當場說出來 
服務 J-1 / S6「我丟進去的檔案，查得到」的考題 G-6.2：
「要嘛查得到，要嘛**當場被告知這種檔案還不支援**，不准安靜地略過。」
本次只做後半句（轉檔本體另有人閘，等 leo 裁「那段 Go 住哪裡」）。

## 真實現況比記載更糟
t16 寫的「PDF 被靜默略過」已不成立（t73 的轉檔層把 pdf/docx/xlsx/csv/pptx
都接上了，實測 2 頁中文 PDF 完整抽出）。**真正還在沉默的是別的東西**：
副檔名不在 allowedExt 的檔案在 scan.go 直接 `return nil`——
不進事件、不進 manifest、不進 status、不進畫面。
使用者丟一份 .doc 進去，從頭到尾一個字都沒有。

實測基線（真檔）：丟 .pdf/.md/.doc/.key/.jpg 進資料夾，
`collector scan` 只吐出 pdf 與 md 兩個事件，另外三個檔沒留下任何痕跡。

## 改了什麼
- scan.go：白名單閘不再是死巷。像文件的（.doc/.xls/.ppt/.pages/.key/
  .numbers/.odt/.ods/.odp/.rtf/.epub/.wpd/.msg/.eml）逐檔留名；
  其餘（圖片/影音/程式碼）只計總數——**避免 Obsidian 附件庫炸出幾百行噪音**。
- 兩個新欄位標 `json:"-"`：collector-trigger schema 是
  additionalProperties:false，且 BuildSendablePayload 是淺拷貝
  ⇒ 有 tag 就會漏到雲端被擋。這是給本機使用者看的，不上 wire。
- direct.go → status.json → App 首頁一張卡：講檔名與格式（「舊版報告.doc
  （舊版 Word）」），並告訴他不用重丟、也給替代路（另存成 PDF/.docx）。
- 刻意不進 manifest、不走 CarryForwardActivity：每輪由檔案系統重算，
  不製造 t195 那種「跨輪欄位漏 carry 就靜默歸零」的債。

## 順手修掉一個會讓驗收失效的回歸
同綑的 arcrun-collector 一路自稱 `dev`：退役 fyne 版
（arcrun-tray/build-mac.sh:24，t150／t72）本來就有版本注入，
t194 換 Wails 時沒帶過來，Mac 與 Windows 兩邊都掉。
**幹活的是 collector**——它不報版本，就沒人能判斷修復有沒有到使用者手上。

## 實測
- go test ./... 135 過 0 敗（新增 10 條：scan 5＋首頁文案 5）
- check-cis / check-render / check-tray 三閘全過；淺色深色都抓過畫面
- 從 **DMG 裡那支** collector 實跑：Info.plist 0.18.6、
  collector 回報 v0.18.6 (build 20260806-0101)、
  status.json 吐出 skipped_docs=[簡報.key, 舊版報告.doc]、other=1

⚠️ 未出貨：推 bundles repo 在 GitHub，要 leo 開 D20 閘。
DMG 已備妥 dist/Arcrun-v0.18.6.dmg。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-06 01:04:25 +08:00
Leo 6bf0daa786 修首頁狀態說謊＋DMG 補上拖曳版面（leo 08-05 封測回報 ①②） 
## ② 首頁狀態是壞的
leo：「拖新的檔案進資料夾，完成本地萃取、上傳，但自始至終 daemon 的首頁都顯示
『有變動就自動開始』『等待中』，都顯示綠燈沒動，實際上已經做完了。」

兩個獨立的真兇：

**A. 「同步中」判斷用錯依據（回歸）**
t191 早就做好機制：collector 開工印 phase:"start"、跑完印 "done"，
supervisor 據此維護 StateSyncing。**換 Wails 時 App 沒接這條線**，改看 sync-now 訊號檔：
  ① 訊號檔只有手動按「立刻同步」才產生 ⇒ 拖檔進資料夾（自動觸發）整輪不亮燈
  ② 就算手動按，collector 是**先刪檔再跑**（consumeSyncNowSignal）⇒ 真正在跑時檔早沒了
⇒ 改讀 sup.Status().State == StateSyncing。**接回既有機制，不發明第三種判斷法。**

**B. 做完的證據被下一輪抹掉**
ExtractedOK/ExtractFailed 是**本輪**計數、每輪覆寫整份 status.json
⇒ 有產出那輪寫下 N，十幾秒後空轉的一輪把它蓋成 0
⇒ 「上一輪 N 份」永遠空白、四步時間軸的綠燈只靠「跑過任何一輪」判斷＝與實際進度脫鉤。
⇒ 新增 last_activity_{at,ok,failed}：有產出記本輪、空轉沿用上一輪（CarryForwardActivity）。
   首頁改顯示「幾點整理了幾份」，綠燈只在真的整理過東西時才亮。

## ① Mac DMG 少了「看得出要拖」的版面
leo：「要跳出虛擬隨身碟，打開一個 finder 的視窗，**顯示 Arcrun 和 Application 的捷徑**，
用戶把 App 拖進 Application」。
原本 DMG 內容是對的（Arcrun.app＋Applications 捷徑），但**沒設版面**
⇒ 預設清單視圖、位置隨機，看不出「要往右拖」。
⇒ build-dmg.sh 改走 UDRW → Finder AppleScript 設大圖示/視窗大小/左右並排 → 轉 UDZO。
   best-effort：無桌面工作階段時只警告不中止（版面是加分，不該讓打包掛掉）。

⚠️ 真正讓 leo 拿到 zip 的原因不在這裡——是**線上 portal 還沒出貨**（見下）。

## 驗（實測輸出）
· collector 全測綠；新增 TestCarryForwardActivity 四子測（含「空轉不該抹掉上次成果」）
· 掛載 dist/Arcrun-v0.18.5.dmg 實查：
    內容剛好兩項（Arcrun.app + Applications→/Applications 捷徑）
    .DS_Store 6148 bytes（版面已存進去）
    Contents/MacOS/ 有 arcrun-app **和 arcrun-collector**
    CFBundleShortVersionString = 0.18.5（不是 1.0.0）／LSUIElement = true／codesign -v 通過
· 三支機械閘 check-cis／check-render／check-tray 全 PASS

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-05 18:01:17 +08:00
Leo 133f5add46 t182：老 config 抹除成 Workers AI＋雲端探測——leo 實測「無卡」的真因 
leo 08-04 實測回報（更新 v0.15.5 後仍顯示 Gemini／丟 PDF 無卡），
查出來不是 Workers AI 不通，是**根本沒走到那條路**。三顆真 bug：

① 抹除只做一半（leo：「就要抹除改成用 Workers AI，如果保持 Gemini
   它不會改掉，那就是失敗的」）
   t181 只在 RunDirectOnce 改頂層記憶體值，但
   - makeAccountSubConfig 會把**帳號層**舊值蓋回來（t126「帳號層優先」）
   - 完全**沒寫回檔案** ⇒ 托盤是另一個行程，讀檔還是念 Gemini
   leo 的 config 正是頂層＋兩個帳號各留 "gemma"、無 explicit
   ⇒ 畫面顯示 Gemini、萃取也真的跑 Gemini。
   修：遷移移到 LoadDirectConfig（每次啟動必經），逐層抹除 + 寫回檔案。
   金鑰保留（Gemini 是選配不是廢除）。

② 驗證器擋掉自己的新預設
   `extractor 只能是 claude / gemma` ⇒ config 一旦寫成 workers-ai，
   daemon 直接載入失敗起不來。v0.15.5 已帶著這顆出貨。

③ 托盤標籤照 config 舊字串念（t178 的通則版）
   t178 只把 claude 這**一個**殘留值導向 Gemini，殘留 gemma 一樣脫鉤。
   改成與 direct.go 同一條判準：沒 explicit 就一律念「雲端 AI」。

＋ t182 雲端探測（leo 指定設計：「會去掃一次看雲端是否裝好，沒裝好就顯示
  workers AI 還沒通，一旦通了就顯示可用」）：ProbeWorkersAI 逐帳號探
  /portal/daemon/extract（送空 text，不燒 LLM 額度），結果寫進 status.json
  由托盤「狀態：」講白話。**不做靜默退回 Gemini**——那會讓用戶永遠
  不知道自己雲端沒更新。

實測證據（非 mock，打真實例）：
- youlin 實例萃真卡：3.67s，產出完整知識卡（一句話定義/要點/關鍵實體/關聯）
- 連測三次：3.51s / 3.34s / 3.59s（Gemini 實測 16.87s ⇒ 快約 5 倍）
- 兩個實例都已有 /portal/daemon/extract（皆回 400＝route 存在）
- 拿 leo 真 config 複本跑遷移：三層全抹成 workers-ai、金鑰留著、重讀仍是 workers-ai

測試：新增 direct_t182_test.go（抹除全層/寫回磁碟/主動選過不動/合法值/冪等）；
既有三則因預設變更而失效的斷言已更新（t108 二進位不出機的契約未放寬，仍綠）。
全套綠。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-04 16:29:56 +08:00
Leo bf1f0d9991 feat(t104): 多帳號同時看守——切換概念消滅 
leo 架構依據：「它只是一個門，幾個帳號通過它同步並沒有影響」＋
「我不是 Google Drive……不提供暫存空間，daemon 工作輕巧，多帳號只是頁簽問題」
（D-daemon-not-Drive）。
Accounts[] 每帳號獨立連線+資料夾；舊 config 冪等遷移 accounts[0]；
逐帳號同步一敗不擋全；status.json 分帳；托盤每帳號一分組；
「連上知識庫」→「＋新增帳號…」（append 非替換）；t86 切換清空退役；
t101 刪除作用於正確帳號。+873/-149、collector 5+tray 5 新測試，
兩模組 go test 全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 16:45:14 +08:00
Leo f8450815d3 feat(t103): daemon 偵測雲端過舊＋托盤更新入口——連動閉環 
每輪 GET /health 取 bundle_version（5s timeout 失敗靜默）；空或日期<minCloudBuilt
→ 托盤「⚠ 知識庫需要更新（點我）」開 install.arcrun.dev；結果進 status.json。
兩模組 go test 全綠（總管親跑）。leo：「daemon 和雲端是連動的」——自此用戶只看托盤。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 16:15:12 +08:00
Leo 77aa4c5195 feat(t98): 托盤「立刻同步」——訊號檔法零 IPC，跨平台 
leo：「無法知道到底同步了沒，可以在 daemon 上加一個立刻同步？」
tray 點擊寫 ~/.arcrun-rag/sync-now＋短暫顯示「同步中…」；collector 主迴圈 1 秒輪詢
訊號檔、有就立刻跑一輪刪檔，無則照 PollSec 排程；完成後 status.json 更新自然刷新托盤。
測試：collector＋supervisor＋tray 三模組全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 15:06:08 +08:00
Leo 6c9d74d588 fix(t91+t92): 萃取狀態可見＋Finder 啟動 PATH 修正——背景執行不可見的兩題同根一起解 
leo 07-28 實測根因：Finder 起的 GUI app 只有最小 PATH（無 /opt/homebrew/bin）
→ claude 靜默找不到→整輪萃取失敗，托盤卻顯示「看守中」。leo：「我怎麼知道它有萃？」
- FindClaudeBin：LookPath 失敗後掃 4 個常見絕對路徑，找到回寫 config claude_bin
- CheckExtractor 預檢＋每輪寫 ~/.arcrun-rag/status.json（ok/fail 計數＋失敗清單）
- 托盤：引擎未就緒→「⚠ 萃取引擎未就緒：<白話原因>」；失敗>0→可點開明細；正常→「已萃 N 檔」
測試：collector＋supervisor＋tray 三模組 go test 全綠（總管親跑）。
（實作＝子 CC；驗證+commit＝總管）
 2026-07-28 12:41:41 +08:00