inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 14 Wiki Activity
96 Commits 2 Branches 14 Tags
4d3a6a09a67c2bdc9ef0ae81c81070b75b041e26
Commit Graph

7 Commits

Author SHA1 Message Date
Leo 4d3a6a09a6 v0.18.9：collector 併進同一支執行檔——磁碟上不再攤出第二支 exe 
leo 08-06 裁決：「不要兩支，寫成一支檔案」。

## 為什麼
v0.18.7-8 的「單一 exe」其實是**一支包著另一支**：collector.exe 被 go:embed
進 Arcrun.exe，執行時攤到 ~/.arcrun-rag/bin/ 再跑。
那正是防毒軟體眼中的 dropper 特徵 —— 封測者實撞
`Trojan:Win32/Sabsik.FL.A!ml`，檔案當場被隔離、自動刪除。

⚠️ 誠實界定：`!ml` 結尾＝**機器學習判定**，Sabsik 是最常見的通用誤判家族，
   主因是「未簽章＋下載次數少」，**不是**特別指向 dropper 行為。
   所以本次改動**不保證**解除誤判——真正的解是上架 MS Store（微軟簽章）。
   但「執行時把第二支 PE 寫到磁碟再執行」本來就該拿掉，這是對的方向且順手變小。

## 怎麼做
- `collector/` 39 個檔 `package main` → `package collector`，`main()` → 匯出的 `Run(args) int`
- 新增 `collector/cmd/collector/`（薄殼 CLI，讓單獨跑 collector 這條路仍可用）
- App 直接 import 該套件；`main()` 第一件事就判 `--collector`，是的話走 `collector.Run` 不碰 GUI
- `supervisor` 加 `ArgPrefix`，App 把 `BinPath` 指向 `os.Executable()` 自己
- 刪掉 `bundled_collector_{windows,other}.go`（embed + 攤檔那套）
- 三支打包腳本不再編/複製第二支；版本注入同時打到兩個 package
- build-win.sh 的機械閘改成**直接問它**：`--collector --version` 回得出版本才放行
  （舊閘是比大小，只能證明「有 embed」，證明不了「分派是對的」）

## 驗（真機實跑）
· `.app/Contents/MacOS/` 只有 **一個** 執行檔（原本兩個）
· 跑起來兩個行程是**同一個 exe**：
    …/MacOS/arcrun-app
    …/MacOS/arcrun-app --collector direct --config …
· `~/.arcrun-rag/bin` **不存在**（沒有任何東西被攤出來）
· 端到端：丟檔進看守資料夾 → collector.log `"status":"ingested","http_status":200`
· `lsappinfo` 仍是 `type="UIElement"`、`Version="0.18.9"`
· collector 39 檔測試全過；app 測試過；go vet 全綠；mac + windows 交叉編譯皆過
· 單檔 26MB → 22MB（不再夾帶第二份完整程式）
 2026-08-06 16:00:47 +08:00
Leo 8dd15fbe43 t150: 小幫手自我更新（背景備妥＋重啟完成）＋版本一致性 
leo 07-29 三句話定調：
「小白不會動不動就刪除再裝新的」
「如果它都掛着，那準備好就告訴他重啓更新」
「**我要他下載多幾次他就放棄了，所以抓到一個客戶後不能讓他有機會離開**」

① 版本一致性（leo：「我的和下載下來的會是同一個嗎？」）
   真因：build-mac.sh L22／build-windows.sh L46 **只有 tray 注入版本，collector 沒有**
   ⇒ 托盤顯示 tray 的版本，實際幹活的 collector 無版本可查、可能不同版。
   修：collector 加 version/buildTime 變數與 --version 旗標；兩個 build 腳本都改為
   兩支注入同一個 LDFLAGS_VER（各 2 處）。
   驗：collector --version → v0.15.0 (build 20260729-2238)；tray 內含同一組值。

② 自我更新（leo 選 1+3：完全自動，但要有提醒與手動檢查）
   - 背景每日檢查 manifest 的 daemon 版本（單一 CDN 靜態檔，非 GitHub API，不違反不輪詢紅線）
   - 有新版**默默下載並驗 sha256**，備妥後選單變「🟢 新版已就緒 — 點此重新啟動完成更新」
   - daemon 常駐不重啟 ⇒ 不偷換正在跑的自己；使用者按一下才 ditto 覆蓋並重啟
   - 另有「檢查更新…」讓人隨時手動按（不必等每日排程）
   - 驗章不符或解壓失敗＝保留舊版不動（壞掉的 .app 比舊版更糟）
   ⇒ **封測者完全不必再下載任何東西**

驗：go build／go vet 過；三個版本比較測試通過（dev 不提示／同版不提示／新版要提示）；
未剝離符號版確認 5 個更新函式在 build 範圍內
（註：打包版被 -s -w 剝符號，用 grep/strings 驗會誤判為「功能沒進去」）。
 2026-07-29 22:40:58 +08:00
Leo 73a5a67b72 feat(daemon-beta t2): template 代裝——embed v1.18.0 快照(36檔)/冪等不覆寫/daemon 啟動自動鋪/template-install 子命令；scan 加 SkipDirNames 防 system-dev 與 CLAUDE.md 被當知識掃 
- 測試 3 支新增全綠（首鋪/冪等護用戶檔/掃描跳 template 產物——第三支先紅抓到 CLAUDE.md 洩入再修綠）
- CLI 實跑：新鋪 36 檔→重跑 0 新檔（冪等證據）
 2026-07-24 12:18:37 +08:00
雲端總管 ad34a87210 feat(daemon): direct 直送萃取同步模式（無 R2/Gitea，youlin live e2e 綠） 
SDD ingest-hash-trigger task 11：daemon 跨平台核心 + 產品承諾核心實證
（丟檔進資料夾 → AI 查得到）。

- collector 新增 direct 子命令（direct.go）：監看資料夾 → hash 差異偵測（沿用 Scan）
  → 讀檔內容 inline POST 進實例 rag_ingest_direct workflow；刪檔 → POST {page_name,path}
  進 rag_takedown_direct。設定走 --config JSON（install/direct-config.sample.json）。
  常駐輪詢＝純 stdlib ticker，零 CGo，darwin/arm64 + windows/amd64 交叉編譯 OK。
- workflows/rag-ingest-direct：ask_llm（rag_extract_one）+ parse_card/post_block/post_triplet
  （rag_ingest）拼成單一自足直鏈，繞開 R2 撈原稿與 Gitea 落卡。blocks/triplets 寫法與
  rag_ingest 逐欄一致 → rag_chat 檢索得到。
- workflows/rag-takedown-direct：不含 __CARDS_PREFIX__ 閘的下架（rag_ingest removed 分支的
  前綴閘會擋掉資料夾根的 direct 檔——2026-07-20 live e2e 實撞）。

dogfooding（D29 daemon 薄殼豁免）守住：daemon 只監看/讀檔/算 hash/HTTP POST，
萃取/切塊/RAG 全在 Arcrun workflow。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Xabu4T28MmQEiYDwT2KnKW
 2026-07-20 11:15:21 +00:00
Leo 1c2fa6b294 ingest-hash-trigger SDD task 4：觸發鏈 Gitea webhook → collector sync 直打 named-webhook 
- collector Go：trigger.go＋sync 子命令（scan→R2 upload→POST collector-trigger.v1
  →2xx 才 MarkIngested 回寫；失敗不回寫＝下輪自然重試；上傳失敗事件不送、同路徑
  renamed 連坐不回寫；防呆警告輪照送 warnings）。go test 19/19 綠（httptest mock）。
- workflow v3：rag-ingest-cards.local.yaml 改吃 collector payload（events[] 取代
  commits[]；原稿從 R2 撈 CF REST API objects/{r2_key}；新增 renamed 分支＝只更新
  路徑映射 R5，跨界搬移轉 added/removed；removed 沿用 G9 雙判準；M3 recompute 尾鏈
  原樣保留，fetch_index 改 R2）；rag-ingest.yaml v1 同步等價改。source_uri 遷移
  gitea://→kb://。schema_version!==1 整輪 no-op。
- push-demo-workflow.sh：補 __CF_ACCOUNT_ID__/__R2_BUCKET__/__CF_R2_TOKEN__ 佔位；
  GITEA_* 標 deprecated-for-ingest（rag-extract* 仍用）。
- Gitea 退場（本 repo 範圍）：legacy JS collector 六檔刪除（git 記錄可查）；
  install.sh 步驟 5 降級 deprecated；README 落「Gitea 退場切換 checklist」
  （推 v3→collector sync 實測→拆 Gitea webhook→觀察期＋回滾法）。
- 驗證：yaml parse（raw＋sed 模擬）／flow-config 對齊／JS 語法 node --check／
  demo cypher 唯讀 /cypher/search 編譯 missing=[]、出邊序如設計。
  未部署、未實跑 e2e（推 demo＝leo 閘）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:58:39 +08:00
Leo fdb7a67484 feat(ingest-hash-trigger): collector R2 content-addressed 原稿上傳（SDD task 3） 
- collector upload 子命令＝scan＋把 added/modified 原稿傳 R2（CF REST API
  Bearer token，key=raw/<sha256hex>，對齊 collector-trigger.v1 的 r2_key）
- 冪等：存在檢查命中＝skipped_exists 不 PUT；CF API objects 端點不支援
  HEAD（live 實測 405）→ 改 GET＋Range: bytes=0-0
- 完整性：上傳前重算 hash 核對 key，不符＝failed 不上傳
- 失敗語意：failed → exit 1，ingested_hash 不動＝下輪自動重試；
  回寫鉤子 Manifest.MarkIngested 留給 task 4
- 設定只走環境變數 CF_ACCOUNT_ID/CF_API_TOKEN/R2_BUCKET，不落 repo
- go test 14/14 綠（httptest mock 對齊真 API：HEAD 405）；live e2e 全通
  （arcrun-rag-raw-demo：真上傳→重傳 no-op→下載 diff 一致＋sha256==key）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:27:42 +08:00
Leo bb96bceb04 feat(ingest-hash-trigger): 凍結 collector/ingest schema＋Go collector 骨架（issue #5, SDD task 1+2） 
- schemas/collector-trigger.v1.schema.json：collector→named-webhook 觸發 payload（source_hash/r2_key/renamed/R6 warnings）
- schemas/kbdb-ingest-request.v1.schema.json：source_hash 必填缺=400；儲存映射走 metadata_json.$.source_hash（守 kbdb 表不變鐵律）；同 hash 重送=200 already_ingested
- schemas/MIGRATION-webhook-payload.md：舊 Gitea push payload 逐欄對照（給 task 4 改寫 workflow）
- collector/：Go module（純 stdlib）——manifest 讀寫＋mtime fast-path 掃描＋renamed hash 配對＋40% 大量刪除防呆；CLI collector scan
- go test ./... 全綠 7/7（added/modified/removed/renamed/防呆五情境＋fast-path＋manifest 往返）
- Node 版 collector 標 legacy 並存（SDD task 4 拆除）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 20:31:11 +08:00