inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 14 Wiki Activity
165 Commits 2 Branches 14 Tags
03a2c3d5f82243db2592dfe1c862ac394cb8829f
Commit Graph

5 Commits

Author SHA1 Message Date
Leo 12c2d41886 feat(collector): daemon 產出改成規範形 wiki 卡——1 文件卡＋N 原子卡落 .wiki/（InkStoneCo#44 ④） 
LLM 只回 JSON 判斷，格式/落點/連結閉合/索引/manifest 全由 wikishape.go 機械組裝：
- 卡形＝frontmatter(tags/gloss/created/updated)＋← 上層＋摘要/重點/實體(帶類型)/
  關聯(內文知識關係/卡片關係/出處)——差距表 #6
- 落點 <節點>/.wiki/、檔名＝H1（.wiki 隱藏目錄自身即機器標記，machinemark 例外③）——#7
- 00-INDEX 機械維護：每行五樣照抄 frontmatter；每份原稿必列——#8
- 萃取端就切 1 hub＋N 原子卡（gemma 路 prompt 改 JSON 契約）——#9
- 無可萃概念標「空」＋理由，上索引不產卡——#10
機械保證對著 wiki-lint.py 寫：斷連結拆殼、index 式句改寫、三元組恰三項、
雙向邊自動補反向、佔用不覆蓋、原稿永不動；同名概念跨文件先消歧（merge 歸第⑤環）。
scan/convert 白名單補 .feature/.yaml/.yml/.org/.rst（規範洞 6）；
lint.go 新舊格式雙軌（workers-ai 雲端 prompt 屬 matrix/arcrun 核心，待開票）；
direct.go 只送文件卡上雲（takedown 配對鍵不變）、下架收走 .wiki 產物。

實測：真資料夾＋真 Gemini → 2 節點 12 卡，wiki-lint 17/17 exit 0，
原稿 sha256 前後不變；go test collector＋supervisor＋arcrun-app 全綠（新增 9 案）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-15 21:03:45 +08:00
Leo 5a140faf1f fix(collector): 機器寫進筆記庫的檔案一律帶前綴，不再跟使用者的頁面撞名（arcrun-rag#60） 
leo 2026-08-12：「我的 Logseq 又被覆蓋⋯⋯**不只是加上 journal，可能所有的檔案都加一個前後綴，比如「wiki」**。」

不是資料被蓋掉，是機器產出用了跟他一樣的命名空間（status.md、日期檔那些）
⇒ 他打開資料夾分不出哪些是自己的。**心理上的覆蓋跟實際覆蓋一樣糟。**
 2026-08-12 14:57:32 +08:00
Leo f10d10747c fix(collector): 萃取產物加 vault 辨識＋落卡不再無條件覆蓋（arcrun-rag#60） 
事故：daemon 完全沒有 vault 辨識，把萃取卡片寫進使用者的 Logseq vault
（system-dev/wiki/cards/ 對一般資料夾沒事，對 vault＝憑空多出頁面，
2026-08-10 leo 實撞：25 個簡體字卡片污染 ~/Documents/KB）。

修法（照票上指示搬現成的，不重新設計）：
- collector/vault.go：DetectVaultType/IsVault，判準逐條抄自
  system-dev-template/scripts/install.sh:209-221（先查 logseq/、再查 .obsidian/）。
  已用同一批 fixture 資料夾跑過 install.sh 與這支 Go 版，五種情境（logseq／
  obsidian／一般資料夾／兩者皆有／空資料夾）IS_VAULT 判斷逐一比對一致。
- extract.go：cardsRelDirFor() 依 IsVault 決定卡片相對路徑——非 vault 不變
  （system-dev/wiki/cards/），vault 改落 .arcrun-rag/wiki/cards/（點開頭隱藏
  目錄，Logseq/Obsidian 預設不掃描，跟 daemon 自己 scan.go 的隱藏目錄跳過規則
  一致）。extract_workersai.go／extract_gemma.go／direct.go 的落卡與下架清除
  都改用這個函式，三處對同一個 absRoot 保證同一個答案。
- safewrite.go：safeWriteCard() 取代兩處無條件 os.WriteFile——目標已存在且
  內容不同就先備份成 <dest>.bak-<unixnano> 才覆寫；內容相同則不動（不產生
  垃圾備份）；備份失敗就整個中止，不無聲蓋掉使用者機器上已有的東西。

驗證（見 PR/commit 說明附的實測輸出）：
- 用 fake Logseq vault fixture 重現舊行為（卡片確實落在 system-dev/wiki/cards/），
  再用同一份 fixture 驗新行為（卡片改落 .arcrun-rag/wiki/cards/，vault 根目錄
  非隱藏 .md 數量不變、journals/ 原稿位元不動）。
- 故意放同名既有卡片，跑完既有內容被備份、新內容確實寫入，未無聲遺失。
- 非 vault 既有測試（extract_gemma_test.go 原有三支）全數不動照過，確認
  一般資料夾行為零改變。

範圍外（留給下一輪）：ExtractWithClaude（extract.go 的 claude 路）與其
templatefs/.claude/commands/rag-extract-file.md 技能檔仍硬寫 system-dev/wiki/cards/，
但這條路目前在 direct.go 的 RunDirectOnce 是不支援狀態（cfg.Extractor 只認
workers-ai／gemma），非本次事故的作用路徑，故未動。

不影響：leo 機器上的 daemon（未重啟、未重新打包）；此修復要生效還要
①總管審過併 main ②重新打包桌面版裝上他機器 ③總管用新二進位實測，
三件缺一不可（見 issue #60 leo 的重啟條件）。
 2026-08-11 12:12:51 +08:00
Leo 4d3a6a09a6 v0.18.9：collector 併進同一支執行檔——磁碟上不再攤出第二支 exe 
leo 08-06 裁決：「不要兩支，寫成一支檔案」。

## 為什麼
v0.18.7-8 的「單一 exe」其實是**一支包著另一支**：collector.exe 被 go:embed
進 Arcrun.exe，執行時攤到 ~/.arcrun-rag/bin/ 再跑。
那正是防毒軟體眼中的 dropper 特徵 —— 封測者實撞
`Trojan:Win32/Sabsik.FL.A!ml`，檔案當場被隔離、自動刪除。

⚠️ 誠實界定：`!ml` 結尾＝**機器學習判定**，Sabsik 是最常見的通用誤判家族，
   主因是「未簽章＋下載次數少」，**不是**特別指向 dropper 行為。
   所以本次改動**不保證**解除誤判——真正的解是上架 MS Store（微軟簽章）。
   但「執行時把第二支 PE 寫到磁碟再執行」本來就該拿掉，這是對的方向且順手變小。

## 怎麼做
- `collector/` 39 個檔 `package main` → `package collector`，`main()` → 匯出的 `Run(args) int`
- 新增 `collector/cmd/collector/`（薄殼 CLI，讓單獨跑 collector 這條路仍可用）
- App 直接 import 該套件；`main()` 第一件事就判 `--collector`，是的話走 `collector.Run` 不碰 GUI
- `supervisor` 加 `ArgPrefix`，App 把 `BinPath` 指向 `os.Executable()` 自己
- 刪掉 `bundled_collector_{windows,other}.go`（embed + 攤檔那套）
- 三支打包腳本不再編/複製第二支；版本注入同時打到兩個 package
- build-win.sh 的機械閘改成**直接問它**：`--collector --version` 回得出版本才放行
  （舊閘是比大小，只能證明「有 embed」，證明不了「分派是對的」）

## 驗（真機實跑）
· `.app/Contents/MacOS/` 只有 **一個** 執行檔（原本兩個）
· 跑起來兩個行程是**同一個 exe**：
    …/MacOS/arcrun-app
    …/MacOS/arcrun-app --collector direct --config …
· `~/.arcrun-rag/bin` **不存在**（沒有任何東西被攤出來）
· 端到端：丟檔進看守資料夾 → collector.log `"status":"ingested","http_status":200`
· `lsappinfo` 仍是 `type="UIElement"`、`Version="0.18.9"`
· collector 39 檔測試全過；app 測試過；go vet 全綠；mac + windows 交叉編譯皆過
· 單檔 26MB → 22MB（不再夾帶第二份完整程式）
 2026-08-06 16:00:47 +08:00
Leo be47afe26e feat(daemon-beta t3/t4): 可插拔本地萃取器——claude 路(叫起用戶訂閱跑 /wiki-capture、stub 驗呼叫契約)＋gemma 路(實戰 prompt/thought 淨化/httptest 替身)；測試 6 支全綠 2026-07-24 12:21:41 +08:00