inkstone/arcrun-collector
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 14 Wiki Activity
153 Commits 2 Branches 14 Tags
021b3962e22e154510d9ab2b23c769df0cb3a0ff
Commit Graph

11 Commits

Author SHA1 Message Date
Leo 021b3962e2 feat(collector): 卡片上雲前先問「這些宣稱在原文的哪裡」——H7 憑空指稱／H8 宣稱通膨（InkStoneCo#44） 
2026-08-16 實測：同一個 220 bytes 的來源檔、同一個模型（workers-ai）、同一個
雲端版本（1.4.46），geek6688 萃出四條全部追得回原文，youlin 萃出八條、其中四條
（Windows／macOS／Linux／每 30 天）在原文零命中——**而那張假卡帶著真實存在的
source_path**。出處在，內容是編的；引用沒有阻止幻覺，反而讓幻覺更可信。

缺的不是更好的模型（機率性，換模型只會降低頻率、讓它更難被發現），
也不是更嚴的提示詞（同一件事的較弱版本，且無法驗證）。
缺的是一道驗證：卡片產出之後、寫進知識庫之前，沒有一步問過「原文的哪裡」。

線畫在哪（grounding.go 檔頭全文）：**改寫改的是「怎麼說」，編造加的是「在說什麼」**。
摘要／換句話說／把 EARS 句翻成人話全是正當加工，所以刻意**不比對 CJK 詞**
（原文是英文、卡片是中文時，逐字比對會把忠實翻譯全部誤殺）。
只檢查翻譯與改寫都帶不走的錨點：拉丁專名、兩位數以上的數字。
另加 H8 從數量那一軸看：宣稱數 > 原文斷言數 × 3 ＝ 輸入貧乏卻產出豐富。

分級：兩項都是**軟項**不是硬缺——使用者的知識被丟掉比被標記可疑更糟。
掛載點沿用 direct.go:1206 既有的 LintCard（萃完、POST 前），不新增資料寫入路徑。

順手修：`collector lint <卡> --source <原稿>` 的旗標被 Go flag 靜默忽略，
H6/H7/H8 全跳過還印出漂亮的空結果 `{}`——查幻覺的工具自己靜默不查。

未動（依 SDD 生命週期第 3 條寫成 pending-changes.md P12 等 confirm）：
- H6 長度上限對薄原稿是反的，正把**忠實的卡**打成「疑似整段照抄」（實測 469 字 vs 上限 132）
- 軟項沒有出海口：ingest 工作流一個 quality 欄位都沒讀，標了等於沒標

驗證（離線夾具 collector/testdata/grounding/，不依賴任何線上實例）：
- 正面：youlin 卡 → H7 抓到 windows/macos/linux/30，H8 抓到 8 條 vs 上限 6
- 反面：geek6688 卡 → H7/H8 零命中
- 邊界：跨語言（英→中）與同語言整段換詞兩組合理改寫 → 零誤殺
 2026-08-16 21:38:52 +08:00
Claude 129fe79ecb fix(collector): daemon 不再改用戶版控中的檔案，接 repo 只讀整理好的 wiki（#105／#104） 
## #105 daemon 會改用戶的檔案（不可逆，先修）

2026-08-14 21:45 實撞：InkStoneCo 在看守清單裡，daemon 回報「已把 1 張舊卡片歸位」，
實際把 system-dev/wiki/cards/autonomy/ 整個子目錄壓平改名，16 個版控中的檔案變成刪除。

真兇是 MigrateCardNames 的一句假設：「那兩個目錄從頭到尾只有 daemon 會寫」。
那句話在 vault 上成立，在 repo 上不成立——system-dev/wiki/cards/ 是 template 的規約
路徑，而 template 就是要裝進開發者自己的 repo，那裡本來就有人家自己的檔案。

- 新增 repoguard.go：`.git` 判準（含 linked worktree），與 #104 共用同一個判準源
- 版控中的資料夾一個檔都不自動動；改成記帳＋講給使用者聽，出口是 collector tidy --apply
- Blocked 只算「確定是我們寫的」（帶 arcrun- 標記）——報使用者自己的卡等於發假訊息
- 落卡與工作區改走 .arcrun-rag/（與 vault 同待遇），自帶 .gitignore(*) 讓它對 git 隱形
- 非版控資料夾（含 vault）行為與 #60 第三輪完全一致，不推翻前兩輪的成果

## #104 接上開發 repo 會把上萬個原始檔排進佇列

leo 的規格：「它要辨識這個庫已經有 wiki，那就直接 ingest 了」「只有文件要讀，程式碼不用讀」。

- 新增 ingestplan.go：掃描前先問「這個資料夾是什麼」——all／curated-wiki／docs-only
- 排除靠路徑身分不靠副檔名：依賴、建置產物、templatefs 範本、linked worktree、巢狀子 repo
- 策略與擋掉的數字經 TriggerPayload.Plan 走進 status.json，CLI 走 stderr（排除規則要看得見）
- 子專案自己的 wiki 刻意不收，但一定列出來讓使用者知道去哪裡找
- 與 TemplateOwns（把 system-dev/ 整棵當開發用的）的對撞用身分化解，不拿掉任一條：
  我們代裝的資料夾沒有 .git（舊規則照舊），他自己的 repo 有（收那份 wiki）

## 實測

#105：舊版 daemon 對真 repo 跑一輪 → git status 32 行（16 個 D ＋ 16 個 ??，與 21:45
      撞到的一字不差）；新版跑同一輪 → 0 行。另有真 git init 的端到端測試。
#104：造出 leo 那棵樹的形狀（InkStoneCo ＋ products/arcrun-rag ＋ 3 份出貨 worktree，
      967 個文件檔）→ 舊版送 91 個檔（多收的全是 -wt*ship/ 裡的 templatefs 範本、
      benchmark 結果、docs-site 產物），新版送 32 個，全部落在 system-dev/wiki/ 底下。

MachineMark 規約新增唯一例外 IsMachineOwnedRel：.arcrun-rag/ 底下的檔以目錄名為標記
（.gitignore 的檔名是 git 定的，改不得）。迴歸網判準同步換過去。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01UUwsLkFEGN8496bZTqhjFq
 2026-08-14 14:41:08 +00:00
Leo 5a140faf1f fix(collector): 機器寫進筆記庫的檔案一律帶前綴，不再跟使用者的頁面撞名（arcrun-rag#60） 
leo 2026-08-12：「我的 Logseq 又被覆蓋⋯⋯**不只是加上 journal，可能所有的檔案都加一個前後綴，比如「wiki」**。」

不是資料被蓋掉，是機器產出用了跟他一樣的命名空間（status.md、日期檔那些）
⇒ 他打開資料夾分不出哪些是自己的。**心理上的覆蓋跟實際覆蓋一樣糟。**
 2026-08-12 14:57:32 +08:00
Leo 63bea13f21 feat(daemon-beta B2): 萃取品質 lint（H1–H6）重新接到現行 direct.go 
Gitea #24：分支 work/b2-quality-lint-0726（2f3e9ec）躺在 main 外兩週，
今天重新整合進現行 direct.go（原分支落後 main 130+ 筆，direct.go 本身
差 667 行，需要真正的整合工作而非硬併，見 wiki status.md 與頂層
daemon-beta/tasks.md 已記載的殘項）。

- collector/lint.go／lint_test.go：package main → package collector
  （main.go 在 4a26856／v0.18.9 已從兩支執行檔併成一支，整個 collector/
  目錄已改名 package collector；分支停在改名之前）。
- collector/main.go：func main() → func Run(args []string) int
  （同一次重構），新增 case "lint" 呼叫 runLint。
- collector/direct.go：DirectConfig.LintStrict 欄位＋extractor 萃完、
  POST rag_ingest_card 前掛 LintCard 閘（硬缺→不送標 rejected；
  軟項→照送帶 quality:low+quality_warnings）；CLI --strict 旗標。
- 既有測試共用的 cardFixture（direct_extract_test.go）／direct_pacing_test.go
  三處 inline 卡片，從「兩段最簡卡」補成 B2 合格四段卡——不是新增例外，
  是 lint 正確地在做它的事，舊卡片本來就不合格。

驗證：go build/vet/test ./... 全綠；另以真實 PDF（docs/onboarding/封測說明.pdf，
2MB 二進位）跑過完整 direct.go 同步鏈，證實送進 Gemini 的 prompt 是
5,071 字乾淨中文（0 個控制字元/NUL），不是原始位元組——ConvertToText
（t73）已完整解決 900b895 想止血的問題，故該分支的 looksLikeText
二進位止血、Windows 交叉編譯腳本判定作廢，不併。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-09 14:26:21 +08:00
Leo 4d3a6a09a6 v0.18.9：collector 併進同一支執行檔——磁碟上不再攤出第二支 exe 
leo 08-06 裁決：「不要兩支，寫成一支檔案」。

## 為什麼
v0.18.7-8 的「單一 exe」其實是**一支包著另一支**：collector.exe 被 go:embed
進 Arcrun.exe，執行時攤到 ~/.arcrun-rag/bin/ 再跑。
那正是防毒軟體眼中的 dropper 特徵 —— 封測者實撞
`Trojan:Win32/Sabsik.FL.A!ml`，檔案當場被隔離、自動刪除。

⚠️ 誠實界定：`!ml` 結尾＝**機器學習判定**，Sabsik 是最常見的通用誤判家族，
   主因是「未簽章＋下載次數少」，**不是**特別指向 dropper 行為。
   所以本次改動**不保證**解除誤判——真正的解是上架 MS Store（微軟簽章）。
   但「執行時把第二支 PE 寫到磁碟再執行」本來就該拿掉，這是對的方向且順手變小。

## 怎麼做
- `collector/` 39 個檔 `package main` → `package collector`，`main()` → 匯出的 `Run(args) int`
- 新增 `collector/cmd/collector/`（薄殼 CLI，讓單獨跑 collector 這條路仍可用）
- App 直接 import 該套件；`main()` 第一件事就判 `--collector`，是的話走 `collector.Run` 不碰 GUI
- `supervisor` 加 `ArgPrefix`，App 把 `BinPath` 指向 `os.Executable()` 自己
- 刪掉 `bundled_collector_{windows,other}.go`（embed + 攤檔那套）
- 三支打包腳本不再編/複製第二支；版本注入同時打到兩個 package
- build-win.sh 的機械閘改成**直接問它**：`--collector --version` 回得出版本才放行
  （舊閘是比大小，只能證明「有 embed」，證明不了「分派是對的」）

## 驗（真機實跑）
· `.app/Contents/MacOS/` 只有 **一個** 執行檔（原本兩個）
· 跑起來兩個行程是**同一個 exe**：
    …/MacOS/arcrun-app
    …/MacOS/arcrun-app --collector direct --config …
· `~/.arcrun-rag/bin` **不存在**（沒有任何東西被攤出來）
· 端到端：丟檔進看守資料夾 → collector.log `"status":"ingested","http_status":200`
· `lsappinfo` 仍是 `type="UIElement"`、`Version="0.18.9"`
· collector 39 檔測試全過；app 測試過；go vet 全綠；mac + windows 交叉編譯皆過
· 單檔 26MB → 22MB（不再夾帶第二份完整程式）
 2026-08-06 16:00:47 +08:00
Leo 8dd15fbe43 t150: 小幫手自我更新（背景備妥＋重啟完成）＋版本一致性 
leo 07-29 三句話定調：
「小白不會動不動就刪除再裝新的」
「如果它都掛着，那準備好就告訴他重啓更新」
「**我要他下載多幾次他就放棄了，所以抓到一個客戶後不能讓他有機會離開**」

① 版本一致性（leo：「我的和下載下來的會是同一個嗎？」）
   真因：build-mac.sh L22／build-windows.sh L46 **只有 tray 注入版本，collector 沒有**
   ⇒ 托盤顯示 tray 的版本，實際幹活的 collector 無版本可查、可能不同版。
   修：collector 加 version/buildTime 變數與 --version 旗標；兩個 build 腳本都改為
   兩支注入同一個 LDFLAGS_VER（各 2 處）。
   驗：collector --version → v0.15.0 (build 20260729-2238)；tray 內含同一組值。

② 自我更新（leo 選 1+3：完全自動，但要有提醒與手動檢查）
   - 背景每日檢查 manifest 的 daemon 版本（單一 CDN 靜態檔，非 GitHub API，不違反不輪詢紅線）
   - 有新版**默默下載並驗 sha256**，備妥後選單變「🟢 新版已就緒 — 點此重新啟動完成更新」
   - daemon 常駐不重啟 ⇒ 不偷換正在跑的自己；使用者按一下才 ditto 覆蓋並重啟
   - 另有「檢查更新…」讓人隨時手動按（不必等每日排程）
   - 驗章不符或解壓失敗＝保留舊版不動（壞掉的 .app 比舊版更糟）
   ⇒ **封測者完全不必再下載任何東西**

驗：go build／go vet 過；三個版本比較測試通過（dev 不提示／同版不提示／新版要提示）；
未剝離符號版確認 5 個更新函式在 build 範圍內
（註：打包版被 -s -w 剝符號，用 grep/strings 驗會誤判為「功能沒進去」）。
 2026-07-29 22:40:58 +08:00
Leo 73a5a67b72 feat(daemon-beta t2): template 代裝——embed v1.18.0 快照(36檔)/冪等不覆寫/daemon 啟動自動鋪/template-install 子命令；scan 加 SkipDirNames 防 system-dev 與 CLAUDE.md 被當知識掃 
- 測試 3 支新增全綠（首鋪/冪等護用戶檔/掃描跳 template 產物——第三支先紅抓到 CLAUDE.md 洩入再修綠）
- CLI 實跑：新鋪 36 檔→重跑 0 新檔（冪等證據）
 2026-07-24 12:18:37 +08:00
雲端總管 ad34a87210 feat(daemon): direct 直送萃取同步模式（無 R2/Gitea，youlin live e2e 綠） 
SDD ingest-hash-trigger task 11：daemon 跨平台核心 + 產品承諾核心實證
（丟檔進資料夾 → AI 查得到）。

- collector 新增 direct 子命令（direct.go）：監看資料夾 → hash 差異偵測（沿用 Scan）
  → 讀檔內容 inline POST 進實例 rag_ingest_direct workflow；刪檔 → POST {page_name,path}
  進 rag_takedown_direct。設定走 --config JSON（install/direct-config.sample.json）。
  常駐輪詢＝純 stdlib ticker，零 CGo，darwin/arm64 + windows/amd64 交叉編譯 OK。
- workflows/rag-ingest-direct：ask_llm（rag_extract_one）+ parse_card/post_block/post_triplet
  （rag_ingest）拼成單一自足直鏈，繞開 R2 撈原稿與 Gitea 落卡。blocks/triplets 寫法與
  rag_ingest 逐欄一致 → rag_chat 檢索得到。
- workflows/rag-takedown-direct：不含 __CARDS_PREFIX__ 閘的下架（rag_ingest removed 分支的
  前綴閘會擋掉資料夾根的 direct 檔——2026-07-20 live e2e 實撞）。

dogfooding（D29 daemon 薄殼豁免）守住：daemon 只監看/讀檔/算 hash/HTTP POST，
萃取/切塊/RAG 全在 Arcrun workflow。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Xabu4T28MmQEiYDwT2KnKW
 2026-07-20 11:15:21 +00:00
Leo 1c2fa6b294 ingest-hash-trigger SDD task 4：觸發鏈 Gitea webhook → collector sync 直打 named-webhook 
- collector Go：trigger.go＋sync 子命令（scan→R2 upload→POST collector-trigger.v1
  →2xx 才 MarkIngested 回寫；失敗不回寫＝下輪自然重試；上傳失敗事件不送、同路徑
  renamed 連坐不回寫；防呆警告輪照送 warnings）。go test 19/19 綠（httptest mock）。
- workflow v3：rag-ingest-cards.local.yaml 改吃 collector payload（events[] 取代
  commits[]；原稿從 R2 撈 CF REST API objects/{r2_key}；新增 renamed 分支＝只更新
  路徑映射 R5，跨界搬移轉 added/removed；removed 沿用 G9 雙判準；M3 recompute 尾鏈
  原樣保留，fetch_index 改 R2）；rag-ingest.yaml v1 同步等價改。source_uri 遷移
  gitea://→kb://。schema_version!==1 整輪 no-op。
- push-demo-workflow.sh：補 __CF_ACCOUNT_ID__/__R2_BUCKET__/__CF_R2_TOKEN__ 佔位；
  GITEA_* 標 deprecated-for-ingest（rag-extract* 仍用）。
- Gitea 退場（本 repo 範圍）：legacy JS collector 六檔刪除（git 記錄可查）；
  install.sh 步驟 5 降級 deprecated；README 落「Gitea 退場切換 checklist」
  （推 v3→collector sync 實測→拆 Gitea webhook→觀察期＋回滾法）。
- 驗證：yaml parse（raw＋sed 模擬）／flow-config 對齊／JS 語法 node --check／
  demo cypher 唯讀 /cypher/search 編譯 missing=[]、出邊序如設計。
  未部署、未實跑 e2e（推 demo＝leo 閘）。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:58:39 +08:00
Leo fdb7a67484 feat(ingest-hash-trigger): collector R2 content-addressed 原稿上傳（SDD task 3） 
- collector upload 子命令＝scan＋把 added/modified 原稿傳 R2（CF REST API
  Bearer token，key=raw/<sha256hex>，對齊 collector-trigger.v1 的 r2_key）
- 冪等：存在檢查命中＝skipped_exists 不 PUT；CF API objects 端點不支援
  HEAD（live 實測 405）→ 改 GET＋Range: bytes=0-0
- 完整性：上傳前重算 hash 核對 key，不符＝failed 不上傳
- 失敗語意：failed → exit 1，ingested_hash 不動＝下輪自動重試；
  回寫鉤子 Manifest.MarkIngested 留給 task 4
- 設定只走環境變數 CF_ACCOUNT_ID/CF_API_TOKEN/R2_BUCKET，不落 repo
- go test 14/14 綠（httptest mock 對齊真 API：HEAD 405）；live e2e 全通
  （arcrun-rag-raw-demo：真上傳→重傳 no-op→下載 diff 一致＋sha256==key）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 21:27:42 +08:00
Leo bb96bceb04 feat(ingest-hash-trigger): 凍結 collector/ingest schema＋Go collector 骨架（issue #5, SDD task 1+2） 
- schemas/collector-trigger.v1.schema.json：collector→named-webhook 觸發 payload（source_hash/r2_key/renamed/R6 warnings）
- schemas/kbdb-ingest-request.v1.schema.json：source_hash 必填缺=400；儲存映射走 metadata_json.$.source_hash（守 kbdb 表不變鐵律）；同 hash 重送=200 already_ingested
- schemas/MIGRATION-webhook-payload.md：舊 Gitea push payload 逐欄對照（給 task 4 改寫 workflow）
- collector/：Go module（純 stdlib）——manifest 讀寫＋mtime fast-path 掃描＋renamed hash 配對＋40% 大量刪除防呆；CLI collector scan
- go test ./... 全綠 7/7（added/modified/removed/renamed/防呆五情境＋fast-path＋manifest 往返）
- Node 版 collector 標 legacy 並存（SDD task 4 拆除）

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-19 20:31:11 +08:00