arcrun-collector

inkstone/arcrun-collector

Fork 0

Commit Graph

Author	SHA1	Message	Date
Leo	80877af60c	sync: collector/ 同步自 inkstone/arcrun-rag@740c55c（桌面小幫手 0.18.44）	2026-08-28 03:46:42 +08:00
claude-code	395cad8f12	feat(collector): 每一則知識都答得出「原稿在哪一台機器上」（inkstone/mira#6）現況只缺這一格：雲端的麵包屑已經有資料夾多層路徑、檔名、片段錨點（kb://RFP/design.md#0），唯獨答不出「哪一台機器」。 leo 2026-08-18 拍板的三層，由強到弱： ① 抓得到就用真實可讀的名字 → `<使用者>@<主機名>`（實跑：youlinhsieh@Leo-MBA） ② 使用者要能改成自己看得懂的稱呼 → config.json 的 machine_label（實跑：教育部 Leo 的 Mac） ③ 什麼都抓不到也要保證兩台不同 → unknown@<隨機 8 hex>，持久化在 machine.json 做法照既有的 library 走，不新增第二種： - daemon 逐筆隨 payload 送 machine／machine_label（收卡、總覽卡、下架、舊直送四處） - 雲端寫進 block 的 metadata_json，與 source／source_path／library 並排 - 三元組寫進 machine slot（slot 由 matrix/arcrun 的 seed 補，見該 repo 分支） - upsert／下架的比對規則照抄 arcrun-rag#46 對 library 的處置：兩邊都有值才收緊 ⇒ 既有資料（沒有這一格的）行為一字不變，不會變兩份、也不會撤不掉 🔴 machine 不混進 source_uri：portal 的 srcLocalPath() 直接把 kb:// 之後整段當本機相對路徑用，混進去會吐出不存在的路徑，而且舊資料的第一段會被誤讀成機器名 ——那就是「憑空長出假機器」。分成獨立欄位，舊資料就誠實地空著。 ID 一鑄就不再重算（machine.json）：user@host 會變，重算會讓同一台機器的舊知識突然掛到「新機器」底下。改名走 machine_label，不碰 ID。驗過（youlin stage，實測輸出見 inkstone/mira#6 回報）： - 真 daemon 跑 direct --once → 每個 block 的 metadata 都有 machine=youlinhsieh@Leo-MBA、machine_label=教育部 Leo 的 Mac - 同一相對路徑、兩台機器 → block 各留一份、三元組 4 筆並存，沒有互相刪掉 - 既有資料（無 machine）照樣被同一台機器 upsert 掉，沒有變兩份 - workflows/tests/machine-scope.test.mjs 13 passed；takedown-scope 8 passed；isdoc 21 passed - collector go test ./... 全綠	2026-08-18 16:50:23 +08:00
Leo	f233eec9c2	feat(collector): 結構先行——掃描完幾秒內就能問「資料夾裡有什麼」，不等 LLM 不等額度（InkStoneCo#43） leo 08-15 量測：266 檔真正算的 ~20 分鐘／<$0.5，使用者卻等 ~4 天（多在等 Workers AI 每日額度）；而「有哪些檔案／最近改了什麼」本地掃一遍就有答案（1,335 檔實測 0.254s），卻因 part_of 只在雲端 parse_card（萃取之後）生成而排同一條隊、撞同一面額度牆。 - collector/inventory.go：Scan() 後、萃取迴圈前（額度冷卻閘之外），把 manifest 現況做成機械總覽卡（檔案清單／最近改動／目錄 part_of）POST 既有 rag_ingest_card ——零 LLM、零新 workflow、既有實例直接受益；自帶同頁名 upsert 防重複 - 冪等：內容 sha256 記 manifest.inventory_hash；失敗 10 分鐘退避（防 t195 同款每 5 秒重撞）；額度失敗訊息人話化，不裸露 4006/502 - 清單 ≤200 逐檔、關聯 ≤10 條：守 Workers 免費層 50 subrequests 天花板 - 不寫本機檔案、不動使用者原稿實測（youlin stage yuga3bse，刻意無金鑰＝零萃取）：總覽卡 200 送達、rag_chat 正確回答「有哪些檔案／最近改了什麼」；重掃不重複（blocks 恆 5、triplets 恆 2）； go test collector＋supervisor＋arcrun-app 全綠（新增 inventory_test.go 6 案）。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2026-08-15 16:39:45 +08:00

Author

SHA1

Message

Date

Leo

80877af60c

sync: collector/ 同步自 inkstone/arcrun-rag@740c55c（桌面小幫手 0.18.44）

2026-08-28 03:46:42 +08:00

claude-code

395cad8f12

feat(collector): 每一則知識都答得出「原稿在哪一台機器上」（inkstone/mira#6）

現況只缺這一格：雲端的麵包屑已經有資料夾多層路徑、檔名、片段錨點
（kb://RFP/design.md#0），唯獨答不出「哪一台機器」。

leo 2026-08-18 拍板的三層，由強到弱：
① 抓得到就用真實可讀的名字 → `<使用者>@<主機名>`（實跑：youlinhsieh@Leo-MBA）
② 使用者要能改成自己看得懂的稱呼 → config.json 的 machine_label（實跑：教育部 Leo 的 Mac）
③ 什麼都抓不到也要保證兩台不同 → unknown@<隨機 8 hex>，持久化在 machine.json

做法照既有的 library 走，不新增第二種：
- daemon 逐筆隨 payload 送 machine／machine_label（收卡、總覽卡、下架、舊直送四處）
- 雲端寫進 block 的 metadata_json，與 source／source_path／library 並排
- 三元組寫進 machine slot（slot 由 matrix/arcrun 的 seed 補，見該 repo 分支）
- upsert／下架的比對規則照抄 arcrun-rag#46 對 library 的處置：**兩邊都有值才收緊**
  ⇒ 既有資料（沒有這一格的）行為一字不變，不會變兩份、也不會撤不掉

🔴 machine **不混進 source_uri**：portal 的 srcLocalPath() 直接把 kb:// 之後整段當本機
   相對路徑用，混進去會吐出不存在的路徑，而且舊資料的第一段會被誤讀成機器名
   ——那就是「憑空長出假機器」。分成獨立欄位，舊資料就誠實地空著。

ID 一鑄就不再重算（machine.json）：user@host 會變，重算會讓同一台機器的舊知識
突然掛到「新機器」底下。改名走 machine_label，不碰 ID。

驗過（youlin stage，實測輸出見 inkstone/mira#6 回報）：
- 真 daemon 跑 direct --once → 每個 block 的 metadata 都有
  machine=youlinhsieh@Leo-MBA、machine_label=教育部 Leo 的 Mac
- 同一相對路徑、兩台機器 → block 各留一份、三元組 4 筆並存，沒有互相刪掉
- 既有資料（無 machine）照樣被同一台機器 upsert 掉，沒有變兩份
- workflows/tests/machine-scope.test.mjs 13 passed；takedown-scope 8 passed；isdoc 21 passed
- collector go test ./... 全綠

2026-08-18 16:50:23 +08:00

Leo

f233eec9c2

feat(collector): 結構先行——掃描完幾秒內就能問「資料夾裡有什麼」，不等 LLM 不等額度（InkStoneCo#43）

leo 08-15 量測：266 檔真正算的 ~20 分鐘／<$0.5，使用者卻等 ~4 天（多在等
Workers AI 每日額度）；而「有哪些檔案／最近改了什麼」本地掃一遍就有答案
（1,335 檔實測 0.254s），卻因 part_of 只在雲端 parse_card（萃取之後）生成
而排同一條隊、撞同一面額度牆。

- collector/inventory.go：Scan() 後、萃取迴圈前（額度冷卻閘之外），把 manifest
  現況做成機械總覽卡（檔案清單／最近改動／目錄 part_of）POST 既有 rag_ingest_card
  ——零 LLM、零新 workflow、既有實例直接受益；自帶同頁名 upsert 防重複
- 冪等：內容 sha256 記 manifest.inventory_hash；失敗 10 分鐘退避（防 t195 同款
  每 5 秒重撞）；額度失敗訊息人話化，不裸露 4006/502
- 清單 ≤200 逐檔、關聯 ≤10 條：守 Workers 免費層 50 subrequests 天花板
- 不寫本機檔案、不動使用者原稿

實測（youlin stage yuga3bse，刻意無金鑰＝零萃取）：總覽卡 200 送達、rag_chat
正確回答「有哪些檔案／最近改了什麼」；重掃不重複（blocks 恆 5、triplets 恆 2）；
go test collector＋supervisor＋arcrun-app 全綠（新增 inventory_test.go 6 案）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

2026-08-15 16:39:45 +08:00

3 Commits