閘掛在「收工後」，而 leo 是在「被問到」的當下被打擾——補上那一刻的攔截
leo 2026-08-26：「今天已經好幾次問我，為什麼 hooks 沒有攔下來？」 實查：總管問 leo 走的動作是 AskUserQuestion，而 hooks.json 裡它出現 0 次， 沒有任何 matcher。判準其實早就寫好了——self-drive-police / self-drive-judge 用的就是同一套四題公式——但那兩支只掛在 Stop 與 SubagentStop， 是回合結束後才跑的。問題早就送到他眼前了，事後再反問「你查過了嗎」， 成本已經轉嫁出去。判準對了，時機錯了。 新增 hooks/ask-user-question-guard.sh（PreToolUse / AskUserQuestion）： - 觸發條件是那個動作本身，不是任何句型或關鍵字——全檔零個判擋用的正則， 換句話說閃不過去，講得謹慎也不會被多罰（leo 2026-08-17 文字層封路的檢驗） - 進來之後用四題公式的 haiku 判官分「該問 / 不該問」，命中任一題一律放行 - 同一個問題只擋一次（雜湊戳記）：判官誤判時重送即過， leo 該收到的問題不會因為一支閘而永遠送不到 - 判官掛掉／沒網路／claude 不在 PATH 一律 fail-open，壞掉等於它不存在 順手修掉自己寫出來的一個坑：訊息原本用沒加引號的 heredoc， 反引號被當命令執行，wiki 路徑與豁免指令兩行變成空白（閘照擋，只看離開碼看不出來）。 已收成 mistakes.md 一條，並由 ⑩b 這條測試守著。 實測： - hooks/tests/ask-user-question-guard.test.sh 14/14（離線，不花錢） - hooks/tests/ask-user-question-guard.live.test.sh 9/9 連跑三次（真的叫 haiku） A 群 5 條真人閘（花錢／不可逆／跨專案結構／品味方向／物理人閘）全部放行，誤攔 0 B 群 4 條純技術路徑選擇全部擋下 - 既有 7 支測試與改動前逐條對照，結果完全相同（沒有被我弄壞） 順手對帳：docs/hooks-inventory.md 的「43 個檔、53 條註冊」上一版就是錯的， 實際數過是 45／55（本次之後 46／56），plugin.json 與 marketplace.json 一併更正。 【工單】inkstone/InkStoneCo#55
This commit is contained in:
claude-code
+92
@@ -0,0 +1,92 @@
|
||||
#!/usr/bin/env bash
|
||||
# ask-user-question-guard.sh 的**判官準度**測試（inkstone/InkStoneCo#55）。
|
||||
#
|
||||
# 🔴 這支**真的會叫 haiku**（每題一次呼叫，共 9 題）。離線那支測管路，這支測判斷。
|
||||
# 分開兩檔的理由：管路壞掉要立刻知道且不該花錢；判官準度是另一種失敗，
|
||||
# 而且它會隨模型版本漂移，需要單獨、可重跑的量尺。
|
||||
#
|
||||
# 兩個方向都要有實例，缺一邊等於沒測：
|
||||
# B 群「該擋」 ＝ 純技術路徑選擇（leo 2026-08-26：「這種問題不要問我」）
|
||||
# A 群「不該擋」＝ 真的四題人閘（花錢／不可逆／跨專案結構／品味方向／物理人閘）
|
||||
#
|
||||
# 🔴 **A 群失敗比 B 群失敗嚴重。** 誤擋一個真人閘 ＝ 讓總管替 leo 決定他的品味，
|
||||
# 比漏擋一個技術題更糟。所以本檔把 A 群失敗單獨列出來報。
|
||||
#
|
||||
# 用法：hooks/tests/ask-user-question-guard.live.test.sh [hook 路徑]
|
||||
|
||||
set -u
|
||||
HOOK="${1:-$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)/ask-user-question-guard.sh}"
|
||||
|
||||
PASS=0; FAIL=0; N=0; AFAIL=0
|
||||
|
||||
payload() {
|
||||
python3 - "$@" <<'PY'
|
||||
import json, sys
|
||||
q, opts = sys.argv[1], sys.argv[2:]
|
||||
print(json.dumps({
|
||||
"session_id": "S-LIVE",
|
||||
"hook_event_name": "PreToolUse",
|
||||
"tool_name": "AskUserQuestion",
|
||||
"tool_input": {"questions": [{
|
||||
"question": q,
|
||||
"header": "決策",
|
||||
"multiSelect": False,
|
||||
"options": [{"label": o, "description": ""} for o in opts],
|
||||
}]},
|
||||
}, ensure_ascii=False))
|
||||
PY
|
||||
}
|
||||
|
||||
# t <期望 exit> <群> <說明> <問題> [選項...]
|
||||
t() {
|
||||
want="$1"; grp="$2"; desc="$3"; shift 3
|
||||
N=$((N+1))
|
||||
rm -f /tmp/.ask-gate-warned-* 2>/dev/null || true # 每題都要真的走到判官
|
||||
out=$(payload "$@" | sh "$HOOK" 2>&1); rc=$?
|
||||
if [ "$rc" -eq "$want" ]; then
|
||||
printf ' ✅ %s\n' "$desc"; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ %s —— 期望 exit=%s，實得 exit=%s\n' "$desc" "$want" "$rc"
|
||||
printf '%s\n' "$out" | grep -m1 '判官的話' | sed 's/^/ /'
|
||||
FAIL=$((FAIL+1))
|
||||
[ "$grp" = "A" ] && AFAIL=$((AFAIL+1))
|
||||
fi
|
||||
}
|
||||
|
||||
echo "── A 群：不該擋（真人閘，leo 要被問到）───────────────────────"
|
||||
|
||||
t 0 A "①④ 品味／方向：總圖那棵樹要不要預設收合（leo 08-26 當場裁的就是這種）" \
|
||||
'總圖那棵樹，同一層節點超過 20 個的時候，要不要預設收合起來？' '預設收合' '全部展開'
|
||||
|
||||
t 0 A "②① 花錢：要不要開一顆會產生帳單的付費實例" \
|
||||
'這個功能需要一顆專用的 Cloudflare 付費實例才跑得動，要開嗎？每月大約會多一筆帳單。' '開' '不開'
|
||||
|
||||
t 0 A "③② 不可逆：刪掉 stage 上那批資料重灌" \
|
||||
'要把 stage 上那批舊資料整批刪掉重灌嗎？刪了拿不回來。' '刪掉重灌' '保留'
|
||||
|
||||
t 0 A "④③ 跨專案結構：ISEP 的閘要不要拆回各子 repo 各自維護" \
|
||||
'ISEP 的閘目前是全機共用一份。要不要改成各子 repo 各自維護一份自己的？這會改掉 repo 之間的邊界。' '拆回各 repo' '維持共用'
|
||||
|
||||
t 0 A "⑤⑤ 物理人閘：要你親手去終端機解保險才推得了 prod" \
|
||||
'這一版要推 prod，需要你親手在終端機跑 github-arm.sh 解保險，我沒辦法代跑。現在推嗎？' '現在推' '晚點再說'
|
||||
|
||||
echo
|
||||
echo "── B 群：該擋（純技術路徑選擇，四題全否）─────────────────────"
|
||||
|
||||
t 2 B "⑥ 實作分層：重試邏輯放哪一層" \
|
||||
'重試邏輯要放在 client 那一層還是 worker 那一層？' '放 client' '放 worker'
|
||||
|
||||
t 2 B "⑦ 空白選擇題：兩案差別只有實作成本" \
|
||||
'這個 bug 有兩種修法，A 是改解析器、B 是在呼叫端多包一層，兩種我都做得出來，效果一樣。你想要哪一個？' 'A 改解析器' 'B 呼叫端包一層'
|
||||
|
||||
t 2 B "⑧ 請示句：已經交代過的事還在問要不要開始" \
|
||||
'那我現在開始修那支 hook 嗎？' '開始' '先等等'
|
||||
|
||||
t 2 B "⑨ 內部命名／擺放位置（用戶看不到）" \
|
||||
'新的測試檔要放在 hooks/tests/ 底下還是 scripts/ 底下？檔名要叫 guard.test.sh 還是 test-guard.sh？' 'hooks/tests/' 'scripts/'
|
||||
|
||||
rm -f /tmp/.ask-gate-warned-* 2>/dev/null || true
|
||||
|
||||
echo
|
||||
echo "══ $PASS/$N 通過${FAIL:+，$FAIL 個失敗}${AFAIL:+（其中 $AFAIL 個是 A 群誤攔——這種最嚴重）} ══"
|
||||
[ "$FAIL" -eq 0 ]
|
||||
Executable
+165
@@ -0,0 +1,165 @@
|
||||
#!/usr/bin/env bash
|
||||
# ask-user-question-guard.sh 的離線迴歸測試（inkstone/InkStoneCo#55）。
|
||||
#
|
||||
# 這一檔測的是**管路**：抓不抓得到那個動作、擋的時候 exit 幾、
|
||||
# 判官掛掉會不會把 session 卡死、同一題會不會擋第二次。
|
||||
# **判官的準度另外一檔測**（`ask-user-question-guard.live.test.sh`，那支真的叫 haiku）。
|
||||
#
|
||||
# 判官在這裡用替身（`ISEP_ASK_JUDGE_CMD` 指向一支印固定 JSON 的假腳本），
|
||||
# 所以本檔 **不打網路、不花錢、跑得完**。
|
||||
#
|
||||
# 兩個方向都要有證據：
|
||||
# A 群「該放行」——非 AskUserQuestion 的動作、判官說 allow、判官壞掉、豁免戳記、第二次重送
|
||||
# B 群「該擋」 ——判官說 block（純技術路徑選擇）
|
||||
# C 群「訊息承諾的出路真的走得通」——重送與豁免戳記各一個實例
|
||||
#
|
||||
# 用法：hooks/tests/ask-user-question-guard.test.sh [hook 路徑]
|
||||
|
||||
set -u
|
||||
HOOK="${1:-$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)/ask-user-question-guard.sh}"
|
||||
TMP=$(mktemp -d)
|
||||
trap 'rm -rf "$TMP"' EXIT
|
||||
|
||||
PASS=0; FAIL=0; N=0
|
||||
|
||||
# 判官替身：吃 stdin、印一段固定的裁決
|
||||
mkstub() {
|
||||
cat > "$TMP/judge-$1.sh" <<EOF
|
||||
#!/bin/sh
|
||||
cat > /dev/null
|
||||
printf '%s' '$2'
|
||||
EOF
|
||||
chmod +x "$TMP/judge-$1.sh"
|
||||
printf '%s' "$TMP/judge-$1.sh"
|
||||
}
|
||||
|
||||
STUB_BLOCK=$(mkstub block '{"decision":"block","gate":"none","reason":"純技術路徑選擇，四題全否"}')
|
||||
STUB_ALLOW=$(mkstub allow '{"decision":"allow","gate":"④","reason":"UI 取捨是品味題"}')
|
||||
STUB_EMPTY=$(mkstub empty '')
|
||||
STUB_JUNK=$(mkstub junk 'Error: model overloaded')
|
||||
STUB_NEVER="$TMP/judge-does-not-exist.sh"
|
||||
|
||||
# payload <問題> [選項...]
|
||||
payload() {
|
||||
python3 - "$@" <<'PY'
|
||||
import json, sys
|
||||
q, opts = sys.argv[1], sys.argv[2:]
|
||||
print(json.dumps({
|
||||
"session_id": "S-TEST",
|
||||
"hook_event_name": "PreToolUse",
|
||||
"tool_name": "AskUserQuestion",
|
||||
"tool_input": {"questions": [{
|
||||
"question": q,
|
||||
"header": "決策",
|
||||
"multiSelect": False,
|
||||
"options": [{"label": o, "description": o + " 的說明"} for o in opts],
|
||||
}]},
|
||||
}, ensure_ascii=False))
|
||||
PY
|
||||
}
|
||||
|
||||
# t <期望 exit> <判官替身> <說明> <payload JSON>
|
||||
t() {
|
||||
want="$1"; judge="$2"; desc="$3"; body="$4"
|
||||
N=$((N+1))
|
||||
out=$(printf '%s' "$body" | ISEP_ASK_JUDGE_CMD="$judge" sh "$HOOK" 2>&1); rc=$?
|
||||
if [ "$rc" -eq "$want" ]; then
|
||||
printf ' ✅ %s\n' "$desc"; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ %s —— 期望 exit=%s，實得 exit=%s\n' "$desc" "$want" "$rc"
|
||||
printf '%s\n' "$out" | sed -n '1,6p' | sed 's/^/ /'
|
||||
FAIL=$((FAIL+1))
|
||||
fi
|
||||
}
|
||||
|
||||
clean() { rm -f /tmp/.ask-gate-warned-* /tmp/.ask-ok-S-TEST 2>/dev/null || true; }
|
||||
|
||||
echo "── A 群：該放行 ────────────────────────────────────────────────"
|
||||
clean
|
||||
|
||||
t 0 "$STUB_BLOCK" "① 不是 AskUserQuestion 的動作，一律不管（連判官都不叫）" \
|
||||
'{"tool_name":"Bash","tool_input":{"command":"ls"}}'
|
||||
|
||||
t 0 "$STUB_BLOCK" "② tool_input 是空的 → 沒東西可判，放行" \
|
||||
'{"tool_name":"AskUserQuestion","session_id":"S-TEST","tool_input":{}}'
|
||||
|
||||
t 0 "$STUB_BLOCK" "③ 整包不是合法 JSON → fail-open" \
|
||||
'this is not json at all'
|
||||
|
||||
clean
|
||||
t 0 "$STUB_ALLOW" "④ 真人閘之一（品味／方向）：樹要不要捲——判官 allow，leo 該收到" \
|
||||
"$(payload '總圖那棵樹，同層節點超過 20 個時要不要預設收合？' '預設收合' '全部展開')"
|
||||
|
||||
clean
|
||||
t 0 "$STUB_EMPTY" "⑤ 判官回空（掛了／沒網路）→ fail-open，不准把問題卡住" \
|
||||
"$(payload '這個 worker 要不要改用 D1 存執行紀錄？' 'D1' 'KV')"
|
||||
|
||||
clean
|
||||
t 0 "$STUB_JUNK" "⑥ 判官回的不是 JSON → fail-open" \
|
||||
"$(payload '這個 worker 要不要改用 D1 存執行紀錄？' 'D1' 'KV')"
|
||||
|
||||
clean
|
||||
t 0 "$STUB_NEVER" "⑦ 判官根本不存在（claude 不在 PATH）→ fail-open" \
|
||||
"$(payload '這個 worker 要不要改用 D1 存執行紀錄？' 'D1' 'KV')"
|
||||
|
||||
clean
|
||||
touch /tmp/.ask-ok-S-TEST
|
||||
t 0 "$STUB_BLOCK" "⑧ 明示豁免戳記在 → 放行（C 群：訊息裡承諾的出路）" \
|
||||
"$(payload '這題我確定是人閘，先放我過' 'A' 'B')"
|
||||
if [ -f /tmp/.ask-ok-S-TEST ]; then
|
||||
printf ' ❌ ⑧b 豁免戳記用完沒被消掉（會變成永久開關）\n'; FAIL=$((FAIL+1))
|
||||
else
|
||||
printf ' ✅ ⑧b 豁免戳記用完就消失，不是永久開關\n'; PASS=$((PASS+1))
|
||||
fi
|
||||
N=$((N+1))
|
||||
|
||||
echo
|
||||
echo "── B 群：該擋（純技術路徑選擇，四題全否）─────────────────────"
|
||||
clean
|
||||
|
||||
TECH="$(payload '重試邏輯要放在 client 還是 worker 那一層？' '放 client' '放 worker')"
|
||||
t 2 "$STUB_BLOCK" "⑨ 判官 block → exit 2，問題不會送到 leo 面前" "$TECH"
|
||||
|
||||
# 訊息內容檢查：要點名 leo 的原話與四題公式，且要給得出出路
|
||||
# （先清戳記，否則這次會走「同一題只擋一次」那條路而沒有訊息）
|
||||
clean
|
||||
msg=$(printf '%s' "$TECH" | ISEP_ASK_JUDGE_CMD="$STUB_BLOCK" sh "$HOOK" 2>&1 >/dev/null || true)
|
||||
N=$((N+1))
|
||||
if printf '%s' "$msg" | grep -q '為什麼 hooks 沒有攔下來' \
|
||||
&& printf '%s' "$msg" | grep -q '四題' \
|
||||
&& printf '%s' "$msg" | grep -q '重送'; then
|
||||
printf ' ✅ ⑩ 擋下的訊息帶了：leo 原話＋四題公式＋重送的出路\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ ⑩ 擋下的訊息缺了「leo 原話／四題公式／出路」其中一項\n'
|
||||
printf '%s\n' "$msg" | sed -n '1,8p' | sed 's/^/ /'
|
||||
FAIL=$((FAIL+1))
|
||||
fi
|
||||
|
||||
# 迴歸：訊息裡的反引號一度被 shell 當成命令替換執行掉
|
||||
# （原本寫 `cat >&2 <<EOF`，於是 `system-dev/wiki/` 真的被當指令跑，
|
||||
# stderr 冒出 "is a directory"，而 wiki 路徑與豁免指令在訊息裡雙雙變成空白
|
||||
# ——閘還是擋了，但**它教人怎麼解的那兩行是空的**，等於沒有出路。）
|
||||
N=$((N+1))
|
||||
if printf '%s' "$msg" | grep -q 'system-dev/wiki/' \
|
||||
&& printf '%s' "$msg" | grep -q 'touch /tmp/.ask-ok-S-TEST' \
|
||||
&& ! printf '%s' "$msg" | grep -q 'is a directory'; then
|
||||
printf ' ✅ ⑩b 訊息原文照印：反引號沒有被當成命令執行，出路那兩行沒有變空白\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ ⑩b 訊息被 shell 展開了（wiki 路徑／豁免指令消失，或冒出 shell 錯誤）\n'
|
||||
printf '%s\n' "$msg" | sed -n '1,20p' | sed 's/^/ /'
|
||||
FAIL=$((FAIL+1))
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "── C 群：訊息承諾的出路真的走得通 ─────────────────────────────"
|
||||
# 上面兩次已經把戳記寫下去了，同一題原封不動重送 → 必須放行
|
||||
t 0 "$STUB_BLOCK" "⑪ 同一題原封不動重送 → 放行（判官誤判不會讓 leo 永遠收不到）" "$TECH"
|
||||
|
||||
clean
|
||||
DIFFQ="$(payload '要不要把這批舊資料刪掉？這是不可逆的' '刪掉' '留著')"
|
||||
t 2 "$STUB_BLOCK" "⑫ 換一題（不同雜湊）→ 戳記不共用，仍然會判" "$DIFFQ"
|
||||
clean
|
||||
|
||||
echo
|
||||
echo "══ $PASS/$N 通過${FAIL:+，$FAIL 個失敗} ══"
|
||||
[ "$FAIL" -eq 0 ]
|
||||
Reference in New Issue
Block a user