Compare commits
1 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
 Leo
|
b9533527cc |
@@ -1339,6 +1339,30 @@ bash hooks/tests/gitea-arm-to-github-armed.test.sh .
|
||||
- ④ 前兩條紅 ⇒ **沒拿到核准也寫了保險**——這是 D20 等級的洞，最嚴重
|
||||
- ④ ★ 紅 ⇒ 擋下之後教的指令又印回相對路徑（站在 InkStoneCo 會叫到舊複本，`inkstone/ISEP#112` 同病）
|
||||
|
||||
### A43 — 前端驗證閘先看這台有沒有瀏覽器能力，再要求用它：14 條
|
||||
```
|
||||
bash hooks/tests/browser-verify-guard.test.sh
|
||||
```
|
||||
**該看到**：`通過 14 ／ 失敗 0`。**全程離線**：在 `mktemp` 裡造假 transcript，
|
||||
瀏覽器能力用環境變數（`CLOUDFLARE_API_TOKEN_YOULIN_CC_USE`／`CLOUDFLARE_ACCOUNT_ID_YOULIN`）
|
||||
在場與否來扮演，session 各自帶 id、跑完清掉 `/tmp/.browser-cap-warned-*`。**不打網路、不碰真 repo。**
|
||||
|
||||
**它在守什麼**（`inkstone/ISEP#121`，2026-09-01 實撞）：舊版每回合都要求
|
||||
`mcp__Claude_Browser__*`，但那套工具在雲端這台**叫不出來**、容器內 chromium 也連不出去
|
||||
（`ERR_TUNNEL_CONNECTION_FAILED`）⇒ 它一整天每回合都在懲罰一個「這台辦不到」的要求。
|
||||
現在閘先判斷「這個 session 有哪種瀏覽器能力」（CF Browser Rendering 的兩個 env／
|
||||
transcript 出現過 `Claude_Browser__`），**有能力才要求用它，且教實際可用的那一種**；
|
||||
一種都沒有時訊息改成「缺什麼、怎麼補」，且**每個 session 只提醒一次**。
|
||||
|
||||
**失敗**：
|
||||
- C 群「第二次（同 session）放行」紅 ⇒ 沒能力時仍每回合誤攔，ISEP#121 的主症狀沒解，
|
||||
**這比漏擋嚴重**（一支天天誤擋的閘會被學會忽略）
|
||||
- B 群「有 CF 能力沒用它 ⇒ 教 CF 不是 MCP」紅 ⇒ 閘又去教這台叫不出來的那套工具
|
||||
- C 群「第一次提醒缺什麼怎麼補」紅 ⇒ 沒能力時的出路（找 leo 加 `Browser Rendering: Edit`／
|
||||
明說「本次無前端」）沒印出來，撞到的人不知道怎麼走
|
||||
- A 群「用過某種瀏覽器能力就放行」任一紅 ⇒ 真的看了畫面卻還被擋，誤攔
|
||||
- fail-open 任一紅 ⇒ 壞輸入會亂擋
|
||||
|
||||
---
|
||||
|
||||
## B. 只有 leo 能跑的（雲端）
|
||||
|
||||
@@ -286,7 +286,7 @@
|
||||
| `mainline-idle-guard.sh` | AI **連續 4 個回合一直在查、一直在讀，卻什麼都沒交出去**（沒派工、沒改檔、沒寫回票）就擋一次。補的是上面兩支中間那一格：「沒動作」空手警察管、「說了下一步卻沒派」稼動率警察管，**而「有動作、但就是不說下一步」以前兩支都放行**。這支**一個字都不讀**，只看有沒有派工／產出／工作區變動。響過一次門檻就加倍（4→8→16），不會變成一直在響的警報。 | 🛑 擋（響過就退讓） |
|
||||
| `pr-verdict-guard.sh` | 收工時清點「還有哪些 PR 沒有結論」——open、**沒有人被指派**、也沒有「要求修改」review 的 PR，就擋一次並**點名是哪幾個**（含開了幾天與網址）；已經 merge 但**分支還留著**的也一起點名（票上寫死「併完當場刪掉那條 branch」）。背景：2026-08-27 實查，最久的三個 open PR 躺了兩星期，而當時 46 支閘沒有一支在管 PR——票看起來「已交付」，東西卻沒進 main、沒進版本，**leo 手上永遠不會出現它**。🔴 **擋的是遺忘，不是等待**：指派給誰（或掛 Human）就立刻不再點名它；響過門檻就加倍（1→4→8→16，每個 PR 各自算）。搭配 `scripts/pr-verdict`（merge／reject／changes 各一個動作）。 | 🛑 擋（響過就退讓） |
|
||||
| `countdown-guard.sh` | **每一則回覆都自己說出「這件事已經花了多久／距今天收工線還剩多久」**，而且不必有人記得。一支閘掛兩個事件：你送出訊息時它先把算好的那一行放到 AI 眼前（`UserPromptSubmit`），AI 想收工時它再看這一回合的回覆裡到底有沒有那一行，沒有就擋一次要它補（`Stop`）。**只做前半 ＝ 又一個會被忽略的提醒**，所以兩半綁在一起。已過時間從**這段對話的第一則訊息**算起（＝一個 release 的起點）；收工線是台北 16:00，過線後四小時內顯示「已超過」，不會把超時悄悄換算掉。子 session、純工具回合、已經提醒過一次的，全部放行。**同一個注入點還帶第二行 `🎯 現在的主線是哪一個`**（`inkstone/ISEP#82`）——那一行沒有另外立閘，因為主線的名字本來就掛在被查核的 ⏱ 那一行上。 | 🛑 擋（至多攔一次） |
|
||||
| `browser-verify-guard.sh` | 這一輪 AI 宣稱「前端驗過了」，卻沒有真的用瀏覽器工具載入過，就擋下——`curl` 抓到 HTML 不算驗過。 | 🛑 擋 |
|
||||
| `browser-verify-guard.sh` | 這一輪 AI 宣稱「前端驗過了」，卻沒有真的用瀏覽器載入過，就擋下——`curl` 抓到 HTML 不算驗過。🔴 **先看這個 session 有哪種瀏覽器能力再要求用它**（`inkstone/ISEP#121`）：CF Browser Rendering（兩個 CF env 在場）／Browser MCP（transcript 出現過 `Claude_Browser__`）／容器內 chromium（雲端實測連不出去，不當能力）。有能力沒用它 ⇒ 擋，且教**實際可用的那一種**（雲端＝CF 的 `browser-rendering` 端點，不是叫不出來的 MCP）；**一種能力都沒有** ⇒ 訊息改成「缺什麼、怎麼補」（找 leo 幫 token 加 `Browser Rendering: Edit`／明說「本次無前端」），且**每個 session 只提醒一次**，不再每回合誤攔。 | 🛑 擋（沒能力時每 session 至多攔一次） |
|
||||
| `self-drive-police.sh` | AI 想停下來問你「早就決定過的事」（用固定句型判斷，例如「要不要 X」「下一步做什麼」「這交給你」）就擋下，反問它查過 wiki／查過派工表了沒。 | 🛑 擋 |
|
||||
| `self-drive-judge.sh` | 跟上面同一件事，但改用小模型（haiku）判斷「換句話說」的請示句——防止 AI 只是把「要不要」改寫成「不確定是否符合期待」就閃過上一支閘。 | 🛑 擋 |
|
||||
| `delivery-police.sh` | AI 宣稱「這件事做完了」，卻看不到任何實測證據（畫面截圖、指令輸出、HTTP 狀態碼…）就擋下。 | 🛑 擋 |
|
||||
|
||||
+116
-10
@@ -12,21 +12,42 @@
|
||||
# ⇒ 判準升級：`HTTP 200 不算驗過` → `grep 到字串也不算驗過`
|
||||
# → **只有「瀏覽器載入後看起來能用」才算**。
|
||||
#
|
||||
# 機制：這回合若出現「前端驗過」類宣稱，就要求同一回合真的用過瀏覽器工具。
|
||||
# 有 curl 沒有瀏覽器 ⇒ exit 2。
|
||||
# ── inkstone/ISEP#121：閘要先看「這台有沒有瀏覽器能力」，再要求用它 ──────
|
||||
# 2026-09-01 實撞：這支閘每回合都要求 `mcp__Claude_Browser__*`，但那套工具
|
||||
# **在雲端這台根本叫不出來**（ToolSearch：No matching deferred tools found），
|
||||
# 容器內 chromium 也連不出去（ERR_TUNNEL_CONNECTION_FAILED）。
|
||||
# ⇒ 它一整天每回合都在懲罰一個「這台辦不到」的要求。
|
||||
#
|
||||
# 正解不是取消驗證，是**先判斷這個 session 有哪種瀏覽器能力，再教對應的那一種**：
|
||||
# · CF Browser Rendering（雲端首選）＝ 環境變數 CLOUDFLARE_API_TOKEN_YOULIN_CC_USE
|
||||
# ＋ CLOUDFLARE_ACCOUNT_ID_YOULIN 都在場（token 需 Browser Rendering: Edit）
|
||||
# · Browser MCP ＝ 這個 session 的 transcript 出現過 Claude_Browser__* 工具
|
||||
# · 容器內 chromium ＝ ISEP#121 實測雲端網路被擋，不可靠 → 不當能力來源
|
||||
#
|
||||
# 有能力才要求用它（且教實際可用的那一種）；**一種都沒有時**，訊息改成
|
||||
# 「缺什麼、怎麼補」，且**每個 session 只提醒一次**（stamp）——不再每回合誤攔。
|
||||
#
|
||||
# ── 判準是「有沒有用瀏覽器能力」這個動作，不是措辭 ──────────────────────
|
||||
# 驗過的證據（正向存在性檢查，任一種即放行）：
|
||||
# · 這回合叫過 Claude_Browser__(preview_start|navigate|computer|…)
|
||||
# · 這回合打過 CF 的 .../browser-rendering/... 端點
|
||||
#
|
||||
# 逃生口：這次真的沒有前端可驗（純後端／純腳本）⇒ 在回覆裡明說「本次無前端」，
|
||||
# 本 hook 認得這句話就放行——留痕，不是默默略過。
|
||||
set -eu
|
||||
|
||||
TURN="$(cat 2>/dev/null | python3 -c '
|
||||
INPUT="$(cat 2>/dev/null || echo "")"
|
||||
[ -z "$INPUT" ] && exit 0
|
||||
|
||||
# 這回合的文字＋工具名（最後 40 則）
|
||||
TURN="$(printf '%s' "$INPUT" | python3 -c '
|
||||
import sys, json
|
||||
buf = []
|
||||
try:
|
||||
d = json.load(sys.stdin)
|
||||
t = d.get("transcript_path") or ""
|
||||
if t:
|
||||
import io, os
|
||||
import os
|
||||
if os.path.exists(t):
|
||||
for line in open(t, encoding="utf-8", errors="ignore").readlines()[-40:]:
|
||||
try:
|
||||
@@ -51,16 +72,66 @@ print("\n".join(buf))
|
||||
' 2>/dev/null || echo "")"
|
||||
[ -z "$TURN" ] && exit 0
|
||||
|
||||
# 有沒有「前端／畫面驗過」的宣稱？
|
||||
# 整個 session 的 transcript 路徑與 session_id（能力偵測與 stamp 用）
|
||||
TP="$(printf '%s' "$INPUT" | python3 -c 'import sys,json
|
||||
try: print(json.load(sys.stdin).get("transcript_path") or "")
|
||||
except Exception: print("")' 2>/dev/null || echo "")"
|
||||
SID="$(printf '%s' "$INPUT" | python3 -c 'import sys,json,re
|
||||
try:
|
||||
s=str(json.load(sys.stdin).get("session_id") or "nosid")
|
||||
print(re.sub(r"[^A-Za-z0-9_.-]","_",s)[:64])
|
||||
except Exception: print("nosid")' 2>/dev/null || echo "nosid")"
|
||||
|
||||
# ── 這回合有沒有「前端／畫面驗過」的宣稱？沒有就與本閘無關 ──
|
||||
printf '%s' "$TURN" | grep -qiE '前端(驗|測|複驗|確認)|畫面(驗|確認|複驗)|用戶.{0,6}看到的|驗前端|抓實際畫面' || exit 0
|
||||
|
||||
# 明說沒有前端 ⇒ 放行（留痕）
|
||||
# ── 逃生口：明說沒有前端 ⇒ 放行（留痕） ──
|
||||
printf '%s' "$TURN" | grep -qE '本次無前端|沒有前端可驗|純後端|不涉及前端' && exit 0
|
||||
|
||||
# 真的用過瀏覽器嗎？
|
||||
printf '%s' "$TURN" | grep -qE 'Claude_Browser__(preview_start|navigate|computer|get_page_text|read_console_messages)' && exit 0
|
||||
# ── 驗過的證據：這回合真的用過某種瀏覽器能力（正向存在性檢查）──
|
||||
printf '%s' "$TURN" | grep -qE 'Claude_Browser__(preview_start|navigate|computer|get_page_text|read_console_messages|snapshot)' && exit 0
|
||||
printf '%s' "$TURN" | grep -qE 'browser-rendering/' && exit 0 # CF Browser Rendering 端點
|
||||
|
||||
cat >&2 <<'EOF'
|
||||
# ── 這個 session 有哪種瀏覽器能力？（正向存在性檢查）──
|
||||
CF_CAP=0
|
||||
[ -n "${CLOUDFLARE_API_TOKEN_YOULIN_CC_USE:-}" ] && [ -n "${CLOUDFLARE_ACCOUNT_ID_YOULIN:-}" ] && CF_CAP=1
|
||||
|
||||
MCP_CAP=0
|
||||
if [ -n "$TP" ] && [ -f "$TP" ]; then
|
||||
grep -q 'Claude_Browser__' "$TP" 2>/dev/null && MCP_CAP=1
|
||||
fi
|
||||
|
||||
# ── 一種能力都沒有：不能要求做不到的事 → 每個 session 只提醒一次「缺什麼、怎麼補」──
|
||||
if [ "$CF_CAP" -eq 0 ] && [ "$MCP_CAP" -eq 0 ]; then
|
||||
STAMP="/tmp/.browser-cap-warned-$SID"
|
||||
[ -f "$STAMP" ] && exit 0 # 這個 session 已經提醒過 ⇒ 不再誤攔
|
||||
: > "$STAMP" 2>/dev/null || true
|
||||
cat >&2 <<'EOF'
|
||||
🖥️ 前端驗證警察：你宣稱驗了畫面，但**這個 session 一種瀏覽器能力都沒有**——
|
||||
沒有能力就無法看畫面，所以問題不是「你沒驗」，是「這台缺瀏覽器能力，去補」。
|
||||
|
||||
【inkstone/ISEP#121】閘要先看這台有沒有瀏覽器能力，才不會要求你做一件辦不到的事。
|
||||
|
||||
補齊任一種即可看畫面（雲端首選第①種）：
|
||||
① CF Browser Rendering ── 需要兩個環境變數在場，且 token 要有 Browser Rendering: Edit：
|
||||
CLOUDFLARE_API_TOKEN_YOULIN_CC_USE
|
||||
CLOUDFLARE_ACCOUNT_ID_YOULIN
|
||||
缺權限就通知 leo 幫該 token 加 Browser Rendering: Edit（ISEP#115 就是這樣解開的）。
|
||||
② Browser MCP ── mcp__Claude_Browser__*（本機通常有；雲端這台叫不出來）。
|
||||
③ 容器內 chromium ── ISEP#121 實測雲端網路被擋（ERR_TUNNEL_CONNECTION_FAILED），
|
||||
不可靠，別依賴它當唯一驗法。
|
||||
|
||||
在補上能力之前：這次若真的沒有前端可驗（純後端／純腳本），
|
||||
在回覆裡明說「本次無前端」即放行。
|
||||
|
||||
本閘每個 session 只在這裡提醒一次，不會每回合攔你（inkstone/ISEP#121）。
|
||||
EOF
|
||||
exit 2
|
||||
fi
|
||||
|
||||
# ── 有能力卻沒用它 → 擋，並教「這台實際可用的那一種」──
|
||||
if [ "$CF_CAP" -eq 1 ]; then
|
||||
cat >&2 <<'EOF'
|
||||
🖥️ 前端驗證警察：你宣稱驗了畫面，但**這回合沒有用過瀏覽器**。
|
||||
|
||||
【leo 2026-08-08】「**你的環境有 web，你應該用 web 驗，你已經開啓了卻沒有完成。**」
|
||||
@@ -70,7 +141,42 @@ cat >&2 <<'EOF'
|
||||
08-08 實撞：我 grep 到文案就說「前端驗過」，
|
||||
而使用者實際看到的是整條紅色「設定檔沒載入（config.js）」——**那個畫面我一次都沒看到**。
|
||||
|
||||
改用這三步（看畫面，不是看原始碼）：
|
||||
這台有 CF Browser Rendering（雲端首選）。用它看畫面，不是看原始碼：
|
||||
|
||||
# 跑完 JS 的 DOM（能看到 config.js 載入後的真實內容）
|
||||
curl -sS -X POST \
|
||||
"https://api.cloudflare.com/client/v4/accounts/${CLOUDFLARE_ACCOUNT_ID_YOULIN}/browser-rendering/content" \
|
||||
-H "Authorization: Bearer ${CLOUDFLARE_API_TOKEN_YOULIN_CC_USE}" \
|
||||
-H "Content-Type: application/json" \
|
||||
--data '{"url":"<用戶會走的網址>"}'
|
||||
|
||||
# 截圖（用戶會看到的那個畫面）
|
||||
curl -sS -X POST \
|
||||
"https://api.cloudflare.com/client/v4/accounts/${CLOUDFLARE_ACCOUNT_ID_YOULIN}/browser-rendering/screenshot" \
|
||||
-H "Authorization: Bearer ${CLOUDFLARE_API_TOKEN_YOULIN_CC_USE}" \
|
||||
-H "Content-Type: application/json" \
|
||||
--data '{"url":"<用戶會走的網址>"}' --output /tmp/screen.png
|
||||
|
||||
要看的是：有沒有錯誤橫幅／資料是不是還卡在「載入中…」／DOM 裡有沒有紅字錯誤。
|
||||
|
||||
⚠️ 順帶：用 curl 查線上狀態時，`?cb=$RANDOM` **繞不掉 Cloudflare 邊緣快取**——
|
||||
要加 `-H "Cache-Control: no-cache"`，否則你可能是在驗快取而不是驗線上。
|
||||
|
||||
本次真的沒有前端可驗 ⇒ 在回覆裡明說「本次無前端」即放行。
|
||||
EOF
|
||||
exit 2
|
||||
fi
|
||||
|
||||
# MCP_CAP == 1（且沒有 CF）：教 Browser MCP
|
||||
cat >&2 <<'EOF'
|
||||
🖥️ 前端驗證警察：你宣稱驗了畫面，但**這回合沒有用過瀏覽器**。
|
||||
|
||||
【leo 2026-08-08】「**你的環境有 web，你應該用 web 驗，你已經開啓了卻沒有完成。**」
|
||||
|
||||
【為什麼 curl | grep 不算】curl 拿到的是 **HTML 原始碼**——
|
||||
它**不執行 JS、不載入 config.js、不發 API 請求**。
|
||||
|
||||
這台有 Browser MCP。改用這三步（看畫面，不是看原始碼）：
|
||||
mcp__Claude_Browser__preview_start {url: "<用戶會走的網址>"}
|
||||
mcp__Claude_Browser__computer {action: "screenshot"}
|
||||
mcp__Claude_Browser__read_console_messages {onlyErrors: true}
|
||||
|
||||
Executable
+197
@@ -0,0 +1,197 @@
|
||||
#!/usr/bin/env bash
|
||||
# browser-verify-guard.sh 的迴歸測試（inkstone/ISEP#121）。
|
||||
#
|
||||
# 來由：2026-09-01 雲端這台「一種瀏覽器能力都沒有」，這支閘卻每回合都要求
|
||||
# mcp__Claude_Browser__*（那套工具在這台叫不出來），於是一整天每回合誤攔一次。
|
||||
# 正解：閘先判斷「這個 session 有哪種瀏覽器能力」，有能力才要求用它，且教實際
|
||||
# 可用的那一種（雲端＝CF Browser Rendering）；一種都沒有時訊息改成「缺什麼、
|
||||
# 怎麼補」，且每個 session 只提醒一次。
|
||||
#
|
||||
# 三個方向都要有證據：
|
||||
# A 群「該放行」——沒宣稱／明說無前端／真的用過某種瀏覽器能力／壞輸入 fail-open
|
||||
# B 群「該擋」 ——有能力卻沒用它（且教對的那一種）
|
||||
# C 群「沒能力時不誤攔」——第一次提醒一次（缺什麼怎麼補），同 session 第二次放行
|
||||
#
|
||||
# 用法：hooks/tests/browser-verify-guard.test.sh [hooks/browser-verify-guard.sh 的路徑]
|
||||
# 🔴 全程在乾淨 TMP 底下造假 transcript，跑完自己清；不碰真 repo、不打網路。
|
||||
# 每個案子自帶 session_id，並清掉可能殘留的 /tmp/.browser-cap-warned-* stamp。
|
||||
|
||||
set -u
|
||||
HOOK="${1:-$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)/browser-verify-guard.sh}"
|
||||
TMP=$(mktemp -d)
|
||||
trap 'rm -rf "$TMP"; rm -f /tmp/.browser-cap-warned-bvtest_* 2>/dev/null' EXIT
|
||||
rm -f /tmp/.browser-cap-warned-bvtest_* 2>/dev/null || true
|
||||
|
||||
PASS=0; FAIL=0; N=0
|
||||
|
||||
# mk <transcript 路徑> <block spec>...
|
||||
# 單一 assistant 訊息的多個 block：`T:<文字>`＝文字段；`U:<工具名>`＝tool_use
|
||||
mk() {
|
||||
python3 - "$@" <<'PY'
|
||||
import json, sys
|
||||
path, specs = sys.argv[1], sys.argv[2:]
|
||||
rows = [{"type": "user", "message": {"content": [{"type": "text", "text": "【工單】去辦這件事"}]}}]
|
||||
blocks = []
|
||||
for s in specs:
|
||||
k, v = s.split(":", 1)
|
||||
blocks.append({"type": "text", "text": v} if k == "T"
|
||||
else {"type": "tool_use", "name": v, "id": "t1", "input": {"cmd": v}})
|
||||
rows.append({"type": "assistant", "message": {"content": blocks}})
|
||||
with open(path, "w") as f:
|
||||
for r in rows:
|
||||
f.write(json.dumps(r, ensure_ascii=False) + "\n")
|
||||
PY
|
||||
}
|
||||
|
||||
# mk2 <transcript 路徑> <早期工具名> <本回合文字>
|
||||
# 早一則 assistant 用過某工具（進得了 transcript 但不在「這回合的驗證」裡），
|
||||
# 本回合只有文字宣稱 → 用來造「有 MCP 能力、但這回合沒用它」。
|
||||
mk2() {
|
||||
python3 - "$@" <<'PY'
|
||||
import json, sys
|
||||
path, tool, text = sys.argv[1], sys.argv[2], sys.argv[3]
|
||||
rows = [
|
||||
{"type": "user", "message": {"content": [{"type": "text", "text": "先看一下"}]}},
|
||||
{"type": "assistant", "message": {"content": [{"type": "tool_use", "name": tool, "id": "e1", "input": {}}]}},
|
||||
{"type": "user", "message": {"content": [{"type": "text", "text": "【工單】去辦這件事"}]}},
|
||||
{"type": "assistant", "message": {"content": [{"type": "text", "text": text}]}},
|
||||
]
|
||||
with open(path, "w") as f:
|
||||
for r in rows:
|
||||
f.write(json.dumps(r, ensure_ascii=False) + "\n")
|
||||
PY
|
||||
}
|
||||
|
||||
# run <session_id> <cf?> <transcript> → 設定/清空 env，回傳 out（含 stderr），rc 存 $RC
|
||||
run() {
|
||||
sid="$1"; cf="$2"; tr="$3"
|
||||
if [ "$cf" = "cf" ]; then
|
||||
out=$(printf '{"transcript_path":"%s","session_id":"%s"}' "$tr" "$sid" \
|
||||
| CLAUDE_PROJECT_DIR="$TMP" \
|
||||
CLOUDFLARE_API_TOKEN_YOULIN_CC_USE="fake-token" \
|
||||
CLOUDFLARE_ACCOUNT_ID_YOULIN="fake-acct" \
|
||||
sh "$HOOK" 2>&1); RC=$?
|
||||
else
|
||||
out=$(printf '{"transcript_path":"%s","session_id":"%s"}' "$tr" "$sid" \
|
||||
| CLAUDE_PROJECT_DIR="$TMP" \
|
||||
CLOUDFLARE_API_TOKEN_YOULIN_CC_USE="" \
|
||||
CLOUDFLARE_ACCOUNT_ID_YOULIN="" \
|
||||
sh "$HOOK" 2>&1); RC=$?
|
||||
fi
|
||||
}
|
||||
|
||||
# t <期望exit> <cf|nocf> <說明> <block spec>...
|
||||
t() {
|
||||
want="$1"; cf="$2"; desc="$3"; shift 3
|
||||
N=$((N+1)); tr="$TMP/tr-$N.jsonl"; mk "$tr" "$@"
|
||||
run "bvtest_$N" "$cf" "$tr"
|
||||
if [ "$RC" -eq "$want" ]; then printf ' ✅ %s\n' "$desc"; PASS=$((PASS+1))
|
||||
else printf ' ❌ %s —— 期望 exit=%s，實得 exit=%s\n' "$desc" "$want" "$RC"
|
||||
printf '%s\n' "$out" | sed -n '1,6p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
}
|
||||
|
||||
echo "── A 群：該放行 ──────────────────────────────────────────────"
|
||||
|
||||
t 0 nocf "沒有前端驗過的宣稱 ⇒ 與本閘無關" \
|
||||
'T:我把後端 API 跑了一遍，回 200。'
|
||||
|
||||
t 0 nocf "宣稱驗前端 ＋ 明說「本次無前端」⇒ 逃生口放行" \
|
||||
'T:這條線是純腳本，本次無前端可驗。'
|
||||
|
||||
t 0 cf "宣稱驗前端 ＋ 這回合用過 Claude_Browser__computer ⇒ 已驗放行" \
|
||||
'T:前端我複驗過了。' 'U:mcp__Claude_Browser__computer'
|
||||
|
||||
t 0 cf "宣稱驗前端 ＋ 這回合打過 CF browser-rendering 端點 ⇒ 已驗放行" \
|
||||
'T:畫面確認過了。' 'U:curl -X POST https://api.cloudflare.com/client/v4/accounts/x/browser-rendering/screenshot'
|
||||
|
||||
echo
|
||||
echo "── B 群：有能力卻沒用它 → 該擋，且教對的那一種 ─────────────────"
|
||||
|
||||
# CF 能力在場、這回合只有 curl|grep 宣稱 ⇒ 擋，且教 CF 而不是 MCP
|
||||
N=$((N+1)); tr="$TMP/tr-cf.jsonl"
|
||||
mk "$tr" 'T:我 curl 抓了頁面，grep 到文案，前端驗過了。'
|
||||
run "bvtest_cf" "cf" "$tr"
|
||||
if [ "$RC" -eq 2 ] \
|
||||
&& printf '%s' "$out" | grep -q 'browser-rendering/screenshot' \
|
||||
&& ! printf '%s' "$out" | grep -q 'preview_start'; then
|
||||
printf ' ✅ 有 CF 能力沒用它 ⇒ 擋，且教 CF（browser-rendering），不是 MCP 三步\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ CF 能力在場時，擋法或教學不對（exit=%s）\n' "$RC"
|
||||
printf '%s\n' "$out" | sed -n '1,8p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
|
||||
# 只有 MCP 能力（transcript 早一則用過 Claude_Browser__，但非驗證類、且這回合沒用）⇒ 擋，且教 MCP
|
||||
N=$((N+1)); tr="$TMP/tr-mcp.jsonl"
|
||||
mk2 "$tr" "mcp__Claude_Browser__close" "我 curl 抓了頁面，前端驗過了。"
|
||||
out=$(printf '{"transcript_path":"%s","session_id":"%s"}' "$tr" "bvtest_mcp" \
|
||||
| CLAUDE_PROJECT_DIR="$TMP" CLOUDFLARE_API_TOKEN_YOULIN_CC_USE="" CLOUDFLARE_ACCOUNT_ID_YOULIN="" \
|
||||
sh "$HOOK" 2>&1); RC=$?
|
||||
if [ "$RC" -eq 2 ] \
|
||||
&& printf '%s' "$out" | grep -q 'preview_start' \
|
||||
&& ! printf '%s' "$out" | grep -q 'browser-rendering'; then
|
||||
printf ' ✅ 只有 MCP 能力沒用它 ⇒ 擋，且教 MCP 三步，不是 CF\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ MCP 能力在場時，擋法或教學不對（exit=%s）\n' "$RC"
|
||||
printf '%s\n' "$out" | sed -n '1,8p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
|
||||
echo
|
||||
echo "── C 群：一種能力都沒有 → 不誤攔（ISEP#121 的正題）─────────────"
|
||||
echo " 演練：這台沒有 CF env、transcript 也沒 Claude_Browser__，卻宣稱驗了前端"
|
||||
|
||||
# 第一次：提醒一次（缺什麼、怎麼補），exit 2
|
||||
N=$((N+1)); tr="$TMP/tr-nocap.jsonl"
|
||||
mk "$tr" 'T:我 curl 抓了 stage 頁面，grep 到標題，前端驗過了。'
|
||||
run "bvtest_nocap1" "nocf" "$tr"
|
||||
first_rc="$RC"; first_out="$out"
|
||||
if [ "$first_rc" -eq 2 ] \
|
||||
&& printf '%s' "$first_out" | grep -q '一種瀏覽器能力都沒有' \
|
||||
&& printf '%s' "$first_out" | grep -q 'CLOUDFLARE_API_TOKEN_YOULIN_CC_USE' \
|
||||
&& printf '%s' "$first_out" | grep -q 'Browser Rendering: Edit' \
|
||||
&& printf '%s' "$first_out" | grep -q '只在這裡提醒一次'; then
|
||||
printf ' ✅ 第一次：提醒「缺什麼、怎麼補」（要哪個 env、找 leo 加什麼權限）\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ 第一次的提醒內容不對（exit=%s）\n' "$first_rc"
|
||||
printf '%s\n' "$first_out" | sed -n '1,12p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
|
||||
# 第二次：同一個 session、同樣沒能力、同樣宣稱 ⇒ 放行（不再每回合誤攔）
|
||||
N=$((N+1)); tr2="$TMP/tr-nocap2.jsonl"
|
||||
mk "$tr2" 'T:我又 curl 抓了一次，前端驗過了。'
|
||||
run "bvtest_nocap1" "nocf" "$tr2" # ← 故意沿用同一個 session_id
|
||||
if [ "$RC" -eq 0 ]; then
|
||||
printf ' ✅ 第二次（同 session）：放行 ⇒ 不再每回合誤攔（ISEP#121 主症狀已解）\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ 第二次還在攔（exit=%s）⇒ 仍會每回合誤攔\n' "$RC"
|
||||
printf '%s\n' "$out" | sed -n '1,8p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
|
||||
echo
|
||||
echo "── C 群：沒能力時，逃生口仍走得通 ───────────────────────────"
|
||||
|
||||
t 0 nocf "沒能力 ＋ 明說「本次無前端」⇒ 照樣放行（逃生口不受能力影響）" \
|
||||
'T:宣稱一下前端驗過的字樣，但其實本次無前端可驗。'
|
||||
|
||||
echo
|
||||
echo "── 訊息裡用引號 heredoc，反引號不被當命令執行（mistakes.md）─────"
|
||||
N=$((N+1)); tr="$TMP/tr-heredoc.jsonl"
|
||||
mk "$tr" 'T:我 curl 抓了頁面，前端驗過了。'
|
||||
run "bvtest_heredoc" "cf" "$tr"
|
||||
if printf '%s' "$out" | grep -q 'Cache-Control: no-cache' \
|
||||
&& ! printf '%s' "$out" | grep -qi 'command not found\|line [0-9].*: '; then
|
||||
printf ' ✅ 訊息原樣印出（反引號沒被展開執行）\n'; PASS=$((PASS+1))
|
||||
else
|
||||
printf ' ❌ 訊息疑似被 shell 展開（反引號被當命令）\n'
|
||||
printf '%s\n' "$out" | sed -n '1,4p' | sed 's/^/ /'; FAIL=$((FAIL+1)); fi
|
||||
|
||||
echo
|
||||
echo "── 壞輸入不准亂擋（fail-open）────────────────────────────────"
|
||||
for payload in '{}' '{"transcript_path":"/nonexistent/xx.jsonl"}' 'not-json' ''; do
|
||||
N=$((N+1))
|
||||
printf '%s' "$payload" | CLAUDE_PROJECT_DIR="$TMP" \
|
||||
CLOUDFLARE_API_TOKEN_YOULIN_CC_USE="" CLOUDFLARE_ACCOUNT_ID_YOULIN="" \
|
||||
sh "$HOOK" >/dev/null 2>&1; rc=$?
|
||||
label="${payload:-（空輸入）}"
|
||||
if [ "$rc" -eq 0 ]; then printf ' ✅ 壞輸入 %-34s ⇒ exit=0\n' "$label"; PASS=$((PASS+1))
|
||||
else printf ' ❌ 壞輸入 %-34s ⇒ exit=%s（期望 0）\n' "$label" "$rc"; FAIL=$((FAIL+1)); fi
|
||||
done
|
||||
|
||||
echo
|
||||
echo "────── 通過 $PASS ／ 失敗 $FAIL （共 $N 向）"
|
||||
[ "$FAIL" -eq 0 ]
|
||||
Reference in New Issue
Block a user