t195:失敗重試加指數退避+上限——一個壞檔不再拖住整個資料夾
leo 2026-08-05:「有封測者在等,一直出錯」「已經等了幾天了」 ## 病(leo 實撞,log 實證) `小果被AFTEE詐貸.pdf` 雲端 401 失敗後,**manifest 完全不記失敗** ⇒ 下輪掃描又當「新檔」⇒ **1387 輪、跨 11 小時**,每輪 3.2~3.8 秒全在撞同一面牆; 且它排在佇列前面 ⇒ **整個資料夾的同步被一個壞檔拖住**。 leo:「原先萃檔案速度也快,現在花了十幾分才萃完」——**萃取沒變慢,慢的是重試** (log 的 `FOREACH 所有 5 項目均失敗` 證明卡早就萃好了)。 **這是獨立於 401 的架構缺陷**:401 修好了,下次換別的錯照樣卡死。 ## 修 · ManifestEntry 加 FailCount / LastFailAt / NextRetry · MarkFailed():退避階梯 1m→5m→15m→1h→6h(之後維持 6h) · ShouldRetry():退避窗口內跳過;連續失敗 8 次暫停自動重試 force(使用者按「立刻同步」)忽略退避與上限——**人明確要求不該被機器擋住** · MarkIngestedBy() 成功時清空失敗狀態(下次再壞從第一階重算) · direct.go 三個失敗出口都記退避(讀檔失敗/萃取失敗/上傳失敗) · retrySkipReason():跳過時說人話,不靜默(同 t195 燈號誠實原則) ## 🔴 真兇其實有兩層——第二層才是關鍵 只加退避欄位**沒有用**:`scan.go` 每輪都**重建** ManifestEntry, 原本只 carry IngestedHash/IngestedAt ⇒ 我寫進去的 fail_count 下一輪就被抹掉 ⇒ 退避永遠停在「第 1 次失敗」=等同沒有退避。 (順帶發現 ExtractedBy(t73「誰萃的」)原本也一直悄悄丟失。) ⇒ scan.go carry 補齊四個欄位,並留註解:**日後新增跨輪欄位必須加在這裡**。 ## 驗(真實跑,非只有單元測試) 單元測試 6 項全過(退避窗口/指數遞增 60/300/900/3600/21600/21600/ 上限停止/force 忽略/成功清空/壞檔不連累同輪其他檔) 實跑(cypher_url 指向不存在主機製造必失敗): 第 1 輪 failed 第 2 輪 skipped「上次失敗(第 1 次),1m0s 後重試」 第 3 輪 skipped(同上) 第 4 輪 skipped(同上) 模擬退避到期 → 確實重送、fail_count=2、退避升為 300s ✅ go test ./... 全綠;go vet 通過。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -276,6 +276,15 @@ func Scan(root string, m *Manifest, opts ScanOptions) (*TriggerPayload, error) {
|
||||
if carry != nil {
|
||||
ne.IngestedHash = carry.IngestedHash
|
||||
ne.IngestedAt = carry.IngestedAt
|
||||
// 🔴 t195:掃描每輪都**重建** entry,原本只 carry 上面兩欄 ⇒ 其餘欄位靜默歸零。
|
||||
// 實撞:失敗退避(fail_count/next_retry)寫進去了,下一輪掃描卻被抹掉
|
||||
// ⇒ 退避永遠停在「第 1 次失敗」,等同沒有退避(1387 輪的病根之一)。
|
||||
// ExtractedBy(t73 記的「誰萃的」)原本也一樣悄悄丟失。
|
||||
// ⚠️ 之後在 ManifestEntry 新增任何「跨輪要記住」的欄位,都必須加在這裡。
|
||||
ne.ExtractedBy = carry.ExtractedBy
|
||||
ne.FailCount = carry.FailCount
|
||||
ne.LastFailAt = carry.LastFailAt
|
||||
ne.NextRetry = carry.NextRetry
|
||||
}
|
||||
newEntries[p] = ne
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user