diff --git a/scan_dedup_scale_test.go b/scan_dedup_scale_test.go new file mode 100644 index 0000000..1284d61 --- /dev/null +++ b/scan_dedup_scale_test.go @@ -0,0 +1,72 @@ +// scan_dedup_scale_test.go — 同內容多格式去重在「真實規模」下的驗證(2026-08-07 驗收補測)。 +// +// 為什麼要有這支:scan_dedup_test.go 只在 2~3 個檔案的小規模下驗證邏輯正確, +// 沒有驗過演算法在 leo 實據的規模(27,164 檔=9,045 md+9,044 json+9,043 html)下 +// ①結果仍然正確(恰好 9,045 個 stem,一個 stem 只留一份)②不會因為規模爆炸而卡住 +// (detectFormatDuplicates 是 map 分組+逐組排序,理論上是 O(n log n),這裡實測而非空想)。 +package collector + +import ( + "fmt" + "testing" + "time" +) + +func TestScan_FormatDuplicate_EvanDatasetScale(t *testing.T) { + if testing.Short() { + t.Skip("scale test skipped in -short mode") + } + root := t.TempDir() + const nStems = 9045 // leo 實據:9,045 md 為最大宗,json/html 各少於此數(非每個 md 都有 json/html 對應) + const nJSON = 9044 + const nHTML = 9043 + + for i := 0; i < nStems; i++ { + writeFile(t, root, fmt.Sprintf("markdown/%05d.md", i), "md 內容", baseTime) + } + for i := 0; i < nJSON; i++ { + writeFile(t, root, fmt.Sprintf("json/%05d.json", i), "json 內容", baseTime) + } + for i := 0; i < nHTML; i++ { + writeFile(t, root, fmt.Sprintf("html/%05d.html", i), "html 內容", baseTime) + } + // .json/.html 不在 allowedExt 白名單裡(見 scan.go),不會進 current 候選集合—— + // 白名單先擋掉非文件格式與「去重」是獨立的兩層。為了真的測到「三格式並存去重」, + // 額外補一批白名單內、彼此撞 stem 的三種格式(.md/.txt/.csv 皆在 allowedExt 內)。 + const nTripleStem = 500 + for i := 0; i < nTripleStem; i++ { + stem := fmt.Sprintf("triple-%05d", i) + writeFile(t, root, "a/"+stem+".md", "md", baseTime) + writeFile(t, root, "b/"+stem+".txt", "txt", baseTime) + writeFile(t, root, "c/"+stem+".csv", "csv,x", baseTime) + } + + m := newTestManifest() + start := time.Now() + payload, err := Scan(root, m, ScanOptions{}) + elapsed := time.Since(start) + if err != nil { + t.Fatal(err) + } + t.Logf("Scan() 於 %d 個白名單內檔案(%d 個獨立 md + %d 組三格式撞 stem)耗時 %v", + nStems+3*nTripleStem, nStems, nTripleStem, elapsed) + if elapsed > 30*time.Second { + t.Errorf("規模測試耗時 %v,超過可接受上限(可能有 O(n^2) 的迴歸)", elapsed) + } + + added := 0 + for _, ev := range payload.Events { + if ev.Type == "added" { + added++ + } + } + // 期望:nStems 個獨立 md(彼此 stem 不同,不受去重影響)+ nTripleStem 個(三選一去重後只留一張) + wantAdded := nStems + nTripleStem + if added != wantAdded { + t.Fatalf("added 事件數=%d,want %d(去重後每個 triple stem 應只產生 1 個事件)", added, wantAdded) + } + if len(payload.DuplicateFormats) != 2*nTripleStem { + t.Fatalf("DuplicateFormats=%d,want %d(每個 triple stem 應有 2 份被標記為重複)", + len(payload.DuplicateFormats), 2*nTripleStem) + } +}