diff --git a/convert.go b/convert.go index 46e60df..cca19e6 100644 --- a/convert.go +++ b/convert.go @@ -57,7 +57,7 @@ var extractors = map[string]extractor{ ".docx": extractDocx, ".csv": extractCSV, ".xlsx": extractXLSX, - // .pdf → PDFium-via-wazero（下一步接；體積 +10.43MB，實測 15頁/2.2MB=134ms） + ".pdf": extractPDF, // PDFium-via-wazero（+10.43MB；用戶不必裝任何東西，見 convert_pdf.go） // .pptx → 同 docx 的 ZIP+XML 路數，數十行，體積幾乎不變 } diff --git a/convert_pdf.go b/convert_pdf.go new file mode 100644 index 0000000..57973c0 --- /dev/null +++ b/convert_pdf.go @@ -0,0 +1,105 @@ +// convert_pdf.go — PDF 抽文字（PDFium via wazero，純 Go 無 CGo） +// +// 為什麼 PDF 非要引擎不可（對照 docx/xlsx 只要 +0.31MB）： +// +// PDF 是**印刷格式**——記的是「這個字畫在第 3 頁座標 (120,400)」，不是「第二段第五個字」。 +// 要把散落的字元還原成通順文字，需要完整的排版還原邏輯。實測純 Go 的 PDF 套件 +// 對「Chrome 列印出來的 PDF」直接吐整段亂碼（pdf-extraction-options.md §3）， +// 而客戶最常丟的就是瀏覽器列印的 PDF。**把亂碼寫進知識庫比不收更糟**—— +// 搜尋搜到垃圾、AI 讀到垃圾，而且用戶看不出來。 +// +// 為什麼用戶不必裝任何東西（leo 2026-07-27 問「我的用戶可能不會自己裝 Python 環境」）： +// +// PDFium 本體是 Google 的 C++ 引擎（Chrome 顯示 PDF 用的就是它），但我們用的是 +// **編譯成 WASM 的版本**，由 wazero（純 Go 的 WASM runtime）在本行程內跑。 +// `pdfium.wasm` 被 go:embed 進執行檔 ⇒ **用戶下載同一個 zip 解開就有**， +// 而且**我們自己也不需要 C/C++ 工具鏈**（CGO_ENABLED=0 編得過、Windows 交叉編譯一行成功）。 +// +// 代價（實測，非估算）：collector 8.38 → 18.80 MB（+10.43 MB，壓縮後 +4.77 MB）。 +// leo 2026-07-27 定調：「它全運作在客戶的電腦上，**就算肥一點跑的喘一點也沒事**」。 +// 速度：1 頁 3–6 ms，15 頁 / 2.2 MB ＝ 134 ms。 +// +// ⛔ **抽不出字的情況**：掃描件／翻拍的 PDF——PDFium **不做 OCR**，會回空字串。 +// 這時回 ErrNoText 讓上層給用戶明確訊息，**絕不靜默當成空內容送出去**。 +package main + +import ( + "fmt" + "strings" + "sync" + "time" + + "github.com/klippa-app/go-pdfium" + "github.com/klippa-app/go-pdfium/requests" + "github.com/klippa-app/go-pdfium/webassembly" +) + +var ( + pdfPool pdfium.Pool + pdfPoolOnce sync.Once + pdfPoolErr error + // 同一時間只讓一個 goroutine 用 instance——pool 設定為單一 worker， + // 而 daemon 可能併發處理多檔（scan 迴圈目前是循序，但別依賴那個假設）。 + pdfMu sync.Mutex +) + +// initPDFPool 延後到第一次真的要讀 PDF 時才初始化。 +// +// 為什麼不用 init()：WASM runtime 啟動要吃記憶體與時間，而**多數使用者的資料夾裡 +// 可能一個 PDF 都沒有**。沒 PDF 就不該付這個代價。 +//（注意：go:embed 的 wasm 位元組仍在執行檔裡，體積代價省不掉，省的是執行期記憶體。） +func initPDFPool() error { + pdfPoolOnce.Do(func() { + pdfPool, pdfPoolErr = webassembly.Init(webassembly.Config{ + MinIdle: 1, + MaxIdle: 1, + MaxTotal: 1, // 單 worker 就夠：本用途是循序處理檔案，多開只是多吃記憶體 + }) + }) + return pdfPoolErr +} + +func extractPDF(data []byte) (string, error) { + if err := initPDFPool(); err != nil { + return "", fmt.Errorf("PDF 引擎啟動失敗：%w", err) + } + + pdfMu.Lock() + defer pdfMu.Unlock() + + inst, err := pdfPool.GetInstance(30 * time.Second) + if err != nil { + return "", fmt.Errorf("PDF 引擎取用失敗：%w", err) + } + defer inst.Close() + + doc, err := inst.OpenDocument(&requests.OpenDocument{File: &data}) + if err != nil { + // 密碼保護的 PDF 也會走到這裡——訊息要讓用戶看得懂是「打不開」而非「沒內容」。 + return "", fmt.Errorf("PDF 打不開（可能損壞或有密碼保護）：%w", err) + } + defer inst.FPDF_CloseDocument(&requests.FPDF_CloseDocument{Document: doc.Document}) + + pageCount, err := inst.FPDF_GetPageCount(&requests.FPDF_GetPageCount{Document: doc.Document}) + if err != nil { + return "", fmt.Errorf("讀 PDF 頁數失敗：%w", err) + } + + var sb strings.Builder + for i := 0; i < pageCount.PageCount; i++ { + txt, err := inst.GetPageText(&requests.GetPageText{ + Page: requests.Page{ByIndex: &requests.PageByIndex{Document: doc.Document, Index: i}}, + }) + if err != nil { + // 單頁失敗不該讓整份放棄——有內容總比沒有好，但要留痕跡。 + sb.WriteString(fmt.Sprintf("\n（第 %d 頁讀取失敗）\n", i+1)) + continue + } + sb.WriteString(txt.Text) + sb.WriteString("\n") + } + + // 抽不出字＝掃描件／影像 PDF。回空字串會被 ConvertToText 轉成 ErrNoText， + // 上層才能告訴用戶「這個檔看起來是掃描的圖，沒有文字可讀」。 + return sb.String(), nil +} diff --git a/convert_pdf_test.go b/convert_pdf_test.go new file mode 100644 index 0000000..70571c5 --- /dev/null +++ b/convert_pdf_test.go @@ -0,0 +1,84 @@ +package main + +import ( + "errors" + "os" + "strings" + "testing" + "time" +) + +const chromePDF = "/private/tmp/claude-501/-Users-youlinhsieh-Documents-tech-projects-InkStoneCo/92a75156-c295-4c79-bfeb-de1a20e4ed26/scratchpad/office-poc/chrome.pdf" + +// 這是本抽取器存在的理由：調研實測「純 Go 的 PDF 套件對 Chrome 列印的 PDF 整段亂碼」 +// （pdf-extraction-options.md §3），而客戶最常丟的就是瀏覽器列印的 PDF。 +// 所以測資刻意用 Chrome headless 產的，不是隨便一個 PDF。 +func TestPDF_Chrome列印的中文PDF(t *testing.T) { + data, err := os.ReadFile(chromePDF) + if err != nil { + t.Skip("無 Chrome PDF 測資，跳過") + } + start := time.Now() + got, err := ConvertToText("合約.pdf", data) + elapsed := time.Since(start) + if err != nil { + t.Fatalf("Chrome 列印的 PDF 應該讀得了: %v", err) + } + for _, want := range []string{"船舶維修合約書", "350,000", "2026", "交期"} { + if !strings.Contains(got, want) { + t.Errorf("缺少 %q（若整段亂碼＝引擎選錯了），實得:\n%s", want, got) + } + } + t.Logf("耗時 %v，抽出:\n%s", elapsed, got) +} + +// 掃描件行為契約：PDFium 不做 OCR，影像 PDF 會抽不出字 → 必須是 ErrNoText， +// 不能靜默送空內容給 LLM（用戶會以為成功了，其實知識庫裡是空的）。 +func TestPDF_無文字PDF回ErrNoText(t *testing.T) { + // 一個結構合法但沒有文字內容的最小 PDF + minimal := []byte(`%PDF-1.4 +1 0 obj<>endobj +2 0 obj<>endobj +3 0 obj<>endobj +xref +0 4 +trailer<> +startxref +0 +%%EOF`) + _, err := ConvertToText("空白.pdf", minimal) + if err == nil { + t.Fatal("沒有文字的 PDF 應該回錯，不能當成空內容送出去") + } + // 打不開也可接受（訊息不同但都不是靜默成功）；重點是不可回 nil error + if !errors.Is(err, ErrNoText) && !strings.Contains(err.Error(), "PDF") { + t.Errorf("錯誤訊息應說得出是 PDF 的問題，實得: %v", err) + } + t.Logf("如預期回錯: %v", err) +} + +func TestPDF_壞檔要報錯不當機(t *testing.T) { + _, err := ConvertToText("壞的.pdf", []byte("這根本不是 PDF")) + if err == nil { + t.Error("壞檔應該報錯") + } + t.Logf("錯誤訊息: %v", err) +} + +// 同一個 process 連續處理多個 PDF 不可爆（pool 重用）—— +// daemon 是長駐程式，一次掃描可能有幾十個 PDF。 +func TestPDF_連續多檔不爆(t *testing.T) { + data, err := os.ReadFile(chromePDF) + if err != nil { + t.Skip("無測資") + } + for i := 0; i < 3; i++ { + got, err := ConvertToText("a.pdf", data) + if err != nil { + t.Fatalf("第 %d 次失敗: %v", i+1, err) + } + if !strings.Contains(got, "船舶維修合約書") { + t.Fatalf("第 %d 次內容不對", i+1) + } + } +} diff --git a/go.mod b/go.mod index 8b2033d..6db49b1 100644 --- a/go.mod +++ b/go.mod @@ -2,4 +2,12 @@ module arcrun-rag/collector go 1.25.0 -require golang.org/x/text v0.40.0 // indirect +require ( + github.com/google/uuid v1.6.0 // indirect + github.com/jolestar/go-commons-pool/v2 v2.1.2 // indirect + github.com/klippa-app/go-pdfium v1.19.5 // indirect + github.com/tetratelabs/wazero v1.12.0 // indirect + golang.org/x/net v0.57.0 // indirect + golang.org/x/sys v0.47.0 // indirect + golang.org/x/text v0.40.0 // indirect +) diff --git a/go.sum b/go.sum index 7ae431d..2087d56 100644 --- a/go.sum +++ b/go.sum @@ -1,2 +1,22 @@ +github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= +github.com/fortytw2/leaktest v1.3.0/go.mod h1:jDsjWgpAGjm2CA7WthBh/CdZYEPF31XHquHwclZch5g= +github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0= +github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= +github.com/jolestar/go-commons-pool/v2 v2.1.2 h1:E+XGo58F23t7HtZiC/W6jzO2Ux2IccSH/yx4nD+J1CM= +github.com/jolestar/go-commons-pool/v2 v2.1.2/go.mod h1:r4NYccrkS5UqP1YQI1COyTZ9UjPJAAGTUxzcsK1kqhY= +github.com/klippa-app/go-pdfium v1.19.5 h1:0TRc47tuumzOB6bkskS6ZP5mhspjAX+iXpvM8pUVKM8= +github.com/klippa-app/go-pdfium v1.19.5/go.mod h1:poSiUJYFicnfT8dazUfVnxcqPlKQxO3aHdGbOa1lG1w= +github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= +github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME= +github.com/stretchr/testify v1.7.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg= +github.com/tetratelabs/wazero v1.12.0 h1:DuWcpNu/FzgEXgGBDp8J1Spc+CWOvvtvVyjKlaZopYU= +github.com/tetratelabs/wazero v1.12.0/go.mod h1:LvKtzl2RqO4gyF27BiXU+nKAjcV8f38U+kP/q2vgxh0= +golang.org/x/net v0.57.0 h1:K5+3DljvIuDG9/Jv9rvyMywYNFCQ9RSUY6OOTTkT+tE= +golang.org/x/net v0.57.0/go.mod h1:KpXc8iv+r3XplLAG/f7Jsf9RPszJzdR0f58q9vGOuEU= +golang.org/x/sys v0.47.0 h1:o7XGOvZQCADBQQ4Y7VNq2dRWQR7JmOUW8Kxx4ZsNgWs= +golang.org/x/sys v0.47.0/go.mod h1:4GL1E5IUh+htKOUEOaiffhrAeqysfVGipDYzABqnCmw= golang.org/x/text v0.40.0 h1:Ub2Z6/xjgF1WrYQz2nuITOEegKFtiIy+rieRJ5lHZKs= golang.org/x/text v0.40.0/go.mod h1:hpnzDAfGV753zIKo+wk3u1bVKCGPbrnF7+7LBF/UHVY= +gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0= +gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=