n8n 爬蟲架構革命：用 Sub-Workflow 打造模組化、可複用、易維護的爬蟲大軍

當你的 n8n 爬蟲專案從抓取單一網站，演變成需要同時監控數十個不同來源、處理複雜的反爬蟲機制、並將結果寫入多個不同目的地的龐大系統時，你可能會發現你的工作流 (Workflow) 變得像一頭難以駕馭的巨獸。

牽一髮動全身： 整個爬蟲的所有邏輯——獲取目標、處理 Cookie、抓取 HTML、解析資料、儲存結果——全部擠在同一個畫布上。你只是想修改其中一個網站的 CSS Selector，卻要小心翼翼，深怕動到其他不相關的節點。
難以除錯： 當流程失敗時，你很難快速定位問題點，究竟是目標列表生成錯誤、Proxy IP 失效，還是資料庫寫入失敗？
無法複用： 你在 A 爬蟲中精心撰寫的「Dcard 登入與 Cookie 管理」邏輯，現在 B 爬蟲也需要，只好再複製貼上一次，造成大量的重複程式碼。

如果你正深陷於這種「巨獸級爬蟲」的維護惡夢中，那麼你需要的不僅僅是技巧上的優化，而是一場「架構上的革命」。這場革命的核心，就是 n8n 的 Sub-Workflow (子流程) 設計模式。

這篇文章將帶你從「架構師」的視角，重新思考你的 n8n 爬蟲。我們將手把手教你如何將龐大的爬蟲任務，拆解成「調度中心 (Dispatcher)」與「工作單元 (Worker)」的模組化架構，讓你能夠打造出可複用、易維護、且效能與穩定性都大幅提升的專業級爬蟲大軍。

內容目錄

告別「巨獸級爬蟲」：為什麼你的爬蟲流程需要被「拆解」？

將一個龐大的工作流，拆解成多個功能單一、職責明確的子流程，是所有專業軟體工程的基本原則。在 n8n 爬蟲的世界裡，這種「模組化」思維能帶來四大立竿見影的好處：

高度可複用性 (Reusability): 你可以將一個通用的爬蟲邏輯，例如「抓取 PTT 特定看板的文章列表」，打包成一個獨立的子流程。未來，任何需要這個功能的上層應用（無論是每日彙報、關鍵字監控，還是 AI 分析），都只需要呼叫這個子流程即可，完全無需重複開發。
極低的維護成本 (Maintainability): 當 PTT 的網頁結構改變，導致你的 CSS Selector 失效時，你不再需要在 5 個不同的工作流中去修改。你只需要進入那個唯一的「PTT 文章抓取」子流程，修改一次，所有呼叫它的上層應用就全部自動修復了。
清晰的職責分離 (Separation of Concerns): 主流程只負責「該抓什麼 (What)」，而子流程則專注於「如何抓取 (How)」。這種分離讓你的工作流變得極度清晰。當問題發生時，你能快速判斷是「目標列表」生成有誤，還是「抓取模組」本身出了問題。
錯誤隔離與穩定性提升： 在一個巨獸級爬蟲中，任何一個環節的失敗（例如，100 個目標中有 1 個網站無法訪問），都可能導致整個工作流中斷。但在模組化架構中，單一「工作單元」的失敗，可以被「調度中心」捕捉到，並記錄下來，而不會影響其他 99 個任務的繼續執行，大幅提升了整個系統的強固性。

一個專業的 n8n 爬蟲系統，通常由以下幾個核心的模組化工作流所組成：

調度中心 (Dispatcher Workflow): 這是主流程，也是整個爬蟲大軍的「大腦」。它的職責很單純：生成任務清單，並將任務一個個地分派出去。例如，它可能每天早上觸發，從 Google Sheets 或資料庫中讀取今天要爬取的 100 個 URL 列表，然後在一個迴圈中，逐一呼叫「工作單元」。
工作單元 (Worker Sub-Workflow): 這就是我們的爬蟲子流程，是真正幹活的「士兵」。一個設計良好的工作單元，應該具備以下特點：
- 功能單一： 它只負責一件事情，例如「給我一個 URL，我回傳給你該頁面的所有文章標題和連結」。
- 無狀態： 它不應該儲存任何狀態。所有的輸入（如 URL）都來自於調度中心的傳遞，所有的輸出（爬取結果）都回傳給調度中心。
- 可獨立測試： 你可以隨時獨立地測試這個 Worker，確保它的爬取邏輯是正確的。
數據儲存單元 (Saver Sub-Workflow) (可選): 對於更大型的系統，你甚至可以將「儲存資料」這個動作，也打包成一個獨立的子流程。它的職責是：「給我一筆結構化的 JSON 資料，我負責將它寫入到 Google Sheets 或 PostgreSQL 中」。

讓我們來建立一個可重複使用的「PTT 電影版最新文章」抓取器。

建立新工作流，命名為 Sub-Worker - PTT Movie Scraper。
觸發器： 使用 Callable Trigger。
設定觸發器 Description: 這是給 AI Agent（或給未來的你）看的說明書，可以寫：「此子流程用於抓取 PTT 電影版 (movie) 的最新頁面，並回傳文章列表的 JSON 資料。」
爬蟲核心邏輯：
- 將我們在「n8n 爬蟲實戰教學：5 步驟搞定 PTT 電影版」中學到的完整邏輯，搬到這裡來。
- 包含：第一個 HTTP Request (POST 請求以獲取 Cookie)、第二個 HTTP Request (帶著 Cookie 去 GET 頁面 HTML)、以及 HTML Extract (解析 HTML 提取資料)。
回傳結果： 這個工作流的最後一個節點 (HTML Extract) 的輸出，就是會回傳給主流程的結果。
儲存並啟用 (Active) 這個子流程。

建立主工作流，命名為 Main - Daily PTT Report。
觸發器： 使用 Schedule 節點，設定每天早上 8 點觸發。
呼叫子流程：
- 新增 Call Workflow 節點 (或舊版的 Execute Workflow)。
- Workflow: 在下拉選單中，選擇我們剛剛建立的 Sub-Worker - PTT Movie Scraper。
後續處理：
- Call Workflow 節點的輸出，就是 PTT 文章列表的 JSON 陣列。你可以將其連接到 Item Lists 節點進行彙總，或連接到 Slack / Telegram 節點，發送每日情報通知。

現在，你就擁有了一個職責分離的爬蟲系統。如果未來 PTT 改版，你只需要去維護那個 Worker 子流程即可。如果未來你有另一個「PTT 關鍵字監控」的需求，你也可以直接呼叫同一個 Worker，而無需重寫任何爬取邏輯。

根據我們在「n8n 效能優化」文章中提到的觀念，子流程架構還能帶來額外的效能與穩定性好處：

資源隔離： 如果你的 n8n 實例配置了多個 worker (透過 EXECUTIONS_PROCESS 環境變數)，主流程和子流程可能會在不同的進程中執行，實現了一定程度的資源隔離。
更快的開發週期： 由於 Worker 是獨立的，你可以專注地對它進行開發和測試，而無需每次都執行龐大的主流程，大幅縮短了除錯和迭代的時間。
錯誤處理更精準： 你可以在主流程的 Call Workflow 節點上，設定專門的錯誤處理路徑。當子流程失敗時，主流程可以捕捉到這個錯誤，並執行備用邏輯（例如，發送一個「PTT 爬取失敗」的警報），而不會讓整個系統崩潰。