Web Fetch
web_fetch 工具執行純 HTTP GET 並擷取可讀內容(HTML 轉 markdown 或文字)。它不會執行 JavaScript。
對於 JS 重型網站或受登入保護的頁面,改為使用 Web Browser。
快速入門
web_fetch 預設啟用 — 不需要設定。代理可以立即呼叫它:
工具參數
其運作原理
1
擷取
使用類似 Chrome 的 User-Agent 和
Accept-Language 標頭傳送 HTTP GET。封鎖私人/內部主機名稱並重新檢查重新導向。2
擷取
在 HTML 回應上執行 Readability(主內容擷取)。
3
備用(選用)
如果 Readability 失敗且 Firecrawl 已設定,透過 Firecrawl API 與機器人規避模式重試。
4
快取
結果快取 15 分鐘(可設定)以減少相同 URL 的重複擷取。
設定
Firecrawl 備用
如果 Readability 擷取失敗,web_fetch 可以備用到 Firecrawl 進行機器人規避和更好的擷取:
tools.web.fetch.firecrawl.apiKey 支援 SecretRef 物件。
如果 Firecrawl 已啟用且其 SecretRef 未解析且無
FIRECRAWL_API_KEY 環境備用,gateway 啟動會快速失敗。限制和安全
maxChars被限制為tools.web.fetch.maxCharsCap- 回應主體在解析前被限制於
maxResponseBytes;超大回應會被截斷並警告 - 私人/內部主機名稱會被封鎖
- 重新導向會被檢查並由
maxRedirects限制 web_fetch是盡力而為 — 某些網站需要 Web Browser
工具設定檔
如果你使用工具設定檔或允許清單,新增web_fetch 或 group:web:
相關
- 網路搜尋 — 用多個提供者搜尋網路
- Web Browser — JS 重型網站的完整瀏覽器自動化
- Firecrawl — Firecrawl 搜尋和抓取工具