Claude 与 Skill
给 Claude Code 和 Cursor 换一个能读 JS 渲染页面的 Web Fetch
内置 WebFetch 遇到 JS 渲染页面、Cookie 弹窗或 Google AI Overview 时经常拿到空壳。作者做了一个托管 MCP 服务 webfetch.run,用真实浏览器渲染后返回 markdown,失败不收费。文章给出 Claude Code、Cursor、Claude Desktop 的完整接入配置,并诚实对比了 Jina Reader 和 Firecrawl 的适用场景。
今天就能做
- 先用内置 WebFetch 测一次目标页面,确认真的拿不到内容再上浏览器渲染方案
- 按文中命令给 Claude Code 或 Cursor 加上 webfetch MCP,并让 agent 在 fetch 失败时报错而不是靠记忆回答
- 遇到 blocked 结果时优先把 egress 换成 residential,而不是改 URL 或格式
为什么内置 fetch 不够用
- Google 的 AI Overview 不在首次 HTML 里,文档站先发空壳再水合,营销站把正文藏在同意弹窗后面
- 内置 fetch 适合静态文档,客户端渲染的内容经常返回空白或被拦截
- 作者要的是一次调用完成渲染、换出口重试、返回 markdown 或截图,且失败时不扣费
webfetch.run 是什么
- 一个 MCP 服务器(Streamable HTTP)加一个普通 HTTP API,已收录进官方 MCP Registry
- 两个工具:fetch 传公开 URL 返回 markdown,也可选 html、text、截图、链接、图片、元数据;check_coverage 是免费预检,只验证 URL 格式
- 每次先试普通 HTTP get,成功不扣费;只有动用浏览器、代理或过验证码才计费
- 被拦截或超时返回 $0.00,并在响应里说明原因(blocked、timeout 等),而不是让你猜一个 200
接入配置
- Cursor 在 mcp.json 里配 url 加 X-API-Key 请求头,Claude Desktop 的 claude_desktop_config.json 用同样结构
- 提示词里明确要求从页面回答而不是凭记忆,并要求失败时报错而不是瞎猜
- MCP 工具目前只暴露 url、formats、only_main_content、egress、timeout_ms;waitForSelector、会话回放、JSON schema 抽取只在 HTTP API 上有
和同类工具怎么选
- 先用内置 WebFetch,静态页够用就不折腾
- Jina Reader 适合纯文章转 markdown,但别指望它过同意墙或重 JS 应用
- Firecrawl 适合爬整站(crawl、map、extract),webfetch.run 只做单页:一次一个 URL、含浏览器和代理、失败免费
- 任务是把文档站收进语料库就用爬虫;任务是让 agent 读好手上这一个 URL,单页 fetch 就是全部问题
价格与作者自己承认的坑
- 定价页写成功渲染一次 $0.022,无内容返回 $0.00;但结账尚未开通,免费额度页面自相矛盾(一处说每天 100 次普通抓取,另一处说普通抓取免费不限量加终身 10 次渲染抓取)
- 需要注册拿 API key,比内置 fetch 多一道摩擦
- 托管服务意味着 URL 和渲染内容经过作者的基础设施,要求本地抓取就不合适
- 没有公开 GitHub 仓库,registry 条目仅远程;也没做过对 Firecrawl 或 Jina 的固定基准测试
- 被拦截的页面还是拦截,换 residential 出口能过一些墙,不是所有墙
想试试的话
- 文档在 webfetch.run/docs,作者维护了一份叫 elements.txt 的精简契约放在上下文里
- 注册免费账号(无需信用卡)拿 API key,添加 MCP 服务器
- 拿一个 agent 之前抓失败的页面试一次,看返回的 markdown 或错误信息是否够用
原文:Giving Claude Code and Cursor a web fetch that can read JS-rendered pages
来源:DEV Community · 2026-11-17
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论