智能网页爬虫Skill:用 Playwright 隐身模式,把被 Cloudflare 保护的网页内容抓下来
先给结论,方便你 30 秒判断是否值得用:
- 它解决的核心问题:普通抓取工具遇到 JavaScript 渲染页面、403 Forbidden、Cloudflare 验证页就失效,这个技能用 Playwright 的两种模式(简单模式 / 隐身模式)分层应对。
- 两种模式分工明确:
playwright-simple.js处理需 JS 渲染的动态站(约 3-5 秒);playwright-stealth.js处理 Cloudflare 等高反爬站点(5-20 秒),会隐藏navigator.webdriver、使用真实设备 User-Agent、随机延迟模拟真人。 - 输出结构统一:网页标题、正文文本、URL、耗时,隐身模式还额外产出截图与 HTML 文件,便于留证与二次解析。
- 有真实测试数据支撑:官方记录在 Discuss.com.hk 上的测试中,隐身模式成功率 100%,而 Crawlee、Chaser(Rust)、Puppeteer 标准模式均失败。
- 不依赖重型框架:官方结论是「纯 Playwright + 反爬技术」比套用高级爬虫框架更不容易被检测。
该技能叫什么?如何一键安装 AI 技能提升开发效率?
基本信息
| 项目 | 内容 |
|---|---|
| 技能中文名 | 智能网页爬虫 |
| 技能英文名 | smart-web-scraper |
| 技能ID | 14356 |
| 版本 | 1.2.0 |
| 作者 | Simon Chan |
| 技术底座 | Playwright(Chromium) |
它到底解决什么问题
日常写代码、做调研、跑数据的人几乎都遇到过这三类问题:
- 页面是 JavaScript 渲染的:用普通的 HTTP 请求抓回来只有一堆空标签,正文拿不到。
- 被反爬拦住:返回 403 Forbidden,或者弹出一个 Cloudflare「正在验证您的浏览器」的页面,永远等不到内容。
- 抓到了但没有证据:只拿到文本,无法证明当时页面长什么样,排查问题时缺少截图。
这个技能的做法不是「一招通吃」,而是按反爬强度分层:轻量场景直接用内置抓取,中等强度用 Playwright 简单模式,高强度对抗用隐身模式。用最小成本解决问题,是它和「上来就启动一个大框架」型方案最大的思路差别。
一键安装的思路与步骤
所谓「一键安装 AI 技能提升开发效率」,本质是把「装环境、装依赖、验证可用」这三件琐事压缩成几条命令,装完以后每次任务只需一行调用。
安装前提:本机具备 Node.js 与 npm 环境(Playwright 依赖 Node 运行时),并已获取到技能目录 playwright-scraper-skill。技能的具体获取入口(技能市场、技能仓库或本地导入)以官方说明为准。
安装步骤(命令来自技能详情,可直接照抄):
# 1. 进入技能目录
cd playwright-scraper-skill
# 2. 安装 Node 依赖
npm install
# 3. 安装 Playwright 使用的 Chromium 浏览器内核
npx playwright install chromium
第 4 步:验证是否生效
node scripts/playwright-simple.js "https://example.com"
如果安装成功,会返回类似下面的 JSON,看到 title、content、elapsedSeconds 就说明链路已经通了:
{
"url": "https://example.com",
"title": "Example Domain",
"content": "...",
"elapsedSeconds": "3.45"
}
第 5 步:验证隐身模式(可选,但建议做一次)
node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"
隐身模式除 JSON 外还会输出截图和 HTML 文件,能拿到这三样,说明反爬能力也已就位。
提示:如果你只是偶尔抓一个普通静态页面,其实不必动用这个技能——OpenClaw 内置的
web_fetch工具更快,这也是技能官方给出的「最佳实践第一条」。
该技能的主要功能和特点
- 双模式分层抓取:
scripts/playwright-simple.js(快、无反爬能力)与scripts/playwright-stealth.js(中等速度、中高反爬能力),按目标网站强度选型,避免「杀鸡用牛刀」。 - 内置反爬虫保护机制:隐藏
navigator.webdriver、使用真实的 iPhone / Android User-Agent、随机延迟模拟真人行为,这三点是官方总结里明确「有效」的措施。 - 结构化输出:统一返回 JSON,包含
url、title、content、elapsedSeconds;隐身模式额外保存截图与 HTML 文件,方便留证和后续解析。 - 支持 JavaScript 渲染:等页面脚本执行完成后再取内容,这是普通 HTTP 抓取工具做不到的部分。
- 环境变量可配置:所有脚本都支持通过环境变量调整行为,无需改代码。
- 附带场景矩阵与排障手册:什么网站用什么方案、403 怎么办、空白页怎么办,技能文档里都有现成答案,省去反复试错。
- 和普通工具比强在哪:普通工具(如纯 HTTP 请求库)遇到 Cloudflare 直接归零;而重型框架(Crawlee、Selenium 一类)自带明显框架指纹,反而更容易被识别。这个技能的优势是「不带框架指纹的 Playwright + 手动加固」,在官方实测中拿到了 100% 成功率。
支持的自定义配置
| 环境变量 | 作用 | 示例 |
|---|---|---|
SCREENSHOT_PATH |
指定截图保存路径 | SCREENSHOT_PATH=/path/to/screenshot.png |
WAIT_TIME |
设置等待时间(毫秒) | WAIT_TIME=10000 |
HEADLESS |
是否显示浏览器界面 | HEADLESS=false |
SAVE_HTML |
是否保存 HTML | SAVE_HTML=true |
USER_AGENT |
自定义 User-Agent | USER_AGENT="Mozilla/5.0 ..." |
如何使用该技能?
下面是可直接照做的分步指南。
第 1 步:先判断目标网站属于哪一档
技能自带「使用场景矩阵」,照表选型即可:
| 目标网站 | 反爬级别 | 推荐方案 | 脚本 |
|---|---|---|---|
| 普通网站 | 低 | web_fetch 工具 |
无需脚本(内置) |
| 动态网站 | 中 | Playwright 简单模式 | scripts/playwright-simple.js |
| Cloudflare 防护网站 | 高 | Playwright 隐身模式 ⭐ | scripts/playwright-stealth.js |
| YouTube | 特殊 | deep-scraper | 需单独安装 |
| 特殊 | reddit-scraper | 需单独安装 |
第 2 步:按档位调用
档位一:普通静态页——直接在内置工具里下指令即可:
# 在 OpenClaw 中直接发起
Hey, fetch me the content from https://example.com
档位二:需要 JavaScript 渲染的动态页:
node scripts/playwright-simple.js "https://example.com"
输出示例:
{
"url": "https://example.com",
"title": "Example Domain",
"content": "...",
"elapsedSeconds": "3.45"
}
档位三:有 Cloudflare 等反爬保护的站点:
node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"
输出为 JSON + 截图 + HTML 文件。
档位四:特殊站点用专用工具——例如 YouTube 视频字幕走 deep-scraper(需单独安装):
# 安装 deep-scraper
npx clawhub install deep-scraper
# 使用
cd skills/deep-scraper
node assets/youtube_handler.js "https://www.youtube.com/watch?v=VIDEO_ID"
第 3 步:用环境变量微调(按需)
# 指定截图路径
SCREENSHOT_PATH=/path/to/screenshot.png node scripts/playwright-stealth.js URL
# 延长等待时间到 10 秒
WAIT_TIME=10000 node scripts/playwright-simple.js URL
# 打开有头模式(有时成功率更高)
HEADLESS=false node scripts/playwright-stealth.js URL
# 顺带保存 HTML
SAVE_HTML=true node scripts/playwright-stealth.js URL
# 自定义 User-Agent
USER_AGENT="Mozilla/5.0 ..." node scripts/playwright-stealth.js URL
第 4 步:遇到问题按文档排障
- 403 Forbidden → 换用
playwright-stealth.js。 - 卡在 Cloudflare 验证页 → ① 增加等待时间到 10-15 秒;② 尝试
HEADLESS=false有头模式;③ 考虑使用代理 IP。 - 抓到空白页 → ① 增加
waitForTimeout;② 使用waitUntil: 'networkidle'或'domcontentloaded';③ 检查目标页是否需要登录。
同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势 | 不足 |
|---|---|---|---|---|---|---|
| 本技能:智能网页爬虫(smart-web-scraper) | 分层式 Playwright 抓取 | 简单模式 + 隐身模式、截图与 HTML 留存、环境变量配置 | 需 Node.js,三条安装命令;调用为单行脚本 | 动态页、Cloudflare 防护站、需要留证的抓取 | 无框架指纹、官方实测 Discuss.com.hk 成功率 100%、输出结构化 | 无内置代理轮换、无验证码处理、无批量并发(均在改进计划中) |
OpenClaw 内置 web_fetch |
轻量内置抓取 | 直接取回页面内容 | 零安装,直接下指令 | 无动态加载的普通站点 | 最快、零成本 | 在 Discuss.com.hk 测试中成功率 0%,不处理 JS 渲染 |
| Puppeteer + stealth 插件 | 通用浏览器自动化 | 无头浏览器控制 + 隐身插件 | 需自行安装配置插件 | 通用自动化与抓取 | 生态成熟、可控性强 | 标准模式在该测试中 403 失败,隐身模式成功率约 80%,低于本技能 |
| Crawlee(deep-scraper) | 爬虫框架 | 完整爬虫框架能力 | 需安装专门技能 npx clawhub install deep-scraper |
YouTube 等特殊站点、大规模任务 | 框架功能完整、适合复杂流程 | 框架特征易被检测,Discuss.com.hk 测试 403 失败;速度慢 |
| Chaser(Rust) | 高性能抓取 | Rust 实现的高速抓取 | 需编译与配置 | 追求速度的场景 | 性能好 | 被 Cloudflare 拦截,测试中失败 |
选型建议:普通页面用内置 web_fetch;需要 JS 渲染上简单模式;被拦截就上隐身模式;YouTube、Reddit 这类平台走专用技能。官方自己的「性能对比」表也印证了这个顺序。
该技能的典型应用场景与实际体验情况
场景一:市场与竞品调研——抓取带 Cloudflare 防护的论坛/社区
- 角色:市场分析、增长运营。
- 痛点:目标社区页面套了 Cloudflare,普通抓取一律 403,只能靠人工复制粘贴,一天下来整理不了几条。
- 使用方式:直接跑
node scripts/playwright-stealth.js "<目标URL>",拿 JSON 里的content做文本分析,同时保留截图作为引用证据。 - 实际体验:官方在 Discuss.com.hk 上的测试记录显示,隐身模式 5 秒返回 200 OK,成功率 100%;同一次测试中 Crawlee 与 Chaser 均被拦截。上手难度低,一条命令即可;注意不同站点响应速度差异较大,遇到验证页先把
WAIT_TIME调到 10-15 秒。
场景二:前端/QA 排查「页面在浏览器里长什么样」
- 角色:前端工程师、测试工程师。
- 痛点:线上问题复现时,截图、HTML 快照、正文三者往往要分开采集,效率低还容易对不上版本。
- 使用方式:
SAVE_HTML=true SCREENSHOT_PATH=/path/to/shot.png node scripts/playwright-stealth.js URL,一次拿到三类产物。 - 实际体验:输出物直接可交付,省掉重复操作。需要注意的是隐身模式耗时在 5-20 秒,做批量排查时要预留时间。
场景三:数据工程获取 JS 渲染后的正文
- 角色:数据分析师、后端工程师。
- 痛点:接口拿不到,页面又必须等脚本渲染完成,纯 HTTP 请求抓回来是空壳。
- 使用方式:先用
playwright-simple.js试探,若能拿到content就到此为止,速度快(约 3-5 秒);失败再升级到隐身模式。 - 实际体验:分层策略非常省时间——官方实测简单模式在该站点成功率仅 20%,但用在普通动态站上完全够用,不必每次开隐身模式。
场景四:内容创作者收集多平台素材
- 角色:内容运营、自媒体。
- 痛点:YouTube 字幕、Reddit 讨论、Twitter 内容各有各的抓法,一个工具搞不定。
- 使用方式:按官方场景矩阵分流——YouTube 走 deep-scraper(
npx clawhub install deep-scraper),Reddit 走 reddit-scraper,Twitter 走 bird skill。 - 实际体验:技能本身不承诺覆盖这些平台,需要额外安装专用技能,属于「组合拳」用法;不要指望一个脚本包打天下,这是使用前必须明确的预期。
该技能能为用户带来的价值
- 把「抓不到」变成「抓得到」:对 Cloudflare 防护站点,官方测试数据是隐身模式 100% 成功,而
web_fetch、Crawlee、Chaser、Puppeteer 标准模式在该场景均为 0%。这中间的差距,就是可用与不可用的差别。 - 把「反复试错」变成「按表选型」:技能内置使用场景矩阵、性能对比表、反爬措施清单(有效 vs 无效)和故障排除手册,新手不必再靠踩坑积累经验。
- 把「多工具切换」变成「一套环境」:安装一次,简单模式与隐身模式共用同一套 Chromium 与依赖,减少重复配置成本。
- 把「只有文本」变成「可复用资产」:JSON + 截图 + HTML 三件套,既能做数据分析,也能留证与二次解析。
- 长期价值:技能本身持续迭代,未来计划包含代理 IP 轮换、Cookie 管理(维持登录态)、验证码处理(2captcha / Anti-Captcha)、批量并行抓取以及与 OpenClaw
browser工具集成——这意味着今天的投入在未来版本中会继续增值。
常见问题 FAQ
Q1:这个技能怎么安装?是不是真的一键?
A:安装是三条命令:cd playwright-scraper-skill、npm install、npx playwright install chromium,前提是本机有 Node.js/npm 环境。装完用 node scripts/playwright-simple.js "https://example.com" 验证,能看到 title 和 content 就说明生效。技能的获取入口(市场/仓库/本地导入)以官方说明为准。
Q2:它收费吗?
A:技能详情中没有提到任何价格信息,因此无法确认是否存在收费环节;如需商用或大规模使用,请以官方说明为准。技术底座 Playwright 本身是开源项目。
Q3:适合谁用?我完全不会写代码能用吗?
A:最适合三类人:需要抓取动态页或受保护站点的开发者、做市场调研与数据分析的运营/分析师、需要页面快照留证的 QA。使用方式就是跑一条命令行脚本,不需要写爬虫代码;但如果完全不熟悉命令行,仍建议先让技术同事帮忙把环境装好。
Q4:和 Puppeteer、Crawlee、Chaser 比该怎么选?
A:看目标站的反爬强度。普通页面用内置 web_fetch(最快);需要 JS 渲染用简单模式;遇到 Cloudflare 就上隐身模式。官方在 Discuss.com.hk 的实测结果是:本技能隐身模式 100% 成功,Puppeteer 隐身模式约 80%,Puppeteer 标准模式、Crawlee、Chaser 均失败。结论是「纯 Playwright + 反爬加固,不依赖重型框架」更稳。
Q5:抓取失败怎么办?
A:按症状对号入座:403 就切隐身模式;卡在 Cloudflare 验证页就把等待时间加到 10-15 秒、尝试 HEADLESS=false 有头模式、必要时用代理 IP;出现空白页就先加 waitForTimeout,再把 waitUntil 改成 'networkidle' 或 'domcontentloaded',并确认目标页是否需要登录。另外请遵守目标站点的 robots 协议与相关法律法规,仅抓取你有权获取的内容。