技能使用指南

smart-web-scraper(智能网页爬虫)Skill 是什么?

智能网页爬虫Skill基于Playwright,内置简单模式与隐身模式,可抓取JavaScript渲染页面并绕过Cloudflare等反爬机制,输出标题、正文、截图与HTML。本文详解一键安装步骤、调用方法、竞品对比与排障技巧,帮你快速上手网页抓取。

智能网页爬虫Skillsmart-web-scraper
20 个章节 约 19 分钟阅读 AI 智能生成

智能网页爬虫Skill:用 Playwright 隐身模式,把被 Cloudflare 保护的网页内容抓下来

先给结论,方便你 30 秒判断是否值得用:

  • 它解决的核心问题:普通抓取工具遇到 JavaScript 渲染页面、403 Forbidden、Cloudflare 验证页就失效,这个技能用 Playwright 的两种模式(简单模式 / 隐身模式)分层应对。
  • 两种模式分工明确:playwright-simple.js 处理需 JS 渲染的动态站(约 3-5 秒);playwright-stealth.js 处理 Cloudflare 等高反爬站点(5-20 秒),会隐藏 navigator.webdriver、使用真实设备 User-Agent、随机延迟模拟真人。
  • 输出结构统一:网页标题、正文文本、URL、耗时,隐身模式还额外产出截图与 HTML 文件,便于留证与二次解析。
  • 有真实测试数据支撑:官方记录在 Discuss.com.hk 上的测试中,隐身模式成功率 100%,而 Crawlee、Chaser(Rust)、Puppeteer 标准模式均失败。
  • 不依赖重型框架:官方结论是「纯 Playwright + 反爬技术」比套用高级爬虫框架更不容易被检测。

该技能叫什么?如何一键安装 AI 技能提升开发效率?

基本信息

项目 内容
技能中文名 智能网页爬虫
技能英文名 smart-web-scraper
技能ID 14356
版本 1.2.0
作者 Simon Chan
技术底座 Playwright(Chromium)

它到底解决什么问题

日常写代码、做调研、跑数据的人几乎都遇到过这三类问题:

  1. 页面是 JavaScript 渲染的:用普通的 HTTP 请求抓回来只有一堆空标签,正文拿不到。
  2. 被反爬拦住:返回 403 Forbidden,或者弹出一个 Cloudflare「正在验证您的浏览器」的页面,永远等不到内容。
  3. 抓到了但没有证据:只拿到文本,无法证明当时页面长什么样,排查问题时缺少截图。

这个技能的做法不是「一招通吃」,而是按反爬强度分层:轻量场景直接用内置抓取,中等强度用 Playwright 简单模式,高强度对抗用隐身模式。用最小成本解决问题,是它和「上来就启动一个大框架」型方案最大的思路差别。

一键安装的思路与步骤

所谓「一键安装 AI 技能提升开发效率」,本质是把「装环境、装依赖、验证可用」这三件琐事压缩成几条命令,装完以后每次任务只需一行调用。

安装前提:本机具备 Node.js 与 npm 环境(Playwright 依赖 Node 运行时),并已获取到技能目录 playwright-scraper-skill。技能的具体获取入口(技能市场、技能仓库或本地导入)以官方说明为准。

安装步骤(命令来自技能详情,可直接照抄):

# 1. 进入技能目录
cd playwright-scraper-skill

# 2. 安装 Node 依赖
npm install

# 3. 安装 Playwright 使用的 Chromium 浏览器内核
npx playwright install chromium

第 4 步:验证是否生效

node scripts/playwright-simple.js "https://example.com"

如果安装成功,会返回类似下面的 JSON,看到 title、content、elapsedSeconds 就说明链路已经通了:

{
  "url": "https://example.com",
  "title": "Example Domain",
  "content": "...",
  "elapsedSeconds": "3.45"
}

第 5 步:验证隐身模式(可选,但建议做一次)

node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"

隐身模式除 JSON 外还会输出截图和 HTML 文件,能拿到这三样,说明反爬能力也已就位。

提示:如果你只是偶尔抓一个普通静态页面,其实不必动用这个技能——OpenClaw 内置的 web_fetch 工具更快,这也是技能官方给出的「最佳实践第一条」。


该技能的主要功能和特点

  • 双模式分层抓取:scripts/playwright-simple.js(快、无反爬能力)与 scripts/playwright-stealth.js(中等速度、中高反爬能力),按目标网站强度选型,避免「杀鸡用牛刀」。
  • 内置反爬虫保护机制:隐藏 navigator.webdriver、使用真实的 iPhone / Android User-Agent、随机延迟模拟真人行为,这三点是官方总结里明确「有效」的措施。
  • 结构化输出:统一返回 JSON,包含 url、title、content、elapsedSeconds;隐身模式额外保存截图与 HTML 文件,方便留证和后续解析。
  • 支持 JavaScript 渲染:等页面脚本执行完成后再取内容,这是普通 HTTP 抓取工具做不到的部分。
  • 环境变量可配置:所有脚本都支持通过环境变量调整行为,无需改代码。
  • 附带场景矩阵与排障手册:什么网站用什么方案、403 怎么办、空白页怎么办,技能文档里都有现成答案,省去反复试错。
  • 和普通工具比强在哪:普通工具(如纯 HTTP 请求库)遇到 Cloudflare 直接归零;而重型框架(Crawlee、Selenium 一类)自带明显框架指纹,反而更容易被识别。这个技能的优势是「不带框架指纹的 Playwright + 手动加固」,在官方实测中拿到了 100% 成功率。

支持的自定义配置

环境变量 作用 示例
SCREENSHOT_PATH 指定截图保存路径 SCREENSHOT_PATH=/path/to/screenshot.png
WAIT_TIME 设置等待时间(毫秒) WAIT_TIME=10000
HEADLESS 是否显示浏览器界面 HEADLESS=false
SAVE_HTML 是否保存 HTML SAVE_HTML=true
USER_AGENT 自定义 User-Agent USER_AGENT="Mozilla/5.0 ..."

如何使用该技能?

下面是可直接照做的分步指南。

第 1 步:先判断目标网站属于哪一档

技能自带「使用场景矩阵」,照表选型即可:

目标网站 反爬级别 推荐方案 脚本
普通网站 低 web_fetch 工具 无需脚本(内置)
动态网站 中 Playwright 简单模式 scripts/playwright-simple.js
Cloudflare 防护网站 高 Playwright 隐身模式 ⭐ scripts/playwright-stealth.js
YouTube 特殊 deep-scraper 需单独安装
Reddit 特殊 reddit-scraper 需单独安装

第 2 步:按档位调用

档位一:普通静态页——直接在内置工具里下指令即可:

# 在 OpenClaw 中直接发起
Hey, fetch me the content from https://example.com

档位二:需要 JavaScript 渲染的动态页:

node scripts/playwright-simple.js "https://example.com"

输出示例:

{
  "url": "https://example.com",
  "title": "Example Domain",
  "content": "...",
  "elapsedSeconds": "3.45"
}

档位三:有 Cloudflare 等反爬保护的站点:

node scripts/playwright-stealth.js "https://m.discuss.com.hk/#hot"

输出为 JSON + 截图 + HTML 文件。

档位四:特殊站点用专用工具——例如 YouTube 视频字幕走 deep-scraper(需单独安装):

# 安装 deep-scraper
npx clawhub install deep-scraper

# 使用
cd skills/deep-scraper
node assets/youtube_handler.js "https://www.youtube.com/watch?v=VIDEO_ID"

第 3 步:用环境变量微调(按需)

# 指定截图路径
SCREENSHOT_PATH=/path/to/screenshot.png node scripts/playwright-stealth.js URL

# 延长等待时间到 10 秒
WAIT_TIME=10000 node scripts/playwright-simple.js URL

# 打开有头模式(有时成功率更高)
HEADLESS=false node scripts/playwright-stealth.js URL

# 顺带保存 HTML
SAVE_HTML=true node scripts/playwright-stealth.js URL

# 自定义 User-Agent
USER_AGENT="Mozilla/5.0 ..." node scripts/playwright-stealth.js URL

第 4 步:遇到问题按文档排障

  • 403 Forbidden → 换用 playwright-stealth.js。
  • 卡在 Cloudflare 验证页 → ① 增加等待时间到 10-15 秒;② 尝试 HEADLESS=false 有头模式;③ 考虑使用代理 IP。
  • 抓到空白页 → ① 增加 waitForTimeout;② 使用 waitUntil: 'networkidle' 或 'domcontentloaded';③ 检查目标页是否需要登录。

同类型竞品对比分析

方案名称 定位 核心功能 安装/使用门槛 适用场景 优势 不足
本技能:智能网页爬虫(smart-web-scraper) 分层式 Playwright 抓取 简单模式 + 隐身模式、截图与 HTML 留存、环境变量配置 需 Node.js,三条安装命令;调用为单行脚本 动态页、Cloudflare 防护站、需要留证的抓取 无框架指纹、官方实测 Discuss.com.hk 成功率 100%、输出结构化 无内置代理轮换、无验证码处理、无批量并发(均在改进计划中)
OpenClaw 内置 web_fetch 轻量内置抓取 直接取回页面内容 零安装,直接下指令 无动态加载的普通站点 最快、零成本 在 Discuss.com.hk 测试中成功率 0%,不处理 JS 渲染
Puppeteer + stealth 插件 通用浏览器自动化 无头浏览器控制 + 隐身插件 需自行安装配置插件 通用自动化与抓取 生态成熟、可控性强 标准模式在该测试中 403 失败,隐身模式成功率约 80%,低于本技能
Crawlee(deep-scraper) 爬虫框架 完整爬虫框架能力 需安装专门技能 npx clawhub install deep-scraper YouTube 等特殊站点、大规模任务 框架功能完整、适合复杂流程 框架特征易被检测,Discuss.com.hk 测试 403 失败;速度慢
Chaser(Rust) 高性能抓取 Rust 实现的高速抓取 需编译与配置 追求速度的场景 性能好 被 Cloudflare 拦截,测试中失败

选型建议:普通页面用内置 web_fetch;需要 JS 渲染上简单模式;被拦截就上隐身模式;YouTube、Reddit 这类平台走专用技能。官方自己的「性能对比」表也印证了这个顺序。


该技能的典型应用场景与实际体验情况

场景一:市场与竞品调研——抓取带 Cloudflare 防护的论坛/社区

  • 角色:市场分析、增长运营。
  • 痛点:目标社区页面套了 Cloudflare,普通抓取一律 403,只能靠人工复制粘贴,一天下来整理不了几条。
  • 使用方式:直接跑 node scripts/playwright-stealth.js "<目标URL>",拿 JSON 里的 content 做文本分析,同时保留截图作为引用证据。
  • 实际体验:官方在 Discuss.com.hk 上的测试记录显示,隐身模式 5 秒返回 200 OK,成功率 100%;同一次测试中 Crawlee 与 Chaser 均被拦截。上手难度低,一条命令即可;注意不同站点响应速度差异较大,遇到验证页先把 WAIT_TIME 调到 10-15 秒。

场景二:前端/QA 排查「页面在浏览器里长什么样」

  • 角色:前端工程师、测试工程师。
  • 痛点:线上问题复现时,截图、HTML 快照、正文三者往往要分开采集,效率低还容易对不上版本。
  • 使用方式:SAVE_HTML=true SCREENSHOT_PATH=/path/to/shot.png node scripts/playwright-stealth.js URL,一次拿到三类产物。
  • 实际体验:输出物直接可交付,省掉重复操作。需要注意的是隐身模式耗时在 5-20 秒,做批量排查时要预留时间。

场景三:数据工程获取 JS 渲染后的正文

  • 角色:数据分析师、后端工程师。
  • 痛点:接口拿不到,页面又必须等脚本渲染完成,纯 HTTP 请求抓回来是空壳。
  • 使用方式:先用 playwright-simple.js 试探,若能拿到 content 就到此为止,速度快(约 3-5 秒);失败再升级到隐身模式。
  • 实际体验:分层策略非常省时间——官方实测简单模式在该站点成功率仅 20%,但用在普通动态站上完全够用,不必每次开隐身模式。

场景四:内容创作者收集多平台素材

  • 角色:内容运营、自媒体。
  • 痛点:YouTube 字幕、Reddit 讨论、Twitter 内容各有各的抓法,一个工具搞不定。
  • 使用方式:按官方场景矩阵分流——YouTube 走 deep-scraper(npx clawhub install deep-scraper),Reddit 走 reddit-scraper,Twitter 走 bird skill。
  • 实际体验:技能本身不承诺覆盖这些平台,需要额外安装专用技能,属于「组合拳」用法;不要指望一个脚本包打天下,这是使用前必须明确的预期。

该技能能为用户带来的价值

  • 把「抓不到」变成「抓得到」:对 Cloudflare 防护站点,官方测试数据是隐身模式 100% 成功,而 web_fetch、Crawlee、Chaser、Puppeteer 标准模式在该场景均为 0%。这中间的差距,就是可用与不可用的差别。
  • 把「反复试错」变成「按表选型」:技能内置使用场景矩阵、性能对比表、反爬措施清单(有效 vs 无效)和故障排除手册,新手不必再靠踩坑积累经验。
  • 把「多工具切换」变成「一套环境」:安装一次,简单模式与隐身模式共用同一套 Chromium 与依赖,减少重复配置成本。
  • 把「只有文本」变成「可复用资产」:JSON + 截图 + HTML 三件套,既能做数据分析,也能留证与二次解析。
  • 长期价值:技能本身持续迭代,未来计划包含代理 IP 轮换、Cookie 管理(维持登录态)、验证码处理(2captcha / Anti-Captcha)、批量并行抓取以及与 OpenClaw browser 工具集成——这意味着今天的投入在未来版本中会继续增值。

常见问题 FAQ

Q1:这个技能怎么安装?是不是真的一键?

A:安装是三条命令:cd playwright-scraper-skill、npm install、npx playwright install chromium,前提是本机有 Node.js/npm 环境。装完用 node scripts/playwright-simple.js "https://example.com" 验证,能看到 title 和 content 就说明生效。技能的获取入口(市场/仓库/本地导入)以官方说明为准。

Q2:它收费吗?

A:技能详情中没有提到任何价格信息,因此无法确认是否存在收费环节;如需商用或大规模使用,请以官方说明为准。技术底座 Playwright 本身是开源项目。

Q3:适合谁用?我完全不会写代码能用吗?

A:最适合三类人:需要抓取动态页或受保护站点的开发者、做市场调研与数据分析的运营/分析师、需要页面快照留证的 QA。使用方式就是跑一条命令行脚本,不需要写爬虫代码;但如果完全不熟悉命令行,仍建议先让技术同事帮忙把环境装好。

Q4:和 Puppeteer、Crawlee、Chaser 比该怎么选?

A:看目标站的反爬强度。普通页面用内置 web_fetch(最快);需要 JS 渲染用简单模式;遇到 Cloudflare 就上隐身模式。官方在 Discuss.com.hk 的实测结果是:本技能隐身模式 100% 成功,Puppeteer 隐身模式约 80%,Puppeteer 标准模式、Crawlee、Chaser 均失败。结论是「纯 Playwright + 反爬加固,不依赖重型框架」更稳。

Q5:抓取失败怎么办?

A:按症状对号入座:403 就切隐身模式;卡在 Cloudflare 验证页就把等待时间加到 10-15 秒、尝试 HEADLESS=false 有头模式、必要时用代理 IP;出现空白页就先加 waitForTimeout,再把 waitUntil 改成 'networkidle' 或 'domcontentloaded',并确认目标页是否需要登录。另外请遵守目标站点的 robots 协议与相关法律法规,仅抓取你有权获取的内容。