网页抓取技能Skill：让 AI 代理安全、合规地搜索并抓取公开网页
- 一条流水线搞定「搜索 + 抓取 + 结构化」：先用 DuckDuckGo 搜索拿到结果链接，再用无头 Chrome 打开页面，提取标题、描述、正文与规范链接。
- 隐私优先、合规优先：默认尊重
robots.txt，请求限速约 1 请求/秒，使用清晰的 User-Agent，不在页面上执行任意用户脚本。 - 输出即用：结果以结构化 JSON 返回（
url、title、description、text），下游可直接进入摘要、入库、报表等环节。 - 边界清晰：只抓公开内容；遇到需要登录的页面返回
login_required，不尝试绕过付费墙或登录墙。 - 上手成本低：Node 或 Python 环境加一条 Playwright 安装命令即可跑通，适合快速验证与嵌入代理工作流。
1. 该技能叫什么？如何下载安装 AI 技能提升开发效率？
这个技能的中文名是「网页抓取技能Skill」，英文名是 using-web-scraping，技能 ID 为 13104。在技能市场或技能目录中，可以用中文名、英文名或技能 ID 检索定位（具体检索入口与呈现方式以官方说明为准）。
它要解决的问题很具体：当你让 AI 代理去「查一下网上怎么说的」时，代理往往只有两种残缺能力——要么只能凭记忆回答，要么只能拿到搜索引擎摘要，无法真正打开页面读取正文。 网页抓取技能Skill 补齐的正是这一步：把「搜索 → 打开页面 → 抽取正文」串成可复用的标准流程，并且把合规约束（robots.txt、限速、User-Agent）内置进流程，避免代理在无人看管时把目标站点打到限流甚至封禁。
「一键安装」的思路可以拆成两个层面：一是运行环境（浏览器自动化能力），二是技能本体（代理侧的指令与提示）。
步骤一：准备运行环境。 技能依赖无头 Chrome（Playwright 或 Puppeteer），请先确认本机或服务器已安装 Node.js 或 Python。
步骤二：安装浏览器自动化依赖。 技能详情给出的快速设置如下（以官方说明为准）：
- Node 环境：
npm i playwright，随后执行npx playwright install下载浏览器二进制文件。 - Python 环境：
pip install playwright，随后执行playwright install。
步骤三：将技能加入你的代理/工作环境。 通过技能 ID 13104 或英文名 using-web-scraping 添加该技能，具体命令或界面入口以官方说明为准。
步骤四：验证是否生效。 用一个简单查询做冒烟测试，例如让它搜索「open-source agent runtimes」，如果返回的是一段包含 url、title、description、text 字段的 JSON 数组，说明搜索与抓取链路已经打通；如果返回空数组，优先检查浏览器二进制是否安装成功、网络是否可达 DuckDuckGo；如果超时，检查目标页是否需要登录或加载过慢。
2. 该技能的主要功能和特点
- DuckDuckGo 搜索取链接：输入查询词，返回排名靠前的结果链接（前 N 条），作为后续抓取的入口。相较常见的搜索源，DuckDuckGo 更强调隐私，适合不想把查询行为过度暴露、也不想被个性化推荐干扰的场景。
- 无头 Chrome 打开页面并抽取字段：在无头浏览器中访问结果页，提取
title、meta description、主内容文本（main或尽力提取的文章正文）以及canonical规范 URL。这比单纯拿搜索摘要信息量大得多，也更利于做摘要与事实核对。 - 结构化 JSON 输出：统一返回
[{url, title, description, text}]形状的数据，方便下游程序直接消费，不需要为每个站点写一套解析规则。 - 内置安全与礼仪约束：抓取前检查并尊重
/robots.txt；请求限速（默认 1 请求/秒）；使用礼貌且可识别的User-Agent字符串；避免在抓取页面上执行任意用户提供的 JavaScript。 - 明确的能力边界：只处理公开内容；遇到需要认证的页面返回
login_required，而不是尝试绕过登录或付费墙。这一点让它在团队协作与合规审查中更容易被接受。 - 附带代理提示模板：技能详情提供了一段可直接复制的代理提示词，把「搜索—打开—抽取—限速」的行为规则一次性写进代理的系统提示，省去反复调试。
- 针对文本场景的优化建议：在只需要文本时，可用
page.route拦截图片、字体等大体积资源，显著降低带宽与耗时；对失败重试建议引入指数退避。
和普通工具的差别在于：普通的爬虫库只提供「怎么发请求」的原语，而网页抓取技能Skill 提供的是「拿到一份可用于回答问题的网页资料」的完整行为规范，并且把合规红线写死在流程里。
3. 如何使用该技能？
步骤 1：明确任务意图。 建议用 search: 前缀或自然语言表达检索需求，例如「search: open-source agent runtimes」，让代理知道这是一个需要联网检索并读取正文的任务，而不是凭记忆作答。
步骤 2：触发搜索。 技能会打开 DuckDuckGo，填入查询词并提交，等待结果列表加载完成后收集结果链接。
步骤 3：逐页抓取并抽取字段。 对每个结果链接打开页面，等待 DOM 加载完成，然后依次读取标题、meta description、主内容文本和 canonical 链接。
步骤 4：拿到结构化结果。 返回形如：
[
{
"url": "https://example.com/article",
"title": "页面标题",
"description": "页面的 meta 描述",
"text": "页面主内容正文……",
"canonical": "https://example.com/article"
}
]
若目标页面需要登录，则应返回 login_required 标记，提示你换用其他公开来源。
步骤 5：按需调优。 只需要文本时，用 page.route 拦截图片、字体等资源；批量抓取时把并发压到限速阈值以内；对偶发失败加入指数退避重试，而不是立即高频重试。
步骤 6（可选）：把规则固化进代理。 直接复用技能自带的代理提示模板，把「使用 DuckDuckGo 搜索、无头浏览器打开、提取四类字段、尊重 robots.txt、限速 1 请求/秒、使用清晰 User-Agent、不执行任意页面 JS、返回 JSON 或 login_required」这套规则写进代理说明，后续每个会话都能保持一致行为。
4. 同类型竞品对比分析
| 方案名称 | 定位 | 核心功能 | 安装/使用门槛 | 适用场景 | 优势与不足 |
|---|---|---|---|---|---|
网页抓取技能Skill（using-web-scraping） |
面向 AI 代理的合规检索+正文抽取技能 | DuckDuckGo 搜索、无头 Chrome 抓取、标题/描述/正文/canonical 抽取、JSON 输出、内置限速与 robots 检查 | 低，Node 或 Python 加一条 Playwright 安装命令即可，具体以官方说明为准 | 代理联网检索、内容摘要、元数据审计、轻量调研 | 优势：流程完整、合规约束内建、输出可直接消费；不足：能力聚焦文本，不做复杂交互与反爬对抗 |
| 通用爬虫框架（如 Scrapy 类） | 工程化批量采集框架 | 调度、去重、管道、中间件，可自定义深度与并发 | 中高，需要自行编写解析规则与调度策略 | 大规模站点采集、周期性数据管道 | 优势：吞吐与可维护性强；不足：无搜索环节，合规与限速需自行实现，上手重 |
| 浏览器自动化脚本（自己写 Playwright/Puppeteer） | 完全自定义的自动化 | 任意页面交互、点击、滚动、表单 | 中，需要自己设计字段抽取与异常处理 | 复杂交互页面、定制化流程 | 优势：灵活度最高；不足：每个站点都要单独适配，缺少统一的合规与限速约定 |
| 商业抓取/解析 API 服务 | 托管式抓取与正文解析 | 代理池、渲染、正文提取、结构化返回 | 低，注册与调用为主，通常按量计费（以官方说明为准） | 对稳定性与规模要求高的生产环境 | 优势：省运维、抗封能力强；不足：有持续成本、数据出境与隐私需评估、可定制性受限 |
选择建议：如果你要的是「让代理把网上公开内容读进上下文」，网页抓取技能Skill 属于开箱即用的一档；如果是固定站点的深度采集，自写脚本或爬虫框架更合适；如果是生产级高并发采集，商业 API 更省心。
5. 该技能的典型应用场景与实际体验情况
场景一：市场与竞品调研。 产品经理需要快速了解某个赛道的最新动态，痛点是搜索结果零散、逐条点开耗时。使用方式是让代理执行若干条 search: 查询，抓取前几名的标题与正文，汇总成要点。实际体验：上手几乎零学习成本，返回的 title 加 text 已经足够做摘要；注意单个站点的正文提取质量参差，结构化较强的站点效果好，纯前端渲染且正文分散的页面可能需要人工补一眼。
场景二：内容摘要与知识库构建。 运营或研究岗位需要把一批公开文章转成可检索的素材。使用方式是批量查询后把 text 与 url、canonical 一起落库，便于去重与溯源。实际体验：canonical 字段在去重上非常实用，能避免同一篇文章多个链接重复入库；限速 1 请求/秒意味着批量任务的耗时是可预期的，不会因为突发流量被站点拦截。
场景三：SEO 与元数据审计。 前端或 SEO 同学需要检查自家多个页面与竞品页面的标题长度、描述是否缺失。使用方式是让代理抓取目标页面，直接比对 title 与 description 字段。实际体验：字段抽取是技能的原生能力，不需要额外写解析器；但 description 缺失时会返回空值，需要在报表侧做好兜底处理。
场景四：为代理工具做原型验证。 开发者在做一个联网问答或研究型代理，需要快速验证「检索 + 阅读」链路是否跑得通。使用方式是先用示例查询跑通端到端流程，再把代理提示模板固化进系统提示。实际体验：依赖安装是唯一稍有门槛的环节，主要卡在浏览器二进制下载；一旦装好，后续迭代非常轻。
整体体验小结：上手难度低，效果在「公开、以文本为主的资讯类页面」上最稳；注意事项集中在三点——务必先确认 robots.txt、批量任务控制在限速以内、遇到登录墙就换来源而不是想办法绕。
6. 该技能能为用户带来的价值
- 把「查资料」从手工动作变成可编程能力：过去需要人工搜索、点开、复制粘贴，现在一次调用即可拿到结构化正文，整条链路从分钟级压缩到秒级。
- 降低联网代理的开发门槛：搜索、渲染、字段抽取、限速、合规检查这五件事原本需要分别实现，现在由技能统一承担，开发者只需关注提示设计与下游处理。
- 降低合规与运营风险：内置的
robots.txt尊重、1 请求/秒限速、可识别 User-Agent 与不执行任意页面脚本，让抓取行为更容易通过团队审查，也减少被封 IP 的隐性成本。 - 提升数据可用性：统一的 JSON 结构与
canonical字段，让去重、溯源、入库都更简单，后续做摘要、聚类、报表时不需要二次清洗数据形状。 - 长期价值：这套行为规范一旦固化进代理提示，可以复用到内容监控、选题调研、竞品跟踪等长期例行任务中，边际成本持续下降。
7. 常见问题 FAQ
Q1：怎么安装这个技能？需要什么前置条件？
A：先准备 Node.js 或 Python 环境，再安装 Playwright（Node 用 npm i playwright 并执行 npx playwright install；Python 用 pip install playwright 并执行 playwright install），最后通过技能 ID 13104 或英文名 using-web-scraping 将技能加入你的代理环境，具体入口与命令以官方说明为准。验证方式是用一条简单查询跑通，看是否返回带 url、title、description、text 的 JSON。
Q2：这个技能收费吗？ A：技能本身通常随技能市场或代理平台的分发方式而定，是否收费、如何计费请以官方说明为准。需要留意的是，它使用的是本机无头浏览器与 DuckDuckGo 搜索，不依赖付费搜索 API 密钥。
Q3：它能抓取需要登录的页面或付费内容吗？
A：不能，也不建议。技能明确只抓公开内容，遇到需要登录的页面会返回 login_required，而不是尝试绕过。这样设计是为了避免违反站点服务条款。
Q4：抓取会不会把目标网站打挂或被封？
A：技能内置了默认约 1 请求/秒的限速、礼貌的 User-Agent，并要求抓取前检查 robots.txt。批量任务建议把并发控制在限速阈值内，对失败请求使用指数退避重试，而不是立即高频重试。
Q5：它和直接写 Playwright 脚本、或使用商业抓取 API 相比怎么选？ A：想让 AI 代理「自动查资料并把正文读进来」，选这个技能最省事；需要针对固定站点做复杂交互与深度采集，自写脚本更灵活；追求高并发稳定性和免运维，商业抓取 API 更合适。三者也可以组合：用技能做检索入口，用自写脚本处理顽固站点。