搜索结果: "爬虫"
网页内容抓取器Skill web-fetch
网页内容抓取器是一个自动化工具，能够智能获取网页内容并转换为干净的markdown格式。它通过优先识别原生markdown响应，配合CSS选择器精准提取网页正文内容，支持多种知名网站的特殊处理，并提供回退机制确保提取成功率。适用于文档抓取、内容聚合、知识库构建等场景。关键词：网页抓取、HTML转markdown、内容提取、自动化工具、文档处理、爬虫技术、数据采集。
AI搜索与内容提取工具Skill tavily-search
这是一个AI驱动的网络搜索和内容提取工具，能提供相关的、总结性的搜索结果，并从URL中提取干净可读的内容。适用于新闻研究、技术查询和时间敏感信息检索。关键词：AI搜索，内容提取，网络爬虫，信息检索，新闻研究。
Cloudflare浏览器渲染自动化Skill cloudflare-browser-rendering
这个技能用于通过Cloudflare的浏览器渲染API实现无头浏览器自动化，包括截图捕获、PDF生成、网页内容提取和自动化测试。它支持多种集成方式，如REST API、Workers绑定（使用Puppeteer或Playwright）、MCP服务器和AI驱动的自动化，适用于网页爬虫、数据提取、应用测试和AI代理控制。关键词：浏览器自动化、截图、PDF生成、网页爬虫、Cloudflare Workers、无头浏览器、自动化测试、AI驱动。
Firecrawl网页抓取工具Skill firecrawl
Firecrawl 是一款功能强大的网页抓取与数据提取工具。它支持多种操作模式，包括同步抓取网页内容、执行网页搜索、获取网站地图，以及异步爬取整个网站和进行结构化数据提取。该工具设计灵活，参数结构清晰，是自动化数据采集、网页内容分析、市场研究和信息聚合的理想选择。关键词：网页抓取，数据提取，网络爬虫，自动化采集，Firecrawl，数据挖掘，信息聚合。
SEO优化Skill seo
这个技能专注于技术SEO、页面优化和结构化数据，基于Lighthouse SEO审计和Google搜索指南，帮助提高网站的搜索引擎可见性和排名。包括爬虫控制、XML站点地图、URL结构、HTTPS安全、标题标签优化、元描述、图像SEO、内部链接策略、结构化数据（如JSON-LD）实施、移动SEO和国际SEO优化，旨在提升网站在搜索引擎中的表现和用户访问体验。适用于网站开发、内容管理和数字营销领域。
网络爬虫Skill web-scraper
网络爬虫技能用于抓取网页内容并转换为干净的 Markdown 格式，适用于自动化数据提取、文章阅读和信息收集。包含关键词如 Web 抓取、HTML 转换、Markdown、数据爬取、网页解析和自动化脚本。
文档抓取器Skill documentation-scraper
文档抓取器技能用于自动化抓取在线文档网站，并将其编译为单个Markdown文件，专为AI代理提供上下文数据，支持RAG应用。关键词：文档抓取、AI上下文、Markdown编译、网页爬虫、slurp-ai、RAG应用、自动化工具。
Python异步编程模式精通Skill async-python-patterns
此技能专注于Python的异步编程技术，包括asyncio、并发模式和async/await，用于开发高性能、非阻塞的后端应用、Web API和I/O密集型系统。关键词：Python异步编程、asyncio、并发、高性能应用、非阻塞操作、异步API、并发系统、I/O绑定、Web爬虫、实时应用。
Twitter/X数据抓取工具Skill twscrape
twscrape 是一个强大的 Python 库，专门用于高效、大规模地抓取 Twitter（现 X）平台的公开数据。它通过 GraphQL API 和账号轮换机制，支持异步并行抓取推文、用户资料、关注者列表和趋势话题等，是构建社交媒体分析、舆情监控和市场研究工具的利器。关键词：Twitter 数据抓取，X 平台爬虫，社交媒体分析，Python 异步爬虫，账号轮换，GraphQL API，数据采集。
网页抓取器Skill web-scraper
这是一个用于自动化从网页中提取和处理数据的技能。它支持使用CSS选择器和XPath进行智能解析，并内置了速率限制和错误处理机制，确保抓取过程高效、稳定且符合规范。适用于数据采集、竞品分析、价格监控、新闻聚合等场景。关键词：网页抓取，数据提取，HTML解析，自动化工具，网络爬虫，数据采集，信息提取，Puppeteer，Cheerio。
Cloudflare浏览器渲染技能Skill cloudflare-browser-rendering
这个技能是关于使用Cloudflare Browser Rendering服务进行浏览器自动化。它支持通过Puppeteer或Playwright工具在Cloudflare Workers上实现屏幕截图、PDF生成、网页抓取、自动化测试等任务。适用于开发者和企业，用于构建高效、可扩展的云原生应用。关键词：浏览器渲染, Cloudflare, Puppeteer, Playwright, 屏幕截图, PDF生成, 网页抓取, 浏览器自动化, Serverless, 无头浏览器, 网络爬虫
浏览器自动化助手Skill agent-browser
浏览器自动化助手是一款功能强大的网页自动化测试与数据提取工具。它支持自动化导航、表单填写、元素交互、截图录屏、网络监控等操作，广泛应用于Web应用测试、数据抓取、UI自动化、回归测试等场景。核心功能包括：浏览器控制、元素定位、交互模拟、状态管理、性能调试。关键词：浏览器自动化、网页测试、数据提取、UI测试、自动化脚本、Web爬虫、回归测试、端到端测试。