搜索结果: "爬虫"
Firecrawl网页抓取工具Skill firecrawl
Firecrawl 是一款功能强大的网页抓取与数据提取工具。它支持多种操作模式，包括同步抓取网页内容、执行网页搜索、获取网站地图，以及异步爬取整个网站和进行结构化数据提取。该工具设计灵活，参数结构清晰，是自动化数据采集、网页内容分析、市场研究和信息聚合的理想选择。关键词：网页抓取，数据提取，网络爬虫，自动化采集，Firecrawl，数据挖掘，信息聚合。
网络浏览器自动化Skill web-browser
网络浏览器自动化技能，基于 Chrome/Chromium 的 CDP 协议，提供网页导航、表单交互、JavaScript 执行、内容抓取、屏幕截图、UI 验证和性能基准测试功能，适用于前端开发、自动化测试和性能优化。关键词：浏览器自动化、Chrome CDP、网页测试、性能基准、JavaScript、爬虫、UI 验证。
AI搜索与内容提取工具Skill tavily-search
这是一个AI驱动的网络搜索和内容提取工具，能提供相关的、总结性的搜索结果，并从URL中提取干净可读的内容。适用于新闻研究、技术查询和时间敏感信息检索。关键词：AI搜索，内容提取，网络爬虫，信息检索，新闻研究。
文档抓取器Skill documentation-scraper
文档抓取器技能用于自动化抓取在线文档网站，并将其编译为单个Markdown文件，专为AI代理提供上下文数据，支持RAG应用。关键词：文档抓取、AI上下文、Markdown编译、网页爬虫、slurp-ai、RAG应用、自动化工具。
Python异步编程模式精通Skill async-python-patterns
此技能专注于Python的异步编程技术，包括asyncio、并发模式和async/await，用于开发高性能、非阻塞的后端应用、Web API和I/O密集型系统。关键词：Python异步编程、asyncio、并发、高性能应用、非阻塞操作、异步API、并发系统、I/O绑定、Web爬虫、实时应用。
网页抓取器Skill web-scraper
这是一个用于自动化从网页中提取和处理数据的技能。它支持使用CSS选择器和XPath进行智能解析，并内置了速率限制和错误处理机制，确保抓取过程高效、稳定且符合规范。适用于数据采集、竞品分析、价格监控、新闻聚合等场景。关键词：网页抓取，数据提取，HTML解析，自动化工具，网络爬虫，数据采集，信息提取，Puppeteer，Cheerio。
抓取文章Skill scrape-posts
此技能用于从Milan Jovanovic的.NET博客优化抓取新文章，通过预筛选列表页面，仅抓取新增或更新的内容，以减少API请求并提升效率。关键词：博客抓取、数据自动化、内容管理、SEO优化、网络爬虫、节省成本。
网络爬虫Skill web-scraper
网络爬虫技能用于抓取网页内容并转换为干净的 Markdown 格式，适用于自动化数据提取、文章阅读和信息收集。包含关键词如 Web 抓取、HTML 转换、Markdown、数据爬取、网页解析和自动化脚本。
Cloudflare浏览器渲染自动化Skill cloudflare-browser-rendering
这个技能用于通过Cloudflare的浏览器渲染API实现无头浏览器自动化，包括截图捕获、PDF生成、网页内容提取和自动化测试。它支持多种集成方式，如REST API、Workers绑定（使用Puppeteer或Playwright）、MCP服务器和AI驱动的自动化，适用于网页爬虫、数据提取、应用测试和AI代理控制。关键词：浏览器自动化、截图、PDF生成、网页爬虫、Cloudflare Workers、无头浏览器、自动化测试、AI驱动。
URL抓取器Skill url-fetcher
该技能用于从指定网页URL自动抓取并提取干净的文本内容，去除HTML噪音，适用于数据收集、内容分析、文档处理和网络爬虫等场景，支持参数化设置以提高效率。关键词：网页抓取、文本提取、URL解析、HTML清理、数据获取、网络爬虫、内容分析、自动化工具。
远程工作职位爬取工具Skill workingnomads-jobs
此技能用于从workingnomads.com自动爬取远程工作职位列表，支持按技术栈如前端开发进行筛选，提取公司、薪资、技能要求等关键信息，并输出JSON、Markdown、飞书表格等多种格式，便于职位搜索、数据分析和飞书集成。关键词：远程工作、爬虫、职位列表、前端开发、数据解析、飞书集成、SEO优化。
Cloudflare浏览器渲染技能Skill cloudflare-browser-rendering
这个技能是关于使用Cloudflare Browser Rendering服务进行浏览器自动化。它支持通过Puppeteer或Playwright工具在Cloudflare Workers上实现屏幕截图、PDF生成、网页抓取、自动化测试等任务。适用于开发者和企业，用于构建高效、可扩展的云原生应用。关键词：浏览器渲染, Cloudflare, Puppeteer, Playwright, 屏幕截图, PDF生成, 网页抓取, 浏览器自动化, Serverless, 无头浏览器, 网络爬虫