搜索结果: "爬虫"
网络存档Skill web-archiving
这个技能涉及使用各种工具和方法来保存和检索网页内容,适用于新闻、研究和法律目的。包括Wayback Machine、Archive.today、ArchiveBox等服务的集成,以及Python代码实现,用于网页存档、历史访问和数据保存。关键词:网页存档、网络爬虫、数据保存、历史访问、法律证据、Python编程、API集成。
浏览器自动化文档发现技能Skill browser-discovery
这是一个用于自动化浏览器操作以发现和抓取网页文档的技能。当网站使用JavaScript动态渲染内容导致传统curl工具失效时,该技能能自动检测可用的浏览器工具(如Antigravity、Cursor、Playwright),执行页面导航、等待JS渲染,并提取结构化数据。适用于JS渲染网站文档抓取、动态内容采集和自动化测试场景。关键词:浏览器自动化、JS渲染、文档发现、网页抓取、Playwright、Antigravity、Cursor、动态内容采集、自动化测试、爬虫工具。