Scrapfly自动化Skill scrapfly-automation

该技能通过Rube MCP和Composio自动化Scrapfly网页抓取任务,提供工具发现、连接管理和执行功能,优化数据采集流程。关键词:Scrapfly自动化,Rube MCP,Composio,网页抓取,数据采集,自动化工具,数据工程。

数据工程 0 次安装 0 次浏览 更新于 3/12/2026

name: scrapfly-automation description: “通过Rube MCP(Composio)自动化Scrapfly任务。始终先搜索工具以获取当前架构。” requires: mcp: [rube]

通过Rube MCP的Scrapfly自动化

通过Rube MCP,使用Composio的Scrapfly工具包自动化Scrapfly操作。

工具包文档: composio.dev/toolkits/scrapfly

前提条件

  • Rube MCP必须连接(RUBE_SEARCH_TOOLS可用)
  • 通过RUBE_MANAGE_CONNECTIONS激活Scrapfly连接,使用工具包scrapfly
  • 始终先调用RUBE_SEARCH_TOOLS以获取当前工具架构

设置

获取Rube MCP: 在客户端配置中添加https://rube.app/mcp作为MCP服务器。无需API密钥——只需添加端点即可工作。

  1. 通过确认RUBE_SEARCH_TOOLS响应来验证Rube MCP可用
  2. 使用工具包scrapfly调用RUBE_MANAGE_CONNECTIONS
  3. 如果连接不是ACTIVE,按照返回的认证链接完成设置
  4. 在运行任何工作流之前,确认连接状态显示为ACTIVE

工具发现

在执行工作流之前始终发现可用工具:

RUBE_SEARCH_TOOLS
queries: [{use_case: "Scrapfly操作", known_fields: ""}]
session: {generate_id: true}

这返回可用的工具别名、输入架构、推荐执行计划和已知陷阱。

核心工作流模式

步骤1: 发现可用工具

RUBE_SEARCH_TOOLS
queries: [{use_case: "您的具体Scrapfly任务"}]
session: {id: "现有会话ID"}

步骤2: 检查连接

RUBE_MANAGE_CONNECTIONS
toolkits: ["scrapfly"]
session_id: "您的会话ID"

步骤3: 执行工具

RUBE_MULTI_EXECUTE_TOOL
tools: [{
  tool_slug: "来自搜索的工具别名",
  arguments: {/* 来自搜索结果的架构兼容参数 */}
}]
memory: {}
session_id: "您的会话ID"

已知陷阱

  • 始终先搜索: 工具架构会变化。不要在不调用RUBE_SEARCH_TOOLS的情况下硬编码工具别名或参数
  • 检查连接: 在执行工具之前验证RUBE_MANAGE_CONNECTIONS显示ACTIVE状态
  • 架构兼容性: 使用来自搜索结果的精确字段名称和类型
  • 内存参数: 在RUBE_MULTI_EXECUTE_TOOL调用中始终包含memory,即使为空({}
  • 会话重用: 在工作流内重用会话ID。为新工作流生成新ID
  • 分页: 检查响应中的分页令牌,并继续获取直到完成

快速参考

操作 方法
查找工具 使用特定于Scrapfly的用例调用RUBE_SEARCH_TOOLS
连接 使用工具包scrapfly调用RUBE_MANAGE_CONNECTIONS
执行 使用发现的工具别名调用RUBE_MULTI_EXECUTE_TOOL
批量操作 使用run_composio_tool()调用RUBE_REMOTE_WORKBENCH
完整架构 对具有schemaRef的工具调用RUBE_GET_TOOL_SCHEMAS

Composio提供支持