name: webscraping-ai-automation description: “通过Rube MCP（Composio）自动化Webscraping AI任务。始终首先搜索工具以获取当前架构。” requires: mcp: [rube]
通过Rube MCP进行Webscraping AI自动化
通过Composio的Webscraping AI工具包和Rube MCP自动化Webscraping AI操作。
工具包文档: composio.dev/toolkits/webscraping_ai
先决条件
- Rube MCP必须连接（RUBE_SEARCH_TOOLS可用）
- 通过
RUBE_MANAGE_CONNECTIONS与工具包webscraping_ai建立活跃的Webscraping AI连接 - 始终首先调用
RUBE_SEARCH_TOOLS以获取当前工具架构
设置
获取Rube MCP: 在客户端配置中添加https://rube.app/mcp作为MCP服务器。无需API密钥——只需添加端点即可工作。
- 通过确认
RUBE_SEARCH_TOOLS响应来验证Rube MCP可用 - 调用
RUBE_MANAGE_CONNECTIONS，工具包为webscraping_ai - 如果连接未激活，请按照返回的认证链接完成设置
- 在运行任何工作流之前，确认连接状态显示为ACTIVE
工具发现
在执行工作流之前始终发现可用工具：
RUBE_SEARCH_TOOLS
queries: [{use_case: "Webscraping AI operations", known_fields: ""}]
session: {generate_id: true}
这返回可用工具标识符、输入架构、推荐执行计划和已知陷阱。
核心工作流模式
步骤1：发现可用工具
RUBE_SEARCH_TOOLS
queries: [{use_case: "您的特定Webscraping AI任务"}]
session: {id: "现有会话ID"}
步骤2：检查连接
RUBE_MANAGE_CONNECTIONS
toolkits: ["webscraping_ai"]
session_id: "您的会话ID"
步骤3：执行工具
RUBE_MULTI_EXECUTE_TOOL
tools: [{
tool_slug: "来自搜索的TOOL_SLUG",
arguments: {/* 来自搜索结果的符合架构的参数 */}
}]
memory: {}
session_id: "您的会话ID"
已知陷阱
- 始终首先搜索: 工具架构会变化。切勿在未调用
RUBE_SEARCH_TOOLS的情况下硬编码工具标识符或参数 - 检查连接: 在执行工具之前验证
RUBE_MANAGE_CONNECTIONS显示ACTIVE状态 - 架构合规: 使用搜索结果中的确切字段名称和类型
- 内存参数: 始终在
RUBE_MULTI_EXECUTE_TOOL调用中包含memory，即使为空（{}） - 会话重用: 在工作流中重用会话ID。为新工作流生成新的ID
- 分页: 检查响应中的分页令牌，并继续获取直到完成
快速参考
| 操作 | 方法 |
|---|---|
| 查找工具 | RUBE_SEARCH_TOOLS，使用Webscraping AI特定用例 |
| 连接 | RUBE_MANAGE_CONNECTIONS，工具包为webscraping_ai |
| 执行 | RUBE_MULTI_EXECUTE_TOOL，使用发现的工具标识符 |
| 批量操作 | RUBE_REMOTE_WORKBENCH，使用run_composio_tool() |
| 完整架构 | RUBE_GET_TOOL_SCHEMAS，用于具有schemaRef的工具 |
由Composio提供支持