桌面查找元素Skill desktop-find-element

这是一个桌面UI元素查找技能,用于定位按钮、菜单、图标等桌面UI组件,优先使用UIAutomation实现快速准确的元素识别,失败时采用视觉识别作为后备方案。支持多种目标格式,如自然语言描述、名称、ID和类型,适用于自动化测试、UI交互和验证场景,提升桌面应用程序的自动化效率。关键词:桌面UI元素查找、UIAutomation、视觉识别、自动化测试、UI自动化。

测试 0 次安装 2 次浏览 更新于 3/16/2026

name: 桌面查找元素 description: 使用UIAutomation(快速准确)或视觉识别(后备)查找桌面UI元素。当需要定位按钮/菜单/图标,点击前获取元素位置,或验证UI状态时。对于浏览器内的网页元素,请使用browser_*工具。 system: true handler: desktop tool-name: desktop_find_element category: 桌面

桌面查找元素

查找桌面 UI 元素。优先使用 UIAutomation(快速准确),失败时用视觉识别(通用)。

参数

参数 类型 必填 说明
target string 元素描述,如 ‘保存按钮’、‘name:文件’、‘id:btn_ok’
window_title string 限定在某个窗口内查找
method string 查找方法:auto(默认)、uia、vision

支持的目标格式

  • 自然语言:“保存按钮”、“红色图标”
  • 按名称:“name:保存”
  • 按 ID:“id:btn_save”
  • 按类型:“type:Button”

查找方法

  • auto: 自动选择(推荐)
  • uia: 只用 UIAutomation
  • vision: 只用视觉识别

返回

  • 元素位置(x, y)
  • 元素大小
  • 元素属性

警告

如果操作的是浏览器内的网页元素,请使用 browser_* 工具。

相关技能

  • desktop-click: 点击找到的元素
  • desktop-inspect: 查看元素树结构