字节跳动 UI-TARS：原生视觉驱动 GUI 代理模型，用“眼睛”和“大脑”操作你的电脑

核心摘要（Key Takeaways）

UI-TARS 是什么：UI-TARS 是字节跳动开发的原生 GUI（图形用户界面）代理模型，属于开源的视觉语言模型（VLM）家族，它仅通过屏幕截图感知、推理并自动执行复杂的桌面与移动端任务。
核心亮点：具备“先思考后行动”（System 2）能力，支持感知-推理-行动-反思（Perception-Reasoning-Action-Reflection）的闭环。
跨平台覆盖：原生支持跨桌面（Windows/Mac/Linux）、移动设备及网页环境的自动化交互，包括点击、输入、滚动、快捷键等标准化操作。
权威榜单表现：UI-TARS-1.5 在 OSWorld（42.5%）、ScreenSpotPro（61.6%）等权威基准测试中大幅超越 OpenAI CUA（36.4%）和 Claude Computer Use（28%）。
部署与开源：提供 2B、7B、72B 等参数规模模型，代码与模型已开源，同时推出了“UI-TARS-desktop”桌面客户端供用户本地安装运行。

字节跳动 UI-TARS 是什么

UI-TARS 是字节跳动（ByteDance）推出的原生 GUI 智能体模型，它将先进的**视觉语言模型（VLM）**与强化学习推理相结合，仅通过接收原始的屏幕像素截图，就能像人一样理解屏幕中的元素，并以端点的方式自主操作桌面、移动端和网页中的复杂图形交互界面。

这意味着 UI-TARS 不再依赖于传统“脚本录制回放”或底层代码访问权限（API），而是直接“看屏、推理、动手”。在正式发布 UI-TARS-1.5 版本后，该模型在多项涉及电脑使用、浏览器交互、手机操控和游戏控制的基准测试中均达到了顶尖水平（SOTA）。

UI-TARS 产品界面展示

主要功能和特点

UI-TARS 的功能不仅仅是简单的“点击”，它将通用大模型的常识推理与物理世界的 GUI 精准操作深度融合。

1. 纯视觉输入与精准定位（GUI Grounding）

UI-TARS 不读取代码结构，而是通过视觉识别来精准定位“界面元素”的坐标。

精准度极高：在涉及大量复杂 GUI 定位的 ScreenSpotPro 基准中，UI-TARS-1.5 的准确率为 61.6%，远超 Claude Computer Use（27.7%）和 OpenAI CUA（23.4%）。
无需 API：即使是被“写死”的老旧软件、游戏或封闭系统，只要能渲染出人眼可见的画面，UI-TARS 就能尝试进行分析和操作。

2. 类人“慢思考”工作流（System 2 Reasoning）

UI-TARS 引入了System 2（慢速深度思考）机制。在执行前，模型会先生成中间推理痕迹（Thought），模拟人类“观察-分析-计划-执行-反思”的过程，帮助它在任务出错时进行自主纠正和多步重规划。

3. 跨平台标准化操作

模型具备统一的动作空间，将桌面、浏览器和手机的操作语言标准化：

桌面端：支持鼠标拖拽、键盘呼出、快捷键组合（如 Ctrl+C）、系统菜单导航等。
浏览器端：读取网页元素点击、文本输入、下载文件、填写复杂多页表单。
游戏场景：在《我的世界》（Minecraft）和 Poki 网页游戏测试中，展示了极高的环境适应和推理能力。

4. 多步复杂任务自动化

UI-TARS 擅长处理“长链条”任务。例如：“下载最后一封邮件里的附件，放入名为‘财务报表’的文件夹，并用压缩软件将其打包加密”。它能自主分辨附件、操作办公软件和多窗口来回切换。

5. 记忆与工具调用

通过整合记忆模块，UI-TARS 具备长期和短期记忆功能，能够捕捉上下文并利用历史交互来优化当前决策。其最新的桌面版还加入了工具调用，支持用户自定义函数来扩展能力边界。

如何使用和安装 UI-TARS-desktop

字节跳动提供了桌面版客户端，方便非开发者用户立即上手将 UI-TARS 部署在工作电脑中。

步骤 1：克隆或下载桌面端 访问 GitHub 官方仓库：[bytedance/UI-TARS-desktop](https://github.com/bytedance/UI-TARS-desktop)。下载最新发布的安装包或通过源码克隆部署。根据 GitHub Release 显示，目前已经更新至 v0.3.0-beta.10 版本。

步骤 2：选择模型规模 根据你的电脑显存和算力挑选不同变体：

2B/7B 模型：适合普通消费级显卡或本地快速推理，推荐大众日常使用。
72B 模型：需要高性能服务器级显卡，拥有最强的复杂任务推理和处理能力。

步骤 3：配置必要权限 打开 UI-TARS 应用，授予必要的“辅助功能”和“屏幕录制”权限（在 macOS/Windows 下），让 AI Agent 获得捕捉屏幕像素和模拟外设操作的授权。

步骤 4：下达自然语言指令 直接在对话框输入多步任务指令，模型会开始感知屏幕，产生行动序列并执行。

官网地址和入口

核心介绍与论文官网：[https://seed-tars.com/](https://seed-tars.com/)
Hugging Face 模型库：[https://huggingface.co/ByteDance-Seed](https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B)
GitHub 代码与桌面版：[https://github.com/bytedance/ui-tars](https://github.com/bytedance/ui-tars)
浏览器自动化插件 Midscene：与 UI-TARS 配套的浏览器操控组件也在同步开发中。

竞品对比表格

关键对比维度：不同的 GUI 智能体在“纯视觉理解”、“不具备 API 时的表现”和“跨平台跨度”上差异巨大。

对比维度	UI-TARS-1.5 (ByteDance)	OpenAI CUA	Claude Computer Use
核心输入	纯实时屏幕截图（视觉优先）	截图+可能的文本二级信息	截图辅助
GUI 精准定位能力	极强（ScreenSpotPro 61.6%）	较弱（23.4%）	中等（27.7%）
电脑操作得分	SOTA 级别（OSWorld 42.5%）	较高（36.4%）	中等（28%）
推理机制	System 2（先思后行，强化学习）	链式推理（Chain-of-Thought）	深度逻辑推理
跨平台与游戏	桌面、手机、浏览器、网页/3D 游戏	主要侧重浏览器与电脑	主要侧重电脑与浏览器
策略与开源	完全开源，支持本地部署	闭源 API 服务	闭源 API 服务

最近 3-6 个月动态

2025 年初至年中，UI-TARS-1.5 正式走向台前：字节跳动确认 UI-TARS-1.5 为“统一视觉语言模型”，该版本融合了强化学习技术，达成了多项基准测试的 SOTA 性能，并认为这标志着智能体从复杂笨重的 Framework 走向灵活的 Model 进化。
桌面版客户端 v0.3.0-beta.10 发布：在 GitHub 的 Release 频道，UI-TARS Desktop 已进入密集的 Beta 迭代期。最新版本引入了工具调用（Tools）、流式事件处理、更完善的键盘编辑功能等。
模型推理时间缩放：官方发现 UI-TARS 具备 Inference-time Scaling 特性（即越用越聪明），其稳定性随着交互轮数和允许步数的增加而持续提升，在处理长程复杂任务时潜力巨大。

FAQ

1. UI-TARS 的官网地址是什么，在哪能下载？

核心官网入口是 seed-tars.com。如果你需要下载模型进行二次开发，可以去 Hugging Face 搜索 ByteDance-Seed/UI-TARS；若你想在电脑上直接运行桌面程序，请访问 GitHub 仓库 bytedance/UI-TARS-desktop。

2. UI-TARS 是否完全免费开源？

是的。它是一款对研究和商用友好开放的开源模型。你可以在 GitHub 或 Hugging Face 获取代码和模型权重，并根据硬件配置收取本地推理的算力成本。

3. 弱性能电脑能流畅使用 UI-TARS 吗？

可以。字节跳动提供了 2B 和 7B 参数的轻量版模型。即使是普通电脑，只要具备可用的独立显卡或强算力 NPU，均可运行 7B 模型来完成常见的办公和网页自动化操作。

4. UI-TARS 和传统自动化工具（如按键精灵、RPA）有什么本质区别？

传统工具依赖固定的坐标定位或代码选择器，一旦界面变动就会失效。UI-TARS 是依靠视觉大模型来“看懂”屏幕，即使界面排版改变了，它依然能准确找到“发送键”或“下载按钮”，且能通过思考处理从未见过的异常突发情况。

5. 针对《我的世界》等游戏的支持有多强？

非常特别。UI-TARS-1.5 在 Minecraft 的几乎全部核心挑战（如分解方块、击杀生物等）中取得了满分（100%）。这表明这个模型不仅仅是办公帮手，在复杂的虚拟世界交互训练上也运用得非常出色。

总结

字节跳动 UI-TARS 代表着 AI 生产力从一个被动的“答案机器”向一个主动的“数字代理人” 的关键转向。凭借着 61.6% 的 GUI 视觉定位准确率、对桌面/移动/游戏的全平台覆盖和极强的自我纠错逻辑，UI-TARS 正在打破自动化开发的传统边界。随着开源桌面版的不断迭代，开发者和普通用户都能在本地零成本建立起自己专属的智能“秘书”。