
如何用 Cua Driver 完成第一个桌面任务让智能体在计算器中算出 6×7 并验证结果【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua这篇文章的任务只有一个安装 Cua Driver把一个已装好的智能体agent接到它上面然后让智能体打开系统自带的计算器、算出 6 × 7并从屏幕读数中确认结果是 42。Cua Driver 是 cua 项目中的桌面驱动它让你的智能体通过 MCP 服务或 agent skill 直接操作宿主桌面macOS、Windows、Linux 均支持。开始前需要满足两个前提本机已装好一个支持 MCP 或 skill 的智能体且桌面里有可用的计算器应用Linux 上可用发行版自带的计算器例如 GNOME Calculator。安装前需要满足的环境要求各平台的硬性要求来自安装文档macOSmacOS 14Sonoma或更新版本Apple Silicon 或 Intel 均可WindowsWindows 10/11或 Windows Server必须有交互式桌面会话和 PowerShellLinuxx86_64 架构的桌面会话带 X11 或 XWayland以及 AT-SPI 2 可访问性支持。最小化的 Debian/Ubuntu 镜像需要先安装libxi6和at-spi2-core这一步需要sudo。安装脚本本身不需要管理员权限。Linux 镜像上缺少libXi时二进制文件会在doctor运行之前就报libXi.so.6: cannot open shared object file启动失败。安装 Cua Driver三个平台各有一条安装命令。macOS 和 Linux 使用同一个脚本# macOS 和 Linux /bin/bash -c $(curl -fsSL https://cua.ai/driver/install.sh)# WindowsPowerShell irm https://cua.ai/driver/install.ps1 | iex cua-driver autostart kickWindows 安装后kick会立即启动自动启动任务如果注册被跳过或失败例如非交互式会话就改用在交互式桌面会话的终端中运行cua-driver serve并保持终端不关闭另外开一个终端做后文的验证命令。安装完成后脚本会建立~/.local/bin/cua-driver符号链接并处理 PATH如果cua-driver命令找不到新开一个终端窗口再试。启动守护进程并按平台授权macOS先通过应用包启动守护进程这样 macOS 才会把 TCC 权限弹窗归属到 CuaDriver.app权限才能持久生效open -n -g -a CuaDriver --args serve cua-driver permissions grant系统会先后弹出Accessibility和Screen System Audio Recording两个授权框。注意这两个弹窗都只提供Open System Settings而没有Allow——点它只是把 CuaDriver 加进对应权限列表且开关是关着的真正生效要在系统设置里手动打开开关并且这两项都要开。macOS 在翻转开关时可能提示退出并重启 CuaDriver接受即可因为权限变更只在应用完全重启后生效。两个弹窗不一定一次全出现用下面的命令核对实际状态缺哪项就把上面两条命令再跑一遍cua-driver permissions statusLinux在图形桌面会话内的一个终端中启动守护进程并保持该终端开启serve是前台运行必须与你想驱动的应用共享同一个显示和可访问性总线验证命令放在同会话的第二个终端里执行cua-driver serveWindows守护进程由安装后的cua-driver autostart kick启动见上节无需额外授权步骤。验证守护进程和桌面可达性在第二个终端中依次执行cua-driver status cua-driver doctor cua-driver call list_apps判断标准status应报告Cua Driver daemon is running不是的话回到对应平台的启动步骤重来doctor的输出要连同警告一起读——退出码为 0 并不等于桌面就绪。Linux 上它会探测 AT-SPI 总线和显示服务器Windows 上会探测交互式会话macOS 上还要用cua-driver permissions status确认两项授权都已落地list_apps必须包含你能认出的 GUI 应用。空列表不算通过在同一个桌面会话中打开计算器然后重试。先解决权限或显示错误再进入智能体连接。本教程默认守护进程运行在standard授权模式守护进程启动时固定无法在运行中修改这是完成当前任务的正确选择无需加参数。连接智能体skill 或 MCP 二选一Cua Driver 给智能体提供两条接入路径选一条即可。路径 A安装 agent skill适合 Claude Code、Codex、Prime Agent 等 skill 型客户端。skill 教智能体如何调用cua-driverCLI只包含说明、不安装可执行文件cua-driver skills install cua-driver skills status确认skills status输出中包含你用的客户端对应的 skill 链接然后开一个全新的智能体会话。如果报告客户端的 skill 目录不存在先创建该目录例如 Codex 为~/.agents/skillsClaude Code 为~/.claude/skills再重跑安装命令。Prime Agent 安装后需在会话内执行/reload或新开会话可用/skill:cua-driver显式加载。路径 B注册 MCP 服务器。cua-driver mcp-config本身只打印注册命令你需要执行它打印出来的那条命令并且用你自己机器上的输出路径下文示例中的/Users/you/...仅为文档示例路径不是可直接复制的值cua-driver mcp-config --client claude # 文档示例输出Claude Code # claude mcp add-json --scope user cua-computer-use {args:[mcp],command:/Users/you/.local/bin/cua-driver}cua-driver mcp-config --client codex # 文档示例输出Codex # codex mcp add cua-driver -- /Users/you/.local/bin/cua-driver mcp其他客户端Cursor、OpenCode、Antigravity、OpenClaw、Pi 等都有对应的--client预设Cursor 这类用配置文件的客户端则是把打印出的 JSON 粘进~/.cursor/mcp.json后重启客户端确认cua-driver出现在 MCP 服务器列表里。Codex 注册后可用codex mcp list确认注册并在新会话中用/mcp检查服务器已激活。向智能体发出计算器任务使用与你所选接入方式匹配的提示词核心是让智能体行动后重新读取计算器显示的读数来验证 GUI而不是凭记忆回答算术# skill 方式Claude Code / Codex skill / Prime Agent Using the Cua Driver skill, open the installed calculator app, compute 6 × 7, and read the displayed result back from a fresh snapshot.# MCP 方式Codex / OpenClaw 等 Using the cua-driver MCP server, open the installed calculator app, compute 6 × 7, and read the displayed result back from a fresh snapshot.两点执行上的说明计算器的应用名、控件和操作序列在不同平台和应用之间不同智能体必须从每次运行时的新鲜状态中自行发现——上一次运行中的元素索引不能复用如果本机没有计算器先通过系统正常的应用或包管理器安装一个再重复该提示词。确认结果42 不等于成功结果验证有两个条件缺一不可计算器屏幕上显示42智能体最后的观察observation报告了这个读数。只有答案正确本身不能证明智能体真的操作了应用——模型可能直接回答了算术题。同时观察交互过程中你的活跃应用、键盘焦点和真实指针是否保持不变Cua Driver 默认采用尽力而为的后台投递可见的智能体光标是单独的叠加层不要从答案反推投递行为。平台差异方面macOS 和 Windows 的可访问性操作可以在后台驱动受支持的控件个别应用需要显式前台投递Linux 的 AT-SPI 操作和 X11 路径也可以后台工作而原生 Wayland 依赖合成器支持且有原始键盘输入限制。如果验证未通过回到本教程的排查顺序cua-driver status确认守护进程、cua-driver doctor读警告、cua-driver call list_apps确认能看到应用macOS 再加一步cua-driver permissions status。参考与后续完整教程含视频演示与各客户端提示词Drive your first app安装细节、权限模式与夜更频道Install Cua Driver各客户端的 MCP/skill 注册方式Connect your agent用独立后置条件验证桌面操作的方法Verify a desktop action【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考