1. 先厘清边界Computer Use、Function Call、Tool Use 到底差在哪Computer Use 这个词最近被聊得很多但真正落到代码里很多人第一反应是它跟 Function Call 有什么区别跟 RPA 又是不是一回事我先把这三个概念摆到同一张桌子上用一句话各自定位。Function Call 是模型输出一个结构化 JSON告诉你「我想调用哪个函数、参数是什么」真正执行的是你的代码。Tool Use 是更宽泛的说法模型可以调用工具工具可以是函数、检索、代码执行器甚至另一个模型。Computer Use 则是把「工具」直接换成了屏幕、鼠标、键盘——模型输出的是点击坐标、输入文本、按键组合由一层执行器在真实或虚拟桌面上操作。所以三者不是替代关系而是抽象层级不同。Function Call 是协议层Tool Use 是能力层Computer Use 是操作层。RPA 呢RPA 是「录制回放规则」的自动化路径是写死的Computer Use 是「看屏幕推理下一步动作」路径是模型现场决定的。这个差异决定了它们的适用场景完全不同。我试过把一个「整理下载文件夹」的任务分别用 RPA 和 Computer Use 跑一遍。RPA 需要我提前定义好文件类型规则、目标文件夹、重命名模板规则一变就得改脚本。Computer Use 只需要一句「把下载文件夹里最近三天的 PDF 按内容重命名并归档」它会自己打开文件管理器、看文件名、判断内容、拖动或重命名。代价是慢而且每一步都可能出错需要人盯着。这就是本篇要解决的问题不聊概念炒作直接给你一套可复制的配置骨架让你在自己的机器上把 Computer Use 跑起来同时用 Function Call 和 Tool Use 做对照判断它到底适合你的哪个环节。2. 前置准备用统一 Key/API 通道接入 Claude 等模型Computer Use 目前最成熟的实现来自 Claude 系列模型但实际开发中你往往不会只用一个模型。可能主推理用 Claude便宜的分类任务用别的本地还有个小模型做兜底。如果每个模型都单独配 Key、单独改 base_url配置会散落在十几个文件里。我的做法是走一个统一的 API 通道把模型调用收敛到一个入口。这样 settings.json、config.toml 里只需要维护一份 base_url 和一份 Key换模型只改模型名。TaoToken 就是干这个的官网在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 注意 API 地址不带 UTM 参数。你需要先拿到一个 Key。登录后进控制台在 API Keys 页面创建一个复制出来。这个 Key 后面会写进配置文件。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite API Keys 页面是 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。注意Key 只显示一次创建后立刻复制到安全的地方。不要提交到 Git不要写进前端代码。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面列了兼容的模型名和请求格式。Computer Use 需要模型支持 tool use 和视觉输入选模型时注意看文档里的能力标注。如果你只是想先验证模型能不能正常对话可以直接用模型对话页面试一句https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。确认 Key 和通道没问题再往下配 Computer Use。3. 可复制配置骨架settings.json 与 config.toml这一节给两份配置一份是 Claude Code 风格的 settings.json一份是通用 CLI 工具的 config.toml。你按自己用的工具选一份改。3.1 settings.jsonClaude Code 接入统一通道Claude Code 的配置文件通常放在项目根目录或用户目录下的.claude/settings.json。核心是把 API 入口指向统一通道并指定模型。{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-你的Key, ANTHROPIC_MODEL: claude-sonnet-4-20250514 }, permissions: { allow: [ Bash(git status), Bash(ls), Read ], deny: [ Bash(rm -rf *), Bash(curl *) ] }, computerUse: { enabled: true, displayWidth: 1280, displayHeight: 800, screenshotIntervalMs: 800 } }几个参数说明。ANTHROPIC_BASE_URL指向统一通道不要带末尾斜杠。ANTHROPIC_MODEL填文档里支持的模型名。permissions是白名单和黑名单Computer Use 会执行真实操作这一步必须收紧把危险命令挡在外面。computerUse段是屏幕参数宽高要和你实际显示器或虚拟显示器一致否则点击坐标会偏。注意screenshotIntervalMs太小会让模型频繁截屏token 消耗快太大又会导致动作滞后。800ms 是我实测比较平衡的值你可以从 1000ms 开始调。3.2 config.toml通用 CLI 工具配置如果你用的是支持 TOML 配置的 CLI 工具结构类似只是字段名不同。[api] base_url https://taotoken.net/api api_key sk-你的Key timeout_seconds 120 [model] name claude-sonnet-4-20250514 max_tokens 4096 temperature 0.2 [tools] enable_function_call true enable_tool_use true enable_computer_use true [computer_use] display_width 1280 display_height 800 screenshot_interval_ms 800 action_delay_ms 300 max_steps 30max_steps是单次任务的最大动作步数防止模型陷入死循环。action_delay_ms是每个动作后的等待时间给界面渲染留余量。temperature建议调低Computer Use 需要稳定不需要创意。3.3 环境变量方式最轻量的接入如果你不想写配置文件也可以直接用环境变量。适合临时验证。export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_API_KEYsk-你的Key export ANTHROPIC_MODELclaude-sonnet-4-20250514写完执行source ~/.bashrc或重开终端。这种方式的好处是切换快坏处是容易忘不适合长期项目。4. 最小验证动作从 Function Call 到 Computer Use 跑通一遍配置写完别急着上复杂任务。先用三个最小验证动作逐层确认通道、工具调用、屏幕操作都正常。4.1 验证一Function Call 是否通写一个最简单的函数调用请求确认模型能返回结构化 JSON。import os import json from anthropic import Anthropic client Anthropic( base_urlos.environ[ANTHROPIC_BASE_URL], api_keyos.environ[ANTHROPIC_API_KEY], ) tools [ { name: get_weather, description: 查询指定城市的天气, input_schema: { type: object, properties: { city: {type: string, description: 城市名} }, required: [city], }, } ] resp client.messages.create( modelos.environ[ANTHROPIC_MODEL], max_tokens1024, toolstools, messages[{role: user, content: 北京今天天气怎么样}], ) for block in resp.content: if block.type tool_use: print(工具名:, block.name) print(参数:, json.dumps(block.input, ensure_asciiFalse))跑通的话你会看到输出工具名: get_weather和参数: {city: 北京}。这说明 Function Call 链路是通的模型知道该调哪个工具、传什么参数。注意这里模型只是「说」要调真正执行还是你的代码。4.2 验证二Tool Use 多工具选择在 tools 里再加一个工具看模型能不能根据问题选对。tools.append({ name: send_email, description: 发送邮件, input_schema: { type: object, properties: { to: {type: string}, subject: {type: string}, body: {type: string}, }, required: [to, subject, body], }, }) resp client.messages.create( modelos.environ[ANTHROPIC_MODEL], max_tokens1024, toolstools, messages[{role: user, content: 给 testexample.com 发一封主题为 hello 的邮件}], )这次应该命中send_email。如果模型选错了检查工具描述是否清晰。Tool Use 的准确率很大程度取决于 description 写得好不好。4.3 验证三Computer Use 屏幕操作这一步需要你的工具支持 Computer Use并且已经配好屏幕参数。最小任务是让模型截屏并描述屏幕内容。resp client.messages.create( modelos.environ[ANTHROPIC_MODEL], max_tokens2048, tools[ { type: computer_20250124, name: computer, display_width_px: 1280, display_height_px: 800, } ], messages[ {role: user, content: 截取当前屏幕告诉我屏幕上有什么。} ], ) for block in resp.content: if block.type tool_use: print(动作:, block.input.get(action)) print(参数:, json.dumps(block.input, ensure_asciiFalse))如果返回动作: screenshot说明模型请求截屏。你的执行器需要真的截屏把图片作为 tool_result 回传模型才能继续。这一步是 Computer Use 和 Function Call 最大的区别Function Call 返回文本结果就行Computer Use 必须回传图像。注意回传的截图要压缩到合理尺寸太大 token 消耗惊人。1280x800 的 PNG 通常够用必要时转 JPEG 降质量。5. 本篇常见错排查5.1 报错 401Key 无效或 base_url 写错最常见的是 base_url 带了末尾斜杠或者把 API 地址写成了官网地址。正确写法是https://taotoken.net/api不带斜杠不带 UTM。Key 检查有没有多余空格复制时容易带上换行。5.2 报错 400模型不支持 tool use不是所有模型都支持工具调用。如果你在 config 里填了一个纯对话模型请求带 tools 就会报 400。去接入文档确认模型能力换成支持 tool use 的型号。5.3 Computer Use 点击坐标偏移屏幕参数和实际分辨率不一致导致的。检查display_width、display_height是否和你的显示器或虚拟显示器完全一致。如果是 Retina 屏注意逻辑分辨率和物理分辨率的区别配置里填逻辑分辨率。5.4 模型陷入循环反复截屏不动作max_steps设太大或者任务描述太模糊。把任务拆细比如「打开浏览器」和「搜索关键词」分两步下。同时把max_steps降到 10 以内强制中断。5.5 截图回传后模型不继续检查 tool_result 的格式。Computer Use 的 tool_result 需要包含type: tool_result和content数组图片用 base64 编码。格式错了模型会当成普通文本不知道截屏已完成。5.6 权限被拒操作无法执行settings.json 里的permissions.deny挡了。先看日志确认是哪个命令被拒再决定是放宽白名单还是换实现方式。不要为了跑通直接清空 denyComputer Use 能操作真实文件系统权限收紧是必要的。6. 判断与接入你的场景该用哪一层回到最初的问题Computer Use 究竟是什么我的判断是它是 Tool Use 的一个特例把「工具」从函数扩展到了整个桌面。它不适合替代 RPA 做高频、稳定、规则明确的批量任务那类任务 RPA 更快更便宜。它适合的是「规则说不清、界面会变、需要现场判断」的长尾任务比如跨多个软件整理信息、处理非标准格式的文件、在陌生界面里找入口。如果你要长期做编码或 Agent 开发建议走 Coding Plan把模型调用和工具链统一管理https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。如果只是验证模型能力先用模型对话页面试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。接入过程中遇到报错对照 API Keys 和接入文档排查https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 和 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。最后给一个实用技巧Computer Use 的调试成本主要在截图回传和坐标校准上。先用一个固定分辨率的虚拟显示器跑通再迁移到真实屏幕。真实屏幕的分辨率变化、多显示器、缩放比例都会让坐标失准虚拟显示器能省掉大量排查时间。