Midscene.js 多语言脚本编写指南用中文还是英文写自动化指令【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一款面向端到端测试的 GUI Agent指令层天然支持中英文以及其它语言的自然语言描述。如果你的产品面向海外或者团队里中英文混用的测试同学都在维护同一套自动化脚本这篇文章会帮你回答几个实际问题指令用哪种语言写、混合语言能不能跑、模型怎么选、定位失败怎么排查。从一个真实场景说起本地化界面 母语指令假设你负责一个电商应用的回归验证界面文案已翻译成英文但测试同学更习惯用中文描述操作步骤反过来也有——界面是中文的脚本却由熟悉英文的同学编写。传统基于选择器Selector / XPath的方案里文案变化直接导致脚本失效语言切换等于重写定位逻辑。Midscene.js 走的是纯视觉路线模型直接分析界面截图完成元素定位和断言不依赖 DOM 结构和额外的界面标注模型策略文档。这意味着界面是什么语言和指令写什么语言基本解耦——中文界面配英文指令、英文界面配中文指令都能工作。下图是 Playground 里的一个典型画面左侧提示词是英文的Click the search bar右侧页面却是全中文的 eBay 界面动作依然能正确执行。快速上手一份中英混用的脚本长什么样不用纠结必须全中文或必须全英文先看一个最小可运行的 YAML 例子完整语法见 YAML 脚本文档page: url: https://example-shop.com tasks: - name: 搜索商品并校验结果 flow: - ai: 在搜索框输入 wireless earbuds - aiAssert: 结果列表中出现了至少一件商品如果需要程序化调用Agent API 的提示词参数同样是自然语言两种写法等价// 中文指令描述目标而不是描述操作细节 await agent.aiAct(搜索耳机将第一件商品加入购物车); // 同一件事英文版本 await agent.aiAct(search for earbuds and add the first item to cart);断言也一样aiAssert接受任意语言的条件描述条件不成立时抛出错误错误信息会附上模型给出的判断原因方便排查。统一脚本语言策略怎么写维护成本最低指令本身中英文都可以但团队层面建议做一次约定理由不是必须而是维护和排查时的效率单一语言基线。同一仓库内混用两种语言的指令出问题时更难定位是表述歧义还是环境问题。选一种作为默认多数团队选英文因为模型训练语料更充分例外情况显式标注。描述是什么少描述长什么样。写登录按钮比写蓝色矩形按钮更稳界面改版换色后前者大概率还能命中后者直接失效。多语言界面尤其如此——用功能语义定位别用具体文案文本定位。区分指令语言与数据内容。aiInput里输入的内容如商品名、账号应使用界面实际要求的语言而外层描述定位元素的提示词保持基线语言即可。语言差异对执行质量的影响有多大坦率说影响存在但比多数人想象的小。Midscene.js 的元素定位基于视觉理解而非文本匹配语言带来的差异主要体现在模型对提示词的理解质量上而不是能不能看到按钮。如果界面语言恰好是你不太确定的语种比如阿拉伯语、泰语可以在创建 Agent 时通过aiContexts给模型补充业务背景例如页面为日文环境价格单位为日元让断言和数据提取更贴合实际。这一点在 基本概念文档 中有完整说明。模型选择让模型的强项匹配界面语言不同多模态模型对不同语言界面的理解能力并不均等选型时建议看实际跑分而不是参数表。官方仓库里附有一批同一组 case 的多模型 Pass1 对比数据下图是中文版几条实用经验具体数字以官方文档为准中文界面优先选中文语料占比高、中文理解强的模型英文界面则反过来。复杂规划、数据提取效果不佳时可以按 模型策略 的思路引入 Planning / Insight 模型做能力分工代价是耗时和 token 上升——先跑默认模型遇到明确瓶颈再加。语言相关的失败如果集中出现先换模型验证一次成本比逐个改提示词低。Android 场景下用中文指令操作中文 App 的完整链路可以这样跑多语言问题排查速查现象常见原因处理方向元素定位失败提示词与界面同语言目标元素太小或与相邻元素视觉相似启用deepLocate增加一次深度定位或改用功能语义描述断言偶发失败页面未加载完成、弹窗遮挡断言前加sleep或用aiWaitFor等界面就绪中文提示词偶尔理解偏了模型对该措辞不熟悉改写为更直接的祈使句或临时切英文对照验证输入内容显示乱码/丢失输入框语言布局与键盘映射不符确认目标端输入语言设置优先用aiInput的replace模式英文界面用中文指令稳定、切中文界面变差模型对界面语言不匹配更换界面语言占优的模型或补充aiContexts背景调试时优先看可视化报告每一步的截图、模型决策和断言原因都会记录在案比只看日志快得多。中英文双语文档位于 apps/site/docs/zh/ 与 apps/site/docs/en/API 细节以参考文档为准。上线路前检查清单脚本基线语言已约定混用处有注释说明元素定位用语义描述不依赖具体文案和颜色界面语言与所选模型的强项匹配跑分数据已核对输入内容使用界面实际要求的语言关键断言前有等待逻辑失败时报告能直接定位到截图指令写中文还是英文其实都可以重要的是整个团队用同一套规则并且知道哪一步出了问题该往哪里查。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考