教 Claude 给移动应用做 QA

一篇实践记录:作者把 Claude 训练成自家移动应用的 QA 测试员,让它操作界面、跑测试用例、写缺陷报告,过程的坑和收获都写得细。

怎么搭起来的

技术方案是给模型装上「手和眼」:通过截图让它看见界面,通过模拟器的控制接口让它点击和输入,再配一份用自然语言写的测试用例清单。跑起来之后的体验喜忧参半:它能发现人类测试员麻木掉的问题(每天看一百遍的界面,错位了都没人注意),也会在动画和加载状态上犯迷糊,把转菊花当成卡死。作者的迭代心得集中在怎么写「模型友好」的测试用例:步骤具体、验收标准可观察、别依赖时序假设。

移动端 QA 的性价比拐点

移动应用的回归测试是出了名的苦役:机型碎片化、UI 自动化脚本脆得一碰就断、维护成本常年劝退小团队。视觉模型驱动的测试改变了成本结构:用例用人话写,界面改版不再导致脚本全军覆没,因为模型「看得懂」界面而不是死记坐标。当然,可靠性还没到无人值守的程度,目前的甜区是当人类 QA 的初筛层。这篇记录的价值在于它给出了一个小团队就能复刻的起步配置,门槛比想象中低。

via: Hacker News