个人站点

第 16 / 17 篇

整理于 · 15 分钟

测试通过能说明什么

测试怎么设计、查出什么、漏掉什么,哪些留给人。

贯穿项目的约定 本篇涉及 1 条

贯穿项目的约定

  1. 部件组合出武器是中心,背包、升星和怪物设计都围着它定。

    查看规则说明
  2. 只有一份永久档案,成功撤离才兑现,死在里面什么都带不走。

    查看规则说明
  3. 压力要有出处:房间按预算放怪,攻击先预警再结算,预警画在哪里就打在哪里。

    查看规则说明
  4. 规则由负责的模块来管,界面、录像和展示不另建一套。

    查看规则说明
  5. 自动测试通过,不等于手感、画面或数值通过,这些留给人来看。

    本篇涉及 查看规则说明

本篇如何落实

测试能说明状态链不丢东西、失败能回滚;手感、观感和真实窗口里的退出重启,一直留给人来看。

GA 的自动测试从七月起一直在加,到九月已经是三百多个入口。记录里反复出现同一句判断:自动测试通过,不等于试玩通过。这一篇讲测试是怎么设计的,查出过什么,漏掉过什么,以及哪些东西一直留给人来看。

两条早期的边界

原型刚起步时很像一个测试场:只有一个大房间,怪物行为单薄,掉落单调。那时从几个开源项目里提炼最低可用的做法,同时把授权写清楚:授权不明或者保留全部权利的项目,只读设计,不复制代码和素材;署名许可的内容进正式项目之前,要重新核对授权并署名。

第二条边界来自一次房间扩建。为了在房间右边加一块专门刷怪的区域,房间加宽,右墙往右移,两条把目标坐标写死在旧右墙附近的测试就失败了。判断是:这不是战斗逻辑的问题,是测试的位置和房间对不上,让测试从房间尺寸推出贴墙的坐标,以后房间再变,测试跟着变。记录里还写了两条:不许为了让测试通过把房间缩回去,右边的刷怪区是我明确要的;对物理时序敏感的测试,各跑三到五次确认稳定。

少量高价值的测试

七月中旬起,测试路线图定了目标:用少量高价值的测试,覆盖最容易出“东西消失、状态不同步、流程卡死、数值失控”的跨模块链路;优先做能自动复现、能给出固定种子或者最小失败轨迹的部分;手感和真人的判断,不伪装成自动化的结论。后面不以增加脚本数量为目标,而以覆盖跨模块的状态链为目标。

路线图分八项:快捷栏和消耗品的状态序列,构筑的确认浮窗,地面拾取、丢弃和背包满了的回滚,房间切换和战斗的生命周期,武器攻击、蓝量和双槽的压力,Boss、召唤物和胜利结算的竞态,长时间运行的稳定性,以及按我的要求放到最后的真人试玩。测试期间的规矩是“只记录,不修复”:发现的问题统一写进清单,除非挡住了后面的测试,免得测试做到一半,基线自己先变了。

整局自动试玩

路线图之外,还做了一个从正式起点开始的整局自动试玩。动手之前先定了第一层该多难,我定的是“整体偏低,但不等于随便通关”:装备合理、正常搜刮、操作还行的玩家应该比较轻松;空手、只拿一把一星钩索这种极端的低配,不要求能通关,只当反证,如果它们也能随便打穿,说明第一层太简单了;反过来也不能要求装备合理就一定通关,连续失误和冒错了险,照样应该死或者被迫撤离。

自动玩家的限制写得很具体。它只能读玩家看得见的状态,不能去读私有字段拿到隐藏的信息。撤离房只是一个决策点,不是自动的终点。房间之间必须真的走过去,不能一路传送然后当成试玩结论。失误按固定种子控制,普通玩家档是七成正确、两成轻微偏差、一成明显失误,失误只能通过真实的操作造成浪费,不能直接扣资源。它给出的只是代理指标:每个房间花了多久、伤害从哪来、蓝量用了多少浪费了多少、命中率、撤离时的状态。爽不爽、读招自然不自然、操作别不别扭,还是要人来判断。

第一个硬卡点在游戏本身:Boss 之后进下一层的入口还是一个占位。于是第一版只跑第一层的闭环,“选择继续但功能没开放”单独记录,不当成卡路或者流程崩溃。

第一版跑通以后,连着跑了几十个固定种子,覆盖第一层的六种 Boss、融合、双槽换栏、事件房,以及“到了撤离房还继续探索、再回来撤”的闭环。自动玩家自己也修了几轮,比如判断路线能不能走,改用角色真实碰撞体的扫掠形状,修掉“中心一条射线看着通、圆形的角色却卡在障碍角上”。记录里有一次成功的闭环,走了七个房间,最后撤离时剩 10 点生命、1 点护盾、0 点蓝量。

自动试玩查出的问题

这批问题集中修了一次:

  • 快捷栏之间不能直接拖着交换。新加了移动和交换的事务。
  • 主界面不显示快捷栏。改成读同一份状态来画,不另存一份。
  • 群居的召唤物死的时候,信号的参数转换会报错,取决于房间里的敌群和死亡顺序,不是每局都出。改成绑定父体的弱引用。
  • 炸罐延时引爆时,目标先被释放了,投射物每一帧都报错。根因是命中的对象存在一个强类型的字段里,目标没了以后,参数转换在进入结束函数之前就失败了,结束函数里的销毁永远执行不到,投射物每个物理帧都走一遍同样的路。最多的一个种子报了一万八千多次错,整局却不崩,在一片报错里照样完成了撤离和结算。改成存弱引用,到期先清状态,再安全地结束。
  • 在测试大厅用鼠标打一只 Boss,打到半血附近它“突然永远不动了”。查下来不是状态机停了,是一个“怪物:静止”的调试按钮固定在屏幕中间,正好和 Boss 的点击区域重叠,攻击时误点了它。

还有一条归到测试方法的限制:固定地图种子并不固定普通武器箱给什么,所以比较武器强弱,必须明确指定起始武器。

没人看守的丢档路径

八月下旬做了一次全盘的代码审查,方法是结构化的度量加跨文件的重复检测,不是一个文件一个文件地读。结论是代码卫生比同规模的项目好:全库只有两处待办标记,正式脚本里没有残留的调试打印;超过 800 行的正式脚本几乎都已经登记过,唯一没登记的是那个奖励箱演示面板。跨文件完全相同的函数体有几十组,审查只挑了几处最集中的去收拢。

收拢分成五批,硬规定是行为零差异,每一批都要做变异测试:故意把代码改坏,确认断言真的会变红,还原以后再变绿。

第一批是存档的原子写入。档案和本局快照各有一套同名的函数,其中大部分逐字相同,合起来是一整套“写临时文件、轮转备份、替换、失败回滚、坏档隔离”。排第一的理由是:这里出错就丢档;这几十行全是失败路径,最不容易被测到;两份副本意味着修了一处,另一处不会跟着好。

变异测试在这里找到了审查没想到的缺口:把“替换失败时回滚”的那段删掉,两边原来的测试都不变红。也就是说,抽出来之前,这条丢档的路径一直没人看守。新的测试会报“主档没有回滚,玩家存档会丢”。范围于是从“补一处断言”扩大到“共用层的测试覆盖全部失败路径”,外部行为没有变。

其余几批里也有值得记的判断。配色只做常量化,不做色号合并,因为把不同的色号统一会改变观感,要人对着截图另外决定;十六进制的值必须让引擎算,此前手算在 8 位量化上错过。代码里一个 0.001 的字面量同时被当成零向量判断和除零保护,两种意思必须分开处理;拿平方长度和 0.001 比,等价的长度阈值大约是 0.0316,比字面上看起来大三十倍。

这一轮之后全量回归变绿,记录里特意写了一句:不能因为全量变绿,就把没做完的批次当成做完;不开窗口的测试不走画面绘制,像素输出没法自动验证,观感还是要人看。

三项补齐,一个结论被改写

九月初补齐了路线图里拖着的三项。

融合武器的长时间测试,新做了一个走正式链路的夹具:一星战刀和一星手弩经过真实的背包界面、构筑、事务和武器槽融合,然后连续打两分钟。蓝量预留的总数和最后实际扣掉的总数完全一样,结束时残留的投射物和攻击节点都是零。Boss 的竞态用一组固定种子覆盖了同一帧死亡、重复的死亡回调、反过来的死亡顺序和重复的房间完成。稳定性测试短跑长跑都做了,节点数稳定,对象数只在短跑热身时涨一次,没有看到循环增长;记录写明,退出时的警告不等于循环泄漏。

之前有一个种子配一星手弩,四十秒打空蓝量以后被一只影狼卡住,超时没结算。这个结论被改写了:融合夹具证明攻击、蓝量和节点回收的链路没问题;这个种子最新的完整日志显示,超时的时候已经到了第十个房间,房里没有敌人。原来“停在第九个房间、还有敌人”的说法只留作旧批次的记录。超时不再算在融合战斗的头上,而是留作自然整局里路线和找撤离点的边界,不升级成一个没定位清楚的正式修复。

测试通过了,东西还是错的

有一批问题,是测试明明通过了,东西还是错的。

一份奖励箱的演示界面通过了验收,又被撤回。它把四件防具压成了一个“防具”摘要槽,把最多四格的快捷栏压成了一个“快捷物品”槽,而测试只检查这些职责存不存在,没检查真实的槽位数量。之后重新设计时定下一条:演示稿的测试通过,不能写成“正式界面已经接进去了”。

九月录怪物演示时,这类问题更多。七月、八月做完的怪,做的时候都跑过自动检查,一上镜照样出问题:墓穴织城者的骨墙在正式游戏里每下只掉 1 点血,之前的录像是录制脚本直接往墙上注入了伤害;逐相圣躯的部位被当成杂物,每支箭只扣 1 点;遗骸吞噬者横扫的预警大约 132 度,实际判定大约 189 度;黑棺巡礼者的魂弹,请求类型写错了,正式的 Boss 执行器从来没有生成过它;百骸巨像的骨弹速度不对,因为录截图的测试场景只记了“发射了”,从来没生成过真正的骨弹。这些多数是人看出来的。逐帧的自动检查只能按像素判断地板铺没铺满、怪有没有出画面,六十三只怪“没有缺映射”,只说明每只都录到了,不说明录对了。

还有一次是人自己也漏了。逐相圣躯的图鉴重录以后看过一遍,判了通过,后来我发现动图里玩家和 Boss 都变成了灰色:动图的调色板被地砖占满,角色的颜色被量化掉了。

九月下旬的一次反馈之后,这条写进了规矩:生成了截图、编译通过、有了动图,都不能说问题已经修好。

一直留给人的部分

有几样东西,从头到尾都没有交给自动测试。

中断恢复的核心链路、开始页的确认和放弃、结算崩溃窗口的处理都有自动测试,但在真实的窗口里退出、重启,包括在 Boss 战中途退出,记录写明要在真实窗口里由人来做,不开窗口的运行不能代替。界面整理的最后一步是在真实窗口里把所有页面连着操作一遍,自动测试只算行为证据,不能代替人看画面和交互。展示版剩下的自然试玩,九月中旬交给了我自己手动操作。中间有一段时间,这部分被记成“工具卡住了”;九月十七日的复核改了这个判断:原生窗口可以直接截图,也能点进大厅,剩下的只是还没做完,不算工具的问题。

百骸巨像的真人试玩,我也决定自己来,不记成通过。

现在 GA 的测试能说明的是这些:跨模块的状态链不丢东西、不卡流程,事务失败能回滚,同一帧的竞态不重复发奖,长时间运行没有循环增长,以及那些被变异测试确认过真会变红的断言。手感、观感、读招自不自然、真实窗口里的退出和重启,一直留给人来看。