4.4　本章小结

本章介绍了模仿学习的相关知识。针对游戏自动化测试，笔者介绍了一种一小时完成训练的模仿学习算法，该算法是基于纯图像训练，无须游戏内部接口，并能在CPU下实时运行。另外，笔者在尝试模仿学习的过程中遇到不少困难，这里给大家总结一下训练过程中可以采用的技巧。

1）人工录制游戏的时候预先设定好规则。比如枪战类游戏按照固定路线跑图、飞车和酷跑类游戏中避免多余的动作，通过这些手段能减小网络训练的难度，加快收敛速度。

2）网络结构很影响模型效果，就目前的经验而言，轻量化的残差网络在游戏AI的训练上能取得不错的效果。

3）采用LSTM架构去提取游戏的时序特征，输入可以为训练完毕的轻量化残差网络从多帧图像提取的全连接特征，输出为动作标签。

4）需要考虑实际游戏运行过程中的动作延迟。在训练模型时，需要将动作标签前移到对应延迟时间的帧上面。

5）由于人工录制游戏过程中，每一类动作对应的样本数量差别较大，需要对样本进行重新采样，使每一类样本数量超过一个阈值。阈值的设定比较依赖经验，一般设置为20%。

6）增加重置机制。一旦AI进入录制期间没出现过的场景，卡在特定区域较长时间，则启动重置。在飞车类游戏中，重置操作为点击对应的重置按钮，让AI回到赛道的中心。在枪战游戏中，重置操作为执行一套预先定义好的动作序列，以尝试摆脱困境。

在kindle搜索B089Y7R3XM可直接购买阅读