近日，2023年IEEE游戏大会（Conference on Games, CoG） 足球AI竞赛正式公布了比赛结果，网易互娱AI Lab成功卫冕，分别以2182.09分和2053.84分的成绩再度包揽了5v5和11v11两个赛道的冠军，并以高于亚军450.87分和562.45分的绝对优势取得了断崖式领先。值得一提的是，在主赛道11v11的两轮正赛共计420场比赛中，网易互娱AI Lab取得了420场全胜的碾压式战绩，以场均净胜超过20球的成绩击败了来自众多知名企业和顶尖学府的AI团队，相较上一届比赛中的表现也取得了大幅提升，再度彰显了实验室在游戏AI方面的技术硬实力。
IEEE游戏大会是游戏人工智能领域的国际顶会，汇聚了来自全球游戏AI领域内的研究和开发人员，共同探讨游戏技术与设计相关的前沿话题和未来趋势。本次IEEE游戏大会下设的足球AI竞赛已连续举办两届，吸引了包括来自哔哩哔哩、字节跳动、清华大学、中科院等众多工业界和学术界的顶尖队伍，竞争非常激烈。
本届足球AI竞赛设置了5v5和11v11双赛道。其中，5v5赛道要AI学会控制除了守门员之外的4名队员，而11v11赛道则要AI学会控制包含守门员在内的全部11名队员。在策略层面上，智能体需要在无法准确预知其他智能体的行动时进行决策，并与其他智能体进行良好配合，如适时进行截断、阻挡、突破和反击；在宏观层面上，智能体还需要在进攻策略和防守策略之间找到平衡，其中所涉及的团队协作和竞争对抗十分复杂，这都对AI训练提出了挑战。
面对以上难题，网易互娱AI Lab使用了已经在公司内部验证多次的、从零开始的深度强化学习方案进行智能体训练，从而极大提升了智能体的强度，并令其表现出了极为流畅的传接配合。其中，在强化学习部分，实验室使用了PPO（近端优化算法）在CTCE（中心化训练中心化推理）模式下进行自博弈训练，所用的策略网络主体现由Transformer和LSTM两大模块构成。整个队伍的决策现在可以在经过神经网络推理后一次性全部输出，减少了推理所需算力从而极大地加速了训练过程。同时，得益于自研的分布式深度强化学习框架，训练过程加入了和数百种不同风格的对手进行对战的模拟场景。最终，网易互娱AI Lab的智能体能够在此次比赛中面对各种未知对手的情况下稳定取胜，而且相较于其他参赛队伍也表现出了更加多样的策略，例如下底传中、防守反击、战术犯规等真实足球比赛中的常见战术。
网易互娱AI Lab在开局取得球权后在面对多名防守队员的情况下连续精准传球，光速破门
除了竞赛中的竞技对战功能，游戏AI还能被应用于游戏冷启动的友好陪玩、平衡性测试等场景，前者可帮助提升玩家的游戏体验，而后者则能在游戏开发中帮助降低成本并提升效率。网易互娱AI Lab的游戏AI相关技术应用了前沿的模仿学习、强化学习、进化学习算法等，目前已经在多款游戏中落地，满足各类游戏场景需求。从理论到实践、从简单到困难，网易互娱AI Lab将持续通过游戏AI技术带给玩家更为精彩的体验，赋予游戏全新的价值。
| 
发表于 2023-9-13 17:08:17
