“现在强化学习在机器人领域的应用也越来越广，不过目前还没有产生如同当年阿尔法狗或者最近chatgpt问世后产生的巨大效果，包括这几年最厉害的波士顿机器人主要也不是靠强化学习做出来的。
这其中很大一部分原因是，现实机器人的目标功能各式各样，对每种功能都要设置单独的目标函数，效率太低，而且很多功能的目标函数具体是什么也很难描述清楚，导致强化学习在机器人领域的泛化能力不够。
不过在我们所处的游戏中，在格斗领域，却不一样。游戏中各种物体的物理模型都是理想的，研究其物理运动规律比现实简单了很多，更重要的是，在格斗领域，目标只有一个，即以最小的代价战胜对方，而对应的目标函数就是刚才所讲的总伤害期望函数。
只要目标函数确定，那即便用完全随机求解方式也能求解出最优策略，只要算力够强或者时间够长。
当然，大家也看出来了强化学习模型的总状态空间近乎无限大，而目前我们算力有限，还不足以实时计算出动作策略，因此还不能在实战中使用强化学习程序，所以当前只能像状态机那样在战前计算出动作图表，并且是相对简化图表。
首先要将动作空间减小，每种状态下考虑一类动作即可，然后再靠人手动设定各状态对应动作。这里只需要设定大致动作，然后交由计算机做计算迭代，将动作细化至局部最优即可。
动作设定方式在资料上写了，部分继承了状态机的动作策略，另一部分是新的。这种设定方式难度不大，因为我们不需要找到特别优异的策略，在高机动飞行格斗中只要有效果过得去的策略并照此执行就已经很不错了。
即便如此，用第二类技术能做的飞行格斗动作也远比第一类技术，也就是感性状态机，更全面和细致，比如在感性状态机中防守和进攻动作都只有几类，而第二类技术的防守和进攻动作类别几乎无限，在小半径缠斗中效果会更好。
第二类技术整体模型就是半自动半手动的强化学习模型，他的主要内容集中在状态转移概率模型上面，所需的前置知识也不少，主要包括机器人动力学和空气动力学，在场的机器人团队研究者们应该已经学过，那我们这里只做下整体介绍，具体内容需要看资料，有不懂的问我，另外资料上还包含了对应第二类技术的地面格斗技，也可以看下。”
廖蒙又花了半个多小时将第二类技术前置知识及其应用技术大致介绍了一遍。
“关于第二类技术就介绍到这，大家也不用急着学，因为第三类技术也是一种完整的机器人格斗技术，就算不学第二类技术也行。而相比起第二类技术，第三类技术效果更好，计算量也更小，不过学起来更抽象一些。大家可以听完第三类技术的整体介绍再选择要学哪一种技术。
第三类技术叫做基于几何学的格斗技。在场的研究者应该有来自数学专业的，那你们应该知道研究有度量的对象的学科就是几何学，而作用力就是有明确度量的对象，那么力学也可以用几何学表示。
事实上现实中已经有一本叫做经典力学的数学原理的教材，从几何学角度介绍了经典力学，而我们今天要介绍的内容是具体到格斗领域的用几何表示的力学，基本框架是用现代微分几何的流形来研究格斗。
在介绍之前，需要从几何的角度明确一点，格斗是什么？”
关于格斗的定义是什么大多数人并没有仔细想过，网上查资料也只是简单介绍了句格斗就是搏斗、战斗，没有详细定义，因此在场观众也好奇廖蒙会怎么定义格斗。
“简单来说，格斗就是在一定约束下，具有一定目标的几何体的碰撞过程。通俗来讲，这些约束就是人体运动所遵守的力学规律、关节转动范围限制、地形限制等等，而目标就是之前所说的保护自己、击败对手。
不管是约束、目标还是碰撞，都可以在几何上有明确定义，虽然不完全和现实是一回事，但已经能够满足我们的需求了。至于几何体，那就是人体或武器，都有明确的三维形状。而碰撞，就是力学上的两种物体接触发生动量交换的过程。
更广义来讲，一切物理上的战斗都是几何体的碰撞，包括现代战争中火炮攻击或者电磁对抗。
比如，火炮攻击的基本过程是炮弹飞行到目标体位置或者周边位置发生撞击和爆炸，这里炮弹和目标体都有具体几何形状、爆炸冲击波也有几何形状。只不过前者是和环境有明显边界的封闭几何体，后者是无明显边界半封闭几何体。
在电磁对抗战中，电磁场也是能用几何来描述的对象，只不过是看不见也无边界的的开放式几何体，其对敌方单位破坏机制也不是撞击或爆炸那种直观碰撞，但电磁波对应的几何体的确与敌方单位对应几何体发生了相应交互才使得对方被破坏，在几何上也有办法描述这种交互，只要将其定义为碰撞就行。
反过来说，几何体之间的交互方式有无穷多样，战斗就是其中的一种碰撞方式，而格斗就是战斗中的一种人体或武器碰撞方式。”
“哦哟！这个定义牛b！”
在场有研究者喊道，随后现场又响起了一阵掌声。今天在台上的这位风大师已经带给了他们不止一次惊异。
“目前我们的研究范畴还只限于格斗，下面介绍下整体思路。
格斗是几何体的碰撞，这里的几何体不是直观上人体和武器的三维几何体，而是它们构成的位形空间，这是一种流形。
流形是局部为欧式空间的空间，具体介绍有在资料里写，不过建议大家去看微分几何教材，我想科学院应该早就有这方面教材了，事实上我看得教材是当初悠院长给的。
一个自由度可以构建一维流形，但考虑到在时间轴上的运动就得构建成二维流形，以此类推，n个自由度构建n+1维流形。我们目前只将人体当做多连杆刚体简化模型，这样算下来也有上百个自由度，因此对应的位形空间自由度也过百。
而在双人格斗系统中还要考虑敌方的位形空间，这样就构成了总位形空间，不过不能简单将二者自由度相加，因为当二者碰撞时有的自由度相互之间不独立，这样就算不上自由度。
另外在敌我双方的位形空间不碰撞时，总位形空间是不连续的，这样的空间是拓扑流形，做进一步研究需要微分拓扑的知识。同样，也建议看专业教材。
这种拓扑流形叫做格斗流形，由于包含了时间维度，所以在前两种技术中求解格斗最优动作策略的问题，就变成寻找格斗流形上的凹点问题，核心在于研究格斗流形的空间结构特性。”