模型的能力如何与场景对齐呢？ #AI模型 #AI产品经理 #知识分享

今天我们梳理一下哈尼斯工程里面模型的能力和我们实际业务能力的全景图，以及如何对齐。我们的哈尼斯工程包含模型，对应的另一端其实是我们的业务场景。业务场景和大模型之间，其实就是要看它的推理能力，或者是对于问题的梳理能力，能否和场景之间对齐。大模型肯定是越大，各方面能力越强，对吧？而实际的业务场景有简单的形态，比如说简单的文件拖拽，这是基础的。再往下走，业务再复杂一点，那就是对于文件内容的一些求和，或者说做一些简单的数据处理，这里只是假定业务场景里面的某一个形态。那么再往下走，就是更复杂的业务了，比如说面对海量的数据，我要找规律，从很长的数据里找规律。那么可以很明显的看到，模型能力由小到大，而我们实际的业务能力也是由简单到复杂。那么如何对齐这件事情呢？最简单的对齐方法，就是你要看模型当前的推理能力和你当前的数据处理需求，它是否能够理解。通常情况下，你可以做的很简单：把业务本身里的一些推理，或者说是一些复杂逻辑交给它，看它能不能完成。这个推理和对齐的过程，如果在实际的哈尼斯工程里能够实现对齐，那固然很好。你只要做好相应的scale技巧，或者做好相应的适配、做好数据适配，就能完成处理。如果是强模型能力，肯定是覆盖这些弱场景的，对吧？如果用强模型，复杂的任务我能解决掉，再给个简单的，那更不在话下。就怕的是中间这种介于两种形态之间的情况。我梳理了三种情况：第一种情况是对齐，也就是平行状态的对齐；第二种情况，就是用强模型去覆盖简单业务，这个必然也好解决。最难的是模型相对弱，却要覆盖相对复杂一点的场景，这种情况也是现在研究最多的方向。这是我基于整个全景图里模型的强弱到业务的复杂程度，梳理出来的三种场景。前两种场景显而易见，你只要做好数据处理和相应的技巧，对齐就能完美解决。而对于第三种情况来说，通常可以分为三种子情况。第一种情况，就是你的模型能力远远比你要处理的任务的复杂程度还要弱，这种情况一般是无解的。相关的论文研究表明，通过技巧或者skill是无法提高整体哈尼斯工程里模型的深层推理能力的。所以第一种情况我们就pass掉，也就是第三类里的3.1情况，完全不能做。3.2的情况，就是它刚好越过阈值、初步对齐的情况。这种情况就是之前讲的类Scale，类Scale就是我通过将业务拆解成子问题，把它拆解成逐层递进的形态去做，这个在之前的几个哈尼斯案例里都有。第三种子情况，就是模型的业务逻辑能力虽然覆盖了任务，但是没有很好的表现，也就是看起来它好像覆盖了，但是又不能很好的解决。对于后面这两种情况，我们通常有几种行为范式。第一种行为范式就是先做多个再选优。第二种行为范式，就是你在实际处理的时候，把握哈尼斯整体的原则，先做再校验。什么意思呢？就是相当多的论文里提到，我先给出一个解，然后和环境搭建一个反馈体系，先完整输出结果，不断让它去校验。第三种情况就是我们常用的ClowCode里面的模式，先想再做，边想边做。这里面涵盖的内容也比较多，比如前期的头脑风暴，或者就是ClowCode里面的plan模式，就是我先做规划，做海量的规划。当哈尼斯工程把规划给到你，你作为辅助，觉得它规划的没有问题了，你再基于规划去做。所以基于这种范式路径对应的情况，也就是说第三种大情况里，我们大部分时候其实就是把握这三个行为范式：做好多个版本，然后筛选；先给一个基础版、毛坯版，然后螺旋改进；第三种就是一开始就做出非常详细的规划，先规划，然后再去做。这个是针对于哈尼斯工程里面，在模型和任务之间做好对应之后，实际落地的几个行为范式表现。