AI 最危险的想法：让它自己改进自己 #AI新星计划 #Anthropic #Claude #AI #人工智能未来

当下AI研究里面最诱人的，也是最危险的想法，就是让AI自己去改进自己。比如说AI去写代码，训练下一代模型，然后你让下一代模型呢反过来再去改进他自己，然后再去训练下一代更强的模型。很多人把实现这个功能的那个时刻啊叫做基点。因为一旦这个循环跑通啊，大家就能想象说AI就不再受人类能力的约束了，直接可以甩开人类自己往前面跑。今天我们就来进进一下throropic.最近刚发布的这篇文章标题呢叫做当AI可以开始自己构建自己的时候，他开头呢做了两张图，我觉得很有意思。一张呢就是大家看到的这个像素风格的cloud图标，它自己复制出了一个更大的cloud.然后你看它镜头慢慢的拉远，更大的cloud呢又会变成下一轮里面的小的这个cloud,然后继续开始复制。如果AI真的进入了自己造自己的这种循环增长，就不是一代一代这样。慢慢的来来，今天一轮套一轮越来越快，越来越快，我一张图会非常的有意思。第二张图呢讲的是AI研发的方式是怎么变的。比如说一开始呢是这个工程师，然后坐在电脑面前亲手去写代码，造出了第一代的这个cloud.然后呢，有了这个聊天机器人，但主角其实还是人啊，就是AI可以帮忙写几段代码做一些事情。然后呢，有了能干活的这个agent,那就不只是聊天了，能自己改文件，自己跑代码。到了现在这一步啊，你看这个agent还能再分派出一堆的子agent一起干活，一起干几小时的活。然后它最后一个卡片啊，最后一个状态，它的名字叫做closing的loop,就闭环AI自己设计训练，然后改进下一代模型模型本身的持续的迭代。这就是s lopic这篇文章真正想讲的事情啊，就是AI的研发可能开始变成一个自我加速，然后自我革命的这样一个循环。我觉得这篇文章总的来说呢是一篇很有意义的，也是很有意思的一篇文章，很值得大家去读一下。然后它也是这个当下以及接下来几个月这个AI前沿的发展方向。但这篇文章呢大家不能当做这个严肃的论文去读。就是它是elolopic自己写的，里面有一些数据，然后当然也有很多的包装，还有一点的那种公关位。什么公关位呢？就像说我的模型特别危险，所以大家全世界得非常重视。我重视我的模型这样的这种公关的味所所。我我的态度啊就就是大家应该事实归事实，让数据呢当然可以参考，但是结论啊不要照单的全收。然后我们接下来可以具体来看一下这篇文章里面具体讲了什么东西，然后来带大家一起读一读AI加速这件事情啊。其实不用我讲，大家应该平时也能感受到了ethropic给了几个具体的数字啊，我们可以来感受一下。就cloud呢已经写了ethropic正式代码库里面百分之八十以上的代码了。然后一个典型工程师每天合并的代码量呢大概是这个二四年的八倍左右。第三方的测试里面，cloud能独立完成的任务已经从人类四分钟的活，然后变成了这个一个半小时，然后又变成了两个小时的任务。在一个小型的这个实验室里面，cloud把代码跑快了五十二倍。看到这些数据之后呢，大家其实有些别激动，然后别焦虑。因为我觉得esoropic在讲misss这个模型的时候啊，就是前段时间传出来非常非常强大的那个模型的时候呢，有一点吹过头了。那我为什么这么说呢？因为我之前在网上也看到过了一些其他的文章。比如说这个curve这个作者他实测过missils呢，报告里说找到了五个这个确认的安全漏洞。但其实其他四个呢都不算是漏洞，只有一个算是漏洞。但而且还是这个这个DV的这样的漏洞。包括这个mozilla之前说的也是用missils呢，帮他找到了大概二百七十一个这样的漏洞。但也说没看到这些漏洞，是人类专家找不到的漏洞，或者是多么多么难的漏洞。但更有意思呢是ethropic missile团队啊之前展示demo用的那个旗舰的漏洞，然后有人拿八个小模型型测测试，这八个小模型呢，把这个漏洞也都检测到了。所以我就觉得说啊，因为大模型语言呢这两年因为还没有底层架构上的再次突破，本质上呢还是在预测下一个单词是什么。所以呢你可以理解它表现的很聪明，但不会是那种天然会判断真假，然后会去判断价值观，会去判断方向的这样一个新的物种。然以人类检查这一步啊，我觉得还是短时间内绕不过去的。但问题是啊，尽管有这些可能比较有争议的证据，或者它稍微强一点，稍微弱一点，就算打了折扣，AI的发展的速度趋势也非常明显，也是不可阻挡的。这个趋势ethropic文章里面有一个很重要的思考，我给大家看一下，就是呢他把现在的这个所有的大的工作啊分成两类。一类呢就是判断。一类呢就是判断干活的意思呢就是包括了写代码，然后跑实验、修bug、做报告等等。判断的一意思呢就是去说选什么问题是值得研究的，哪个结果比较可信，什么时候该去停止，什么时候该去换一个大方向。现在的cloud,包括其他的模型都已经很擅长第一件事情，人类给目标他就自己会想办法。但就是这第二件事情呢，ethropic自己也承认，中间跟人类还是有差距的这就是今天的AI和下一代，真正能自己造自己的这个AI的之间的这个差距。不过这个距离啊可能没有大家想象当中的这么大。Ethropic内部已经观察了一个现象，就是cloud写代码越来越快。然后呢，人类的代码的审查呢已经成为了新的瓶颈。今天人类在判断这件事情上还有一些优势，但这个优势呢肯定也是暂时的。大大家想象一下，自己这个在公司里面管理场景景，果果公活速速度足够快，审查查不上上。那判断身身呢肯定然然被被化情，被被个被迫放水。 Ethropic自己还提了一个反驳的论点啊，就是真正的AI研发大部分时候不是突然有个天才拍脑袋，然后想出来一个特别厉害，特别天才的划时代的想法。现在大部分时候啊，就是每个研究员都有一大堆的想法，可以直接去看这些想法，然后最终的结果大概是怎么样子。如果有些想法的结果比较好，那再去优化，然后再去重新试一遍这类的话，我觉得正好是现在AI最擅长的。我们小时候学过爱迪生呢，有一句名人名言叫做天才呢，都是百分之一的灵感，加上百分之九十九的汗水。但现在其实这百分之九十的汗水都可以被agent的话，可以被自动化的s sropt呢还提到了三种未来的场景。第一种呢就是AI的能力啊突然放缓。但就算这样呢，就算把现在这些已经开发出来的AI的能力工具扩散出去，其实也会改变很多行业。那个时候呢，一个一百人的公司可能干以前一千人公司才能干的这个事情。然后第二种呢就是AI继续去变强。但人类呢还负责去制定给AI,去制定这个方向。公司会变成一个人带一堆AI的工人，然后效率暴涨，但审查验证管理会变成这个公司发展最大的瓶颈。这个第三种场景呢也是这篇文章主要说的AI改造自己AI给自己定方向的这样一个场景。到了这一步以后呢，人类就根本无法去监管验证，去踩刹车，最后对模型完全失去控制了。所以整篇文章讲完之后，做了这么多研究之后，antho ropic最后的建议竟然是人类最好有一个能放慢、能暂停AI研发的这样一个选项。这个建议呢我就听起来很负责任，对吧？但我要打一问号，这也就是我一直对anthoropic这家公司有一个很不能理解的这样一个部分。因为eoropic不是旁观者，他就是现在跑在最前面的这个选择，一边自己把油门踩到底。然后一边呢还提醒大家说，嗯，这个赛道太危险了，我们应该讨论一个限速的这样一一个规则。所以呢这个结论我觉得大家看看就好了。然后每个人都有每个人自己的想法，对吧？然后最后再谈一下我自己的一些思考，就是回到那个开头看那两张图，我觉得很有意思。这一张图呢是讲的是速度AI,一旦参与了制造下一代AI,这个循环就会变得越来越快。然后这一张图呢讲的是角色人从亲手写代码，变成了让AI写代码，再变成让AI去指挥更多的AIAI.每前进一步呢人类就不可避免的就后退一格，速度在加快，角色呢在后退，这两件事情其实是绑在一起的。有eoropic员工我看到过那个讲过这么一段话，我觉得很有意思。大意呢就是当agent运行顺利的时候啊，觉得自己完全不重要，因为一切都自动化了，比自己做什么事都快很多。当agent崩溃的时候，又发现自己也什么都不重要，因为自己完全不理解。刚刚agent在做的这个很多繁杂的大量的工作，这样一种感觉呢其实并不矛盾。他们其实是同一件事情的两面。你让出去一个环节，AI稳稳的接住了，然后做的又快又好，你觉得很合理。于是你再让他多做一个环节，你多让出去了一步，让他可以自己感受啊。就是你每现在多让出去一步，你判断他做的对不对的。这个能力啊其实也跟着少了一分，这才是真正人跟i之间递归的东西。人类让出位置的过程呢在循环，每一次都是充分的理由。每一次呢都是主动的自己的觉得很睿智的选择。但当你真的让到某个位置的时候啊，再停下来检查，会发现自己已经完全看不懂了当你回头看的时候呢，又觉得自己的每一步选择又很合理。对，这就是现在这样一个人跟爱之间的这样一个很有意思的这个处境吧。好了，今天视频就到这里了，我是地总核金李超，我们下次见，抖音。