如何做好研究？ 看到 Anthropic 一位研究员写的一篇文章《How to be good at research》，很受启发。它讲的不只是怎么选研究问题，还包括如何升级输入、通过写作校验思考、用小实验缩短反馈循环，以及在开放交流中积累长期复利。很多观点对研究和职业成长都很有启发。#AI #研究方法 #复利 #大模型

哈喽，下班啦。今天跟大家分享一篇文章，是Anthropic一个研究员写的《How to be good at research》，讲的就是你怎么样才能做好一个研究。我看了好几遍，我觉得这个不光对我们做研究来说非常有帮助，而且对于普通人去做职业发展，或者是我们做投资、做创业，都有非常直接的启示，因为他讲的道理都是相通的。我非常推荐大家去看原文，我想分享一下给我留下非常深刻印象的一些观点。那第一点就是，选择研究什么问题，可能比你把这个问题做出来更重要。为什么呢？因为很多时候我们选择做某个领域的研究，有两种方式。一种是说，前沿实验室都在做什么研究，你看到了什么论文，你看到了什么非常好的成果，然后你逆向去推，大家为什么会做这个研究，大概需要什么条件，然后自己可能也会去尝试。但是这样的问题就是，其实你并不知道，这些前沿实验室是怎么想的，它的初心是什么，它为什么要去选择这个方向。也许它探索了一段时间就已经转向了，但是你会发现，等你看到它成果发布的时候，都已经是人家选择这个方向一年之后了，可能它刚提出这个方向，就有几千个研究员扑上去了，这是一个非常拥挤的赛道。但是另外一种选择问题的方向，就是首先你去看这个领域最重要的问题是什么。说当时贝尔实验室有一个很有名的科学家。 他当时经常在别人吃饭的时候，就坐在别人的餐桌旁边去问他：“你研究的是什么领域？你这个领域有什么非常重要的问题？”然后他知道之后，他说：“你为什么不去研究这个问题？”然后别人就会经常端着盘子离开。他觉得大家其实应该更关注自己这个领域最核心的一些问题，但是很多时候我们其实没有勇气，去面对那些真正重要的问题。 这是一种，就是先去问你领域那最重要的问题是什么。其实还有一种就是，其实每个人都有自己的直觉，对吧？都觉得自己有一些隐约觉得自己要做的重要的问题的方向。那这个时候往往，其实是应该去设置一些实验条件，去测试这个方向是不是真的，是不是能够验证你的假设。其实这样的一些方向，是更容易让你带来原创性成果的一些方向。 对，我觉得这个可能是印象最深刻的一点，也是他开篇就讲到的：选择问题本身，是比去做它更重要的一点。然后第二点就是要升级你的信息源。因为如果我们每天看的都是这些行业热点，都是大家讨论的这些热点信息，都是一样的观点的话，其实你产生的想法也是非常类似的。所以作者的建议是，你要回到经典，你要回到那些经过时间筛选还不退色的那些研究上。他举了一些例子，比如说像MOE这个架构，是1991年大家就已经提出来的，像反向传播也是从1986年就已经开始流行的。 甚至是像Richard Sutton那篇《苦涩的教训》，也是在2019年成文，大概就1000多字，但是它的预测效果，却是比一些上万字的专著要更有效果的。 所以他就说，一个领域的经典论文，其实是可以历久弥新的。这是一点。 另外一点就是从广度上来看，其实我们可以从跨学科领域找到很多的启发。比如说大模型可解释性的研究，就来自于神经科学领域的一些见解。还有很多例子，都是跨领域给你带来的启发。所以其实这样的一些信息源，是你真正应该去追寻的。 我觉得还有一点，就是你独特的经历，和你独特的这些成长环境，其实会给你提供很多的养分，让你在选择研究问题的时候，就真正能找到一些差异化的方向，这个反而是做研究一个非常好的输入。 然后第三点就是讲到写作，写作是一个帮你去看到你思维中有哪些逻辑不顺的地方的很好的方式。像Paul Graham就是硅谷的创业教父，他经常写他的essay，就写他的文章去分享他对投资和创业的一些想法。他就讲到，其实当你觉得一个idea，一个想法已经非常成熟的时候，这个时候你把它写下来，你就会发现有很多逻辑断裂的地方，就能够发现很多逻辑漏洞。 包括像费曼，他之前也说过，其实你最大的敌人是你自己，就是你自己可能倾向于相信一些东西，但这些东西是没有经过验证的。 包括像达尔文也是一样，他会倾向于在他的实验观察中，把那些跟他的假设、或者跟他的直觉不一致的东西都记录下来。他说，记录下来本身就会比记在脑子里要有效得多，因为人的记忆是倾向于把那些跟你观点不一致的地方去抹掉的。所以要去写作，去把这些成熟的也好，不成熟也好，这些idea，这些想法都把它记录下来，这些是你思考过的很好的证明。然后第四点就是关于复利了，或者说反馈循环。他举到的是capacity的例子，比如说一个非常复杂的问题，像capacity就是把一个复杂的问题把它拆解，把它简化到一个你能理解和掌握的范畴内，然后你再去做一些实验，去理解它的本质是什么，然后再去做一些scalable、就可以扩大它的复杂性的这样一些事情，用算力去验证。那我印象深刻的是他的M101的那个课程体系，他就是从零开始带你训练一个小模型，让你理解大模型的原理。我觉得这个就是一个让你先从小开始，能够抓住小的东西，然后再去把这个复杂性建立起来的一个很好的建议。然后吴恩达也是，他建议的是你从这些失败的案例中学习。他就说，你想做任何一个领域的研究，你都可以找这个领域100个失败的样例，然后把它们根据不同的类型去归类，分类嘛，就是相当于识别到失败最集中的那一个方向，你就去对着那个方向去攻坚。 去找这个问题所在，以及找解决方案，这个时候其实你往往能够解决问题。这个idea我觉得对我们做研究也好，网络创业也好，其实也非常有帮助。就是你去看大家是怎么创业失败的，其实你是可以发现很多规律的，然后你可以去规避这些，找到一个正确的方向。所以我们能得到一个假设：你做研究的速度，其实取决于你失败的速度。失败就会得到教训，你越快地去建立这种反馈的闭环，就越能够得到研究的启发，量非常重要。然后最后一点，就是讲到这个复利的效果，包括工具，你应该去打磨你的工具。比如说能用一句话去启动实验的，就不要用两句话，就一句话启动实验，一句话做总结回顾。现在有AI都很方便，但是你要把这个复利体系去建立起来，就是你用一个能够循环的方式，去持续地验证你的输出和假设。我觉得这些idea都是非常有帮助的。所以这是如何做好研究，总结一下：第一点是找问题比找答案更重要，然后要去寻找那些重要的问题，你感兴趣的问题。然后第二个，就是去升级你的信息源，去从历史中找答案，从跨领域中找答案。然后第三个，就是去用写作这个工具，去帮你验证思维中的一些断点的地方。然后第四个就是去升级你的工具体系，建立这个反馈的闭环。第五个就是复利工程，就是一定要去追寻的这个方向。 好，这是今天跟大家分享的内容，比较硬核，但是我觉得它的启发和帮助非常大。如果你还是在学校读书的博士生，或者是在AI领域做研究的研究员，甚至是在产业研究方向做研究的人，甚至是正在寻找一些职业解法的人，我觉得都可以从这篇文章中找到一些见解。好，以上就是今天跟大家的分享，拜拜。