MaxwellForbes

PhD Metagame 系列

不要试图改革 Science

你知道有两种 Science 吗?

不要试图改革 Science。至少现在不要,尤其是在你读 PhD 期间。

在研究生院,你会开始抱怨发表系统。为什么我们必须完全通过学术论文来交流我们的发现?为什么我们不能发表阴性结果,或者花时间让东西真正起作用?为什么我们——所有活跃的学者——必须不断地发表论文?以及为什么我们要让这个臭名昭著的随机且不一致的评审过程来决定我们的职业发展?

有几件事部分缓解了这种情况:你可以不用管是否被接受就将论文上传到 arXiv。人们写博客。还有另类、更丰富的出版形式的微光。甚至,我所在领域 强大 的模型甚至不再发表了。0101整个 秘密行业研究 实际上有点颠覆了出版问题,而不是缓解它。

但不可避免地,残酷的现实是:你不可能在你的 PhD 期间改变 Science 的运作方式。你还有 PhD 要完成,试图在没有任何权威或声誉的情况下改革 Science 只会浪费你的时间。更糟糕的是,当你考虑废除传统的同行评审和标准化格式时,会浮现出复杂且相互依赖的问题。换句话说,发现 Science 中存在的问题很容易,但解决它们却很难。

你可能会认为“做 Science”不需要这些乱七八糟的东西。在某种程度上,你是对的,但你想到的是 Science 1,而你实际上在做的是 Science 2。

存在两种 Science #

让我们这样称呼它们:

关于 Science 2 的重要事实:

Science 2 是一种社会实践,因为它必须如此。虽然孤狼可以自己去搞 Science 1,但如果你正在阅读这篇文章,那可能不是你。我所知道的过去有影响力的独立研究人员都是在不成熟领域工作的乡绅(例如,Boyle,Newton-ish,Darwin,Maxwell)。即使是缺乏科学界认可的伟大想法也沉寂了多年(例如,Mendel、Wegener、Boltzmann 的)。另外,请记住,许多杰出且富有成效的研究人员在合作中蓬勃发展(例如,Watson / Crick、Einstein / Bohr、Erdős / 所有人)。0202我不是历史学家,请原谅这些厚颜无耻的基本例子。

因为 Science 2 是一种社会活动,所以大部分发生的事情都是人与人之间的交流。

Science 2 就像一支庞大的船队,全部扬帆起航去探索一片广阔的海洋。你在一艘船上(或者,你可能只是在你导师的船上)试图绘制新的领域。你必须大喊“快来看看我要去的地方!”,然后人们必须决定是听你的还是完全忽略你。如果没人知道你是谁,他们为什么要相信你?

旋转的质量 就是 知识 #

既然你将花费大量时间在 Science 2 中工作,我认为值得揭开幕布,讲一个 Science 2 的故事。

概念化 Science 2 的一种方法是由 Larry McEnerney 在一次关于学术写作的演讲中阐述的。他提出了以下心理模型:你所在领域的内部人士正在进行一场关于他们所知和关心什么的集体、不断发展的对话。

这就是该领域的知识。如果你试图贡献一些东西,但旋转的对话质量没有发现它有趣(由于无数原因之一),你的想法就不会加入知识库。

对此的愤世嫉俗的观点是,最privileged的学者通过用自己的议程过滤事实来守住知识本身的大门。

一个更务实的观点是,“知识”实际上只存在于我们的脑海中。并且由于劳动分工(等等),我们有一群人——学术界——负责决定每个领域的知识是什么。这种 想法分类 真的很有用。如果你是一个领域的新手,你的前很多想法可能已经被研究过或者很无聊。0303这种区别对双方来说都很痛苦。即使作为一个微不足道的 PhD 学生,几年后,你也会痛苦地接到来自业余爱好者/非学者/未来的 PhD 学生/行业人士的研究想法,因为他们想出的东西对他们来说 很酷和有趣的,你想保持这种火花,但你知道这个领域十五年前就已经走过这条路了,而且总体上是 meh,你甚至怎么温和地告诉别人?

Larry 在那次演讲中主要谈论的是历史。我认为硬 Science 的情况略好。我们也有旋转的对话,但这种对话决定了他们同意关心的客观衡量标准。如果你在一个困难的客观衡量标准上大获全胜,那么获得认可是有保证的。Science 2 仍在制定规则,但你按照规则行事并且做得非常好,他们就无法忽略你。

BERT 的故事 #

我亲眼目睹了这一点,那就是 BERT0404如果你不熟悉,可以将 BERT 视为 LLM 的前身,它在其领域产生了很大的影响。它提高了我们在所有已知任务上的表现。 在我的领域(NLP)中。0505本体:计算机科学 (CS) > 机器学习 (ML) > 自然语言处理 (NLP)。 现在正在成为 GPT 时代的脚注,当它发生时,BERT 无疑是该领域的一场革命。你可以清楚地划出 BERT 之前和 BERT 之后的一条线。它出来后,大约 95% 的论文都使用了它,这很荒谬。它太好了,没人能忽视它。

天真地,你可能会认为这样一篇革命性的论文会受到热烈的欢迎。但是当它获得最佳论文奖(在 NAACL 2019 上)时,我交谈过的博士后们普遍对此表示不满。为什么?他们抱怨说,这没什么意思。“它只是扩大了一些东西的规模。”

虽然这可能是事实,但以前在“只是扩大规模”(但实际上也在创新)语言表示方面所做的努力从未引起任何人的抱怨:ELMo0606如果你是 NLP 的局外人,我很抱歉,是的,我们有一个芝麻街阶段,没人真正知道为什么。 为什么他们不喜欢这一个?一个原因肯定是The Bitter Lesson0707 The Bitter Lesson 基本上是说,当你投入更多的计算(我会补充说:更多的数据)而不是任何聪明的编程或知识时,AI 总是会更好地工作。本着同样的精神:“每次我解雇一个语言学家,语音识别器的性能都会提高”(大致是 Jelinek). 对聪明的研究人员来说从来都不是一件有趣的事,而 BERT 的巨大成功使它变得特别痛苦。

但我认为也有证据表明 BERT 没有真正融入文化对话。虽然关于 ELMo 的消息在社区中流传,但 BERT 是完全秘密开发的。此外,它是在 Google 而不是大学开发的。它的会议展示效果很差,违反了最佳论文演讲通常经过高度润色以表示对社区尊重的规范。我认为这些文化细节,加上 The Bitter Lesson 带来的通常的不满,再加上一丝嫉妒,导致了人们对 BERT 的学术认可的负面情绪,而没有人公开承认。

这说明了较硬的 Science 中知识的双层视图:旋转的质量仍然存在,位于结果表之上的一层抽象层。该社区选择要关心的目标,并承诺遵守这些目标。然后,指标定义了法律,我们服从有效的方法。但是关于什么是有趣的文化对话仍然存在。

结果表的 Science 1 性的一个警告是,革命性的突破是罕见的。0808也就是说,可能不要指望你的 PhD 期间会发生一次。 所以你仍然必须成为旋转的质量的一部分。培养品味就是理解旋转的质量喜欢什么。进入旋转的质量就是建立联系。参与旋转的质量就是建立一条具有良好品味的研究路线。

成功的教授0909除了那些非常资深的教授。似乎你最终可以免除所有受邀的演讲和会议。 拥有航空公司金卡并非巧合,因为他们会进行大量的大学演讲。

许多 Science 2 #

如果你真的想深入了解,你可以将 Science 2 视为几个相互关联的轨道对话。

一个单独的研究实验室开发一个相对连贯的 Science 2。然后,如果同一领域有多个部门实验室,它们将形成一个更大的大学 Science 2。整个领域肯定有一种时代精神,你可以称之为 prevailing Science 2。像 Google 这样的大型机构不仅有自己独特的 Science 2,而且还有好几个。

如果你进行实习,你可能会因为进入一个新的 Science 2 而感到文化冲击。你所有的基本罗盘读数都会改变:人们首先想到的模型、他们最容易给出的引用、他们认为重要的进步以及他们认为有希望的方向。行业 Science 2 感觉非常陌生。不仅是因为差异,还因为对话不是由你的导师领导,而是由你永远不会见到的上面六层的管理人员领导。

不要用你的小艇呼吁改革 #

虽然我确实分享了科学改革的许多目标,但你必须付出努力才能让科学界的任何人相信你的想法。此外,通过参与当今存在的 Science 2 来付出努力可以确保你对它有透彻的了解。看似显而易见的修复程序不起作用。你可能甚至不知道人们尝试过这些修复程序,直到你遇到 100 个学术界的人,并且一些获得终身职位的教授告诉你,某某人已经尝试过,这就是发生的事情。1010事实上,你参加的会议(在与这位假设的高级学者交谈时)可能是因为有人想要改革他们领域的工作方式而创建的。它发生的事情比你想象的要多。

我写这篇文章是因为 PhD 似乎吸引了很多聪明、理想主义的孩子,他们有兴趣从事 Science 1,但没有意识到他们已经报名从事 Science 2。然后在第一年,他们从导师的船上跳下来,开始划着一块木板,对着整个地球的 Science 舰队大喊,要求在他们发表第二篇论文之前,将 Science 2 调整为与 Science 1 保持一致。现在还不行。没人能听见你。现在还不行。