Reversing the Fossilization of Computer Science Conferences

标题：扭转计算机科学会议的“化石化”趋势：Reversing the Fossilization of Computer Science Conferences

计算机科学研究与其他领域的一个显著区别在于，会议扮演着重要的角色，不仅仅是交流的场所，更是发表成果的渠道。过去二十年里，学术界一直在讨论这个现象，通常是表达不满。顶尖会议通过引入多轮评审、期刊优先发表等机制来调整其筛选方式，但并没有从根本上改变这种局面。无论好坏，会议仍然是新研究成果首次发表的首选。

毕竟，重要的不是媒介，而是发表文化是否能够促进创新。现有的会议在这方面做得并不完全成功。参加每个子领域的主要会议的人们越来越抱怨许多贡献的平庸（当然，不包括他们自己的）。近年来，一些重要的论文并没有在传统的学术会议上发表（例如由 ACM 或 IEEE 组织或由 Springer 出版的会议），而是直接发布；例如，Nakamoto 的原始比特币论文（许多人认为这篇论文永远无法通过分布式系统学术会议的评审）以及介绍了当前 LLM 热潮核心“transformer”技术的论文 Attention is All You Need 。

对会议构成威胁的是科学官僚化这一普遍现象的具体表现。 官僚化过程在某种程度上是不可避免的：研究不再像 20 世纪中期之前那样，只涉及十几个国家中的几千名精英成员，而是一项全球性的学术和产业事业，投入了巨额资金，并吸引了数百万参与者，对他们来说，发表论文不仅仅是分享最新成果的机会，更是职业生涯中的一步。 然而，这种情况并不能证明计算机科学会议目前的状态是合理的。

原则上，科学会议是报告和讨论创新想法和成果的会议。这个崇高的目标仍然存在，但越来越退居次要地位，让位于商业角色：子领域中的主要会议是成员的_年度考试和简历构建练习_。 论文被接受是即将到来的申请和晋升的一个令人垂涎的加分项。 虽然这两个目标（科学的和职业的）并非完全不相容，但第二个目标在现代会议中的主导地位正在侵蚀其本质。 举一个简单的例子，考虑一篇介绍新概念但没有完全解决其含义并且存在一些缺陷的论文。 从职业主义的角度来看，将其驳回为尚未准备好获得完全认可是很正常的。 从科学的角度来看，计划委员会 (PC) 要考虑的问题是：即使这个想法仍然不完善，是否值得发表？ 答案很可能是肯定的。

职业主义方法的问题在于，当会议主要用作年度资格考试时，它们在选择标准中越来越重视纯粹的形式规则。 计算机科学和软件工程的每个主要会议都有其自己的小文化，这意味着在特定时间，任何有可能被接受的论文都必须符合对该社区合适的论文的非常严格的先入之见，达到极端程度。

一些后果已经越界到荒谬的地步。 2023 年 OOPSLA/SPLASH（编程和系统方面的主要会议）的征稿中包含了一系列与研究质量无关的规则和限制。 其中包括对书目参考文献的以下要求：“论文应使用作者-年份引用。 作者-年份引用可以用作名词短语，例如“λ 演算最初由 Church [1932] 构思”，或用作插入语，例如“λ 演算 [Church 1932] 旨在作为数学的基础。” 这种建议与编程理论有什么关系？ 显然，委员会中的某个人不喜欢诸如“[Church 32] 介绍了 λ 演算”之类的句子，即使它们非常清楚和正常。 每个人都有权拥有自己的怪癖，但是一个人凭什么特权将它们强加给整个社区？ 我不喜欢分裂不定式和悬垂分词； 下次我担任 PC 主席时，我是否应该将它们作为拒绝稿件的原因？ 当然不是。 担任 PC 主席不是权力的练习。 它应该是一个令人谦卑的机会，通过帮助选择当年最有希望和最可靠的创新来为社区服务。

“以我的方式撰写书目参考文献，否则！” 的施加只是一个小的，如果可鄙的规定，但它反映了更严重的规定。 这些会议的评审通常是“抓住把柄”类型的，寻找与当时公认标准的微小偏差。 许多这些顶级的、历史悠久的著名会议给人的印象是“所有论文看起来都一样”。 作者看到一个成功的公式，包括一个固定的结构，并应用它，因为害怕被拒绝。 当然，一些好的甚至杰出的论文确实设法通过了，但另一些论文没有通过，因为它们未能符合。 遵守当时的规范并且所有细节都完全敲定的优秀的主力型论文，无论是否具有真正的潜在影响，都有更好的机会。

有人可能会说，“标准有什么问题？” 好吧，创新是通过偏离标准来实现的。 最近，我一直在重读 CS、SE 和逻辑方面的一些里程碑式论文，并且震惊于它们彼此之间是多么的_不同_。 诚然，“它们今天不会被接受”不是一个有趣的论点，因为最先进的技术在不断发展； 但是人们不禁会想到，如果当时的标准的重点像今天一样放在形式而不是实质上，那么其中一些论文_当时_就会被拒绝。 （对于琐碎评审的滑稽模仿，请参见 Simone Santini 2005 年 IEEE《计算机》论文“我们很遗憾地通知您…”，我在这里找到了它的副本here。）

会议即年度考试的问题在于，每个人都将当年最好的作品提交给它，从而产生了大量至少是称职的专业人士的体面贡献的论文。 由于顶级会议以其高拒绝率（通常为 80% 到 90%）而自豪，因此评审必须寻找拒绝其论文的原因，而不是接受论文的论点。 主力型论文具有所有正确的细节，即使其信息并不是那么令人兴奋； 辉煌但试探性的创新有时却不行。 论文经常被拒绝，因为它们没有在标准结构中勾选一个强制性框。 未能引用相关的作品是最常见的情况之一，但如果人们正在寻找与必要模式的偏差，则可以找到更多错误。

软件工程中一个有趣的案例是因缺乏“评估”而被驳回。 当然，否认系统经验测量在过去三十年中给软件工程带来的好处是荒谬的。 但是今天很难发表尚未得到系统定量研究支持的概念性工作。 这种贡献确实占有一席之地，就像理论物理学与实验科学并存一样。 这里的问题不是该领域的发展，而是存在执行单一教条的风险，这绝不是取得进展的好方法。

当前学术文化的一个特点是，它将担任 PC 成员或（更好）主席视为一项有价值的职业成就——“服务”的另一个“加分项”。 因此，PC 通常由旨在充实其简历的初级、雄心勃勃的学者组成。 请注意，这个人作为评审员做得好不好对于这些简历来说无关紧要！ 参与此类活动本身应该是一种荣誉，并且根本不应带来任何职业回报。 目前的做法是会议问题的根源之一，评审的匿名性加剧了这些问题。 我们最终让初学者来评判专家的工作。 上面引用的一些更奇特的要求可能也源于缺乏经验：一位资深科学家不太可能告诉别人书目参考文献可以接受哪些句法角色。 这种傲慢自大是初学者的典型特征。 会议职位作为有抱负的新手的简历构建步骤的现象似乎是现代的，是会议职业化的结果。 我非常怀疑爱因斯坦、居里、普朗克等人提交给索尔维会议的论文是由博士后评估的。 顶级会议应该是该领域已建立的领导者的责任。

学术会议不会很快消失，也不会失去其作为首选发表目标地位，那么我们可以做些什么来改进它们呢？ 这里有一些微不足道的想法。 其中之一是心态问题：PC 主席应向其 PC 灌输一种寻找可靠创新并接受不影响工作可靠性和潜在价值的缺陷的文化。 他们应该提醒 PC 成员，他们不是晋升委员会，而是来促进其学科进步的。 他们应该简化征稿，删除荒谬的官僚规则； 一旦您指定了页数限制、截止日期、提交 URL 和会议主题，您就应该几乎不打扰作者。 研究和发表伦理、可靠的科学和高质量写作的规则是隐含存在的，并且将在审查中应用。 然后让最好的头脑竞争。

另一个重要的改变是停止将任何职业价值附加到会议管理活动中，并且如上所述，将最终责任交给该领域最有能力的专家手中——不仅仅是作为“会议主席”，他将确保会议场地并宣布开幕欢迎词，而是作为实际的计划主席，负责管理选择过程并确保会议达到其主要目标，这不是在几个人的 Google Scholar 个人资料中添加一行，而是推进人类知识的状态。

在 Covid 暂停之后，会议的惊人复兴表明研究人员多么希望并且需要见面。 通过关注实质而不是形式，会议可以回归其基本使命。

Bertrand Meyer 是 Constructor Institute（瑞士沙夫豪森）的教授和教务长，也是 Eiffel Software（加利福尼亚州戈莱塔）的首席技术官。