不是奖励的问题,而是你的问题

我发现一种论调有点令人不安,但不幸的是,它在科学界似乎越来越普遍。其核心思想是,仅仅存在不正当的Incentives,就足以成为明知故犯反社会行为的正当理由,只要你首先承认这些不正当Incentives的存在。通常,这种动态的展开方式是,有人指出许多科学家行为中存在的一些相当严重的问题——比如,我们集体倾向于以一种近乎疯狂的方式进行 p-hack,或者我们坚持向那些积极试图损害我们利益的出版商提交我们的稿件——然后另一个人会说,“我知道,没错——但你能怎么办呢,这就是_Incentives_。”

据我所知,“这是Incentives的问题”这句话具有魔力。一旦有人说出这句话,自然法则就会要求参与对话的其他人立即停止他们正在做的任何事情,庄严地点头,并嘟囔着诸如是的,Incentives非常糟糕,确实非常糟糕,这么多聪明、努力工作的人被The System无情而巨大的靴子压垮,真是一场悲剧之类的话。然后通常会有一个短暂的停顿,之后,每个人都会回到他们刚才谈论的任何事情上。

也许是我在早年中年时期变得有点老糊涂了,但我的个人感觉是,过去当有人向研究人员指出他们可能在做一些有问题的事情时,该研究人员通常要么 (a) 争辩说他们_没有_做任何有问题的事情(通常是不正确的,因为过去对涉及的一些统计问题的认识要少得多),要么 (b) 会感到有点不舒服,让尴尬的沉默蔓延开来,然后转移话题。但在过去几年里,我注意到关于可疑做法的不舒服的讨论,似乎不成比例地以轻笑或耸肩结束,然后评论说_我们都是非常成熟的人,认识到我们所处世界的复杂性,当然如果我们生活在一个不必偶尔从事欺骗行为的世界里会很好,但那将是非常天真的,毕竟,我们并不天真,不是吗?_

当然,这种回应有其真实性。我并不否认不正当的Incentives的存在;它们显然存在。毫无疑问,现代科学文化的许多方面都在系统地激励反社会行为,我认为我们不能也不应该假装不是这样。我_反对_的是,科学家在面对所有这些可怕的Incentives时,在某种程度上是无助的——我们不可能采取任何可能有任何潜在可能性的行动,哪怕再小,会阻碍我们自己的职业发展。

“我_会_在开放获取期刊上发表文章,”你友好的邻居科学家会说。“但这些期刊的影响因子较低,而且我三年后就要升职了。”

或者:“如果我在这种情况下对多重比较进行校正,我的效应就会消失,然后审稿人会拒绝这篇论文。”

或者:“我不能要求我的研究生收集一个充分的复制样本;他们需要尽快发表论文,这样他们才能找到工作。”

这种例子不胜枚举,它们变得如此普遍,以至于似乎许多科学家已经停止思考他们所说的话的实际含义,而只是简单地掠过并明智地点头,每当可怕的_Incentives_被调用时。

一个偶然听到一群科学家抱怨The Incentives的旁观者,可能会原谅他们,因为他们可能会认为,也许,仅仅是也许,一群非常勤奋的人,他们通常以他们的创造力、毅力和智慧为傲,可以找到某种方法来解决这个问题,或者克服这个问题。我认为他们是对的。事实上,我们集体_不_认为这是一个巨大的道德错误,我们还没有找到一种方法来完成我们的工作,而不必在追求名利的冲刺中经常偷工减料,这令人深感不安。

这在智力层面上也很令人恼火,因为我们都被The Incentives严重且持续地欺骗了的论点_并不是那么好_。我认为研究人员应该_非常_犹豫地将The Incentives作为我们任何人为自己的行为方式辩护的理由,有很多原因。我将在这里给出九个理由,但我认为可能还有其他的。

1. 你可以用诉诸The Incentives来为任何事情辩解

不,说真的——任何事情。一旦你开始哭诉_The System is Broken_ 为了为你的行为(或不作为)辩解,你就可以免除自己对各种行为的责任,这些行为在纸面上应该引起警惕。考虑一下很少有科学家会容忍的几种行为:

我认为可以肯定地说,我们大多数人认为这些做法是彻头彻尾的不道德的,但显然有人从事这些做法。当这些人被抓住或受到质问时,他们最常使用的理由之一是……你猜对了:The Incentives!当Diederik Stapel承认捏造了超过50篇出版物中使用的数据时,他没有通过说“哦,你知道,我可能有点精神病患者”来解释他的行为;相反,他将大部分责任直接归咎于The Incentives:

我没有承受住得分、发表、及时取得更好的压力的压力。我想要太多,太快。在一个制衡很少的系统中,人们独自工作,我走错了方向。我想强调的是,我所犯的错误并非出于自私的目的。

你看,Stapel并不是在自私地行动……他只是受到了巨大的压力。或者,你知道,Incentives。

或者考虑一下这些引言,这些引言来自一篇《纽约时报》的文章,描述了Stapel的崩溃

在他早期的研究中——当时他本应收集真实的实验数据——Stapel撰写了论文,阐述了多个变量之间复杂而混乱的关系。他很快意识到期刊编辑更喜欢简单性。“他们实际上是在告诉你:‘省略这些东西。让它更简单,’”Stapel告诉我。不久之后,他开始努力撰写优雅的文章。

实验——以及其他类似的实验——并没有给Stapel带来想要的结果,他说。他可以选择放弃这项工作,或者重做实验。但他已经在研究上花费了大量时间,并且确信他的假设是有效的。“我说——你知道吗,我要创建数据集,”他告诉我。

通读这些描述,很难避免这样的结论,即Stapel的自我叙事与在社交媒体上或在会议酒吧对话中一直被抛出的叙事惊人地相似:我在这里,一个好的科学家试图做一份诚实的工作,但我的周围是一个激励欺骗和偷工减料的系统。你_期望_我做什么?

奇怪的是,我从未听过我的任何同行——包括许多急于援引The Incentives来为自己的缺点辩解的人——认真地赞同The Incentives作为Stapel行为的可接受理由。在Stapel的案例中,我们压倒性地跳到的推论是,Stapel一定存在一些严重的问题,因为我们其他人每天也面临着同样不正当的Incentives,但我们不知何故设法在没有捏造数据的情况下度过难关。但我认为这个结论应该让我们感到有点不安,因为如果它是正确的(我认为它是正确的),那就意味着我们毕竟不是The Incentives的奴隶。当我们的道德妨碍我们时,我们似乎完全有能力抵制诱惑。我的意思是,这甚至不是特别困难;我怀疑许多研究人员是否需要积极地与操纵数据的冲动作斗争,尽管这样做的Incentives非常大。我认为我们许多人觉得可以接受像报告探索性结果作为验证性结果,或者未能提及我们进行了六项我们没有报告的其他研究之类的事情的原因,并不是因为The Incentives迫使我们做我们不喜欢的事情,而是因为将我们令人不快的行为归因于不可阻挡的外部力量比承担责任并接受后果更容易。

不用说,我认为这种态度从根本上来说是虚伪的。如果我们不赞同像Stapel这样的贱民指责The Incentives导致他们捏造数据,我们就不应该将The Incentives用作做同样范围的事情的借口,尽管不那么严重。如果你认为当“我没有承受住得分的压力”这句话从Stapel的口中说出时,它真正意味着“我基本上是一个软弱的人,发现不重要的想法太令人无法忍受了,我愿意作弊以取得领先”,那么你就不应该给自己一个免费通行证,仅仅因为当_你_使用这个借口时,你谈论的是小得多的违规行为。考虑一下,也许,就像Stapel一样,你实际上是在诉诸The Incentives作为一种拐杖,以避免不得不让你的生活变得非常稍微困难一些。

2. 如果每个人都这样做,世界将会崩溃

当人们开始经常接受The System is Broken 并且The Incentives Are Fucking Us Over时,坏事往往会发生。一旦每个人都相信(正确或错误地)钻系统的空子是度过难关的唯一途径,就很难拥有一个稳定、顺利运作的社会。想象一下,每次你去看你的医生——我知道这个比喻不适用于生活在美国以外的人——她都会让你去做十几个昂贵且完全不必要的医疗测试,然后,当被要求解释时,只是耸耸肩说“我知道我不是天使——但嘿,这就是The Incentives。”你会非常生气——即使这完全是真的(至少在美国;其他发达国家似乎已经解决了这个问题),许多医生都有财务Incentives来订购不必要的测试。

需要明确的是,我并不是说不正当的Incentives永远不会导致医疗或其他领域的不良行为。当然会。我的观点是,其他领域的从业者至少似乎有足够的意识,不会大声宣扬The Incentives是他们反社会行为的合理理由——或者为自己是那种足够聪明的人,能够看清The Incentives的魔鬼真面目而沾沾自喜。我的感觉是,当医生、律师、记者等成为The Incentives的牺牲品时,他们通常会认为这是一个耻辱。我不会走得太远,暗示我们科学家以表现不好为_荣_——我们显然没有——但我们似乎集体发展出一种相当强大的习得性无助,而其他社区似乎没有与之相匹配。这是一件幸运的事情,因为如果其他每个社区_也_发展出同样的态度,我们就会陷入困境。

3. 你并不特别

个人在科学上的成功,在一定程度上,是一个零和游戏——至少在短期内是这样。许多诉诸The Incentives的科学家似乎真诚地相信,选择不做正确的事情是一种没有受害者的犯罪。我的意思是,当然,这可能会使整个系统效率降低一点……但这只是生活,不是吗?这并不像有人真的在_受苦_。

好吧,实际上,人们确实会受苦。有许多科学家_愿意_做正确的事情——预先注册他们的分析计划,努力伪造而不是证实他们的假设,勤奋地提请注意可能使他们喜欢的叙述复杂化的潜在混杂因素等等。当你声称你有权选择退出这些事情时,因为显然_你的_出版物、_你的_晋升和_你的_学生比其他任何人都重要得多,你就是在欺骗那些人。

不,真的,你是在的。如果你不喜欢把自己想象成一个欺骗他人的人,不要在任何人质疑你的过程时,本能地倒在由不锈钢Incentives制成的拐杖上。你并不特别。你的出版物、工作和终身教职并不比其他人的更重要。有其他人与你处在相同的位置,从事相同的行为,并不意味着你和你的合作者都非常成熟,而拒绝偷工减料的人是天真的傻瓜。它实际上表明的是,在某种程度上,你发展出了一种本能的能力,可以将你不会赞同在他人身上发生的行为合理化,并且冷静地看待,这显然对科学有害。

4. 你(可能)没有任何数据

诉诸The Incentives很少得到任何实际数据的支持,这说明了一些问题。只是理所当然地认为,从事有问题的实践会对一个人的职业生涯产生不利影响。下次当你想要责怪The System 让你做坏事时,你可能想问问自己:你真的_知道_例如,在PLOS ONE 而不是[你选择的封闭社会期刊]上发表文章会损害你的职业生涯吗?如果是这样,你_如何_知道的?你是否有任何充分的证据支持它,或者你只是把它当作一种风格化的事实来接受了?

得出你需要回答这个问题的这类数据实际上并不那么容易:简单地指出,例如,某些期刊的影响因子高于其他期刊是不够的。要确定效用最大化的行动方案,你需要整合收益和成本,而且成本并不总是那么明显。例如,将你的论文提交到“好的”期刊的机会成本将在一定程度上被更快的出版可能性所抵消(无需花费两年时间在高影响力的场所积累拒稿信),被你至少发送给你的一些同行支持开放科学实践的积极形象所抵消,等等。

我并不是说仔细考虑做正确事情的利弊通常会导致人们改变主意。通常不会。我想说的是,那些指责The Incentives迫使他们将论文提交给某些期刊、讲述关于他们工作的后验故事或使用次优分析方法的人,通常不会用数据或甚至有充分理由的论证来支持他们的决定。辩护通常是完全本能的——这应该让我们怀疑它也只是一个自私的借口。

5. 这(可能)无论如何都无关紧要

这可能会有点伤人,但我认为考虑一下这一点很重要——特别是对于早期职业研究人员而言。假设你是对的,在某些特定情况下做正确的事情会损害你的职业生涯。也许确实如此,如果你在你的论文中全面报告你运行的_所有_研究,而不仅仅是那些“有效”的研究,你的同事会不太喜欢你的工作。在这种情况下,似乎很自然地认为当前决策与全局结果之间必然存在着紧密的联系——也就是说,如果你不放弃失败的研究,你将无法在三年后的获得终身教职。毕竟,你现在正专注于那种因果关系,而且它在你的脑海中似乎如此清晰!

不幸的是(或者幸运的是?),现实并非以那种方式运作。学术界的成果是多重决定的,并且极其复杂。你可以告诉自己,更快地发表更多论文会让你找到一份工作,如果这让你感觉更好,但这并不能使它成为现实。如果你是当今就业市场上的研究生,我有一个坏消息要告诉你:无论你做什么,你可能都找不到终身教职。发表多少 p-hacked 论文,或者你如何将你的论文切成不同的“研究”,都无关紧要;对于每个想要获得终身教职的人来说,职位数量远远不够。

假设你是对的,你持续的偷工减料模式_确实_在帮助你取得领先。你认为这_能帮助你走多远_?这是否会让你从在R1大学获得终身教职的3%的机会提高到80%的机会?几乎肯定不会。也许这会将这种可能性从7%提高到11%;这仍然是一个不可忽略的相对增长,但这并不能改变这样一个事实,即对于普通研究生来说,在路的尽头没有全职教职在等待。尽管你周围的环境可能会让你认为,大多数研究生和博士后面临的选择实际上不是 (a) 保持你的正直并“失败”退出科学界,或者 (b) 偷工减料并作为终身教授获得巨大的名利。The Incentives 并没有那么强大。你作为一个实习生面临的更为常见的选择是 (a) 保持你的正直并有很低的几率获得永久研究职位,或者 (b) 偷工减料,威胁你工作的有效性,并且有略高的(但在绝对意义上仍然很低)的机会获得永久研究职位。即使那样也几乎无法保证,因为你永远不知道招聘委员会中什么时候有人会因为你的工作中明显的 p-hacking 而感到反感。

关键是,世界是复杂的,并且作为一般规则,很少有事情——包括你发表的出版物数量——像你在专注于它们的那一刻时看起来那么重要。如果你是一个早期职业研究人员,并且你经常发现自己陷入在做正确的事情和做不正确但(你认为)对你的职业生涯有益的事情之间挣扎,你可能需要退后一步,冷静地问问自己,这种_正直与权宜之计_之间的冲突实际上是否是一种富有成效的框架方式。相反,考虑一下我上面提出的替代框架:你很可能最终会离开学术界,无论你做什么,所以为什么不至少尝试以某种智力上的正直来完成这个过程呢?我的意思是,如果你真的确信The System is Broken,你为什么还要_想_留在其中呢?你认为标准会在未来几年内发生巨大变化吗?你是否怀有这样的印象,即_你_(在所有人中)将以某种方式拯救科学?

这直接把我们带到下一个要点……

6. 你(可能)不会“从内部改变事物”

多年来,我与不少早期职业研究人员交谈过,他们告诉我,虽然他们_现在_无法真正停止从事有问题的研究实践而不损害他们的职业生涯,但一旦他们处于更稳定的位置,他们_肯定_会做得更好。这些人几乎总是善良、善意的人,我毫不怀疑他们真诚地相信他们所说的话。不幸的是,他们所说的话是不可靠的,并且具有适应不断变化的环境的习惯。作为一名研究生或博士后,很容易认为,一旦你获得教职,你就可以开始以“正确”的方式进行研究。但是一旦你获得教职,事实证明你需要发表论文和获得资助才能获得终身教职(我的意思是,谁知道呢?),所以你决定让可怕的Incentives再赢几年。然后,一旦你获得了终身教职,好吧,现在的问题是你的研究生_也_需要工作,就像你曾经做的那样,所以你不能完全停止以同样的速度发表论文,对吧?此外,如果你有效地说了“哦,你们都应该对我在过去15年里的工作持怀疑态度——那只是为了获得终身教职”,你的同事会怎么想呢?

我并不是说没有例外。我确信有。但我可以想到至少六个人,他们都以某种方式对我讲述了“一旦我处于更好的位置”的故事,而且据我所知,他们中没有一个人以有意义的方式实现了他们所说的意图。我并不觉得这令人惊讶:在大多数生活领域中,如果你一直在错误的航向上行驶,航向修正通常会变得更加困难,而不是更容易。因此,如果你的对The Incentives不健康的尊重部分地源于你期望这些Incentives肯定会在你达到职业生涯的下一个阶段时减弱它们对你的控制,你可能需要重新考虑你的策略。The Incentives 不会随着你职业生涯的晋升而消散;如果有什么不同的话,你可能会越来越难摆脱它们。

7. 你没有长期考虑

诉诸The Incentives最令人沮丧的一个方面是,它们几乎总是似乎只关注短期到中期。但长期也很重要。在那里,我认为The Incentives 非常赞成一种截然不同——而且更诚实——的科学研究方法。要看到这一点,我们只需要考虑许多科学领域中正在进行的“复制危机”。我认为在关于科学的当前激励结构的讨论中,在很大程度上被忽略的一件事是,复制危机将对大量目前著名的科学家的遗产产生什么影响。

我会告诉你它将产生什么影响:许多这些遗产将完全被清零。这不仅仅是假设性的危言耸听。这种情况目前正在发生在心理学(以及我想象的,我不太熟悉的领域)的许多前明星身上。我们可以指出许多研究人员,他们曾经_真的_很有名(例如,教科书的重要组成部分),目前以星号 (*) 闻名,并且在所有可能性中,将在几十年内再次完全不为人知。那些不幸的人甚至注定会变得声名狼藉,他们的整个科学遗产最终会沦为警示性历史的脚注,说明当从业者允许自己被对The Incentives的担忧席卷时,整个科学研究领域很容易失去立足点。

你可能不希望这种事情发生在你身上。我猜你至少希望在退休时至少有一定程度的信心,即你的工作,即使其含义可能不会颠覆地球,也不会有一天被新一代的研究人员扔进历史的垃圾堆,他们对你和你的同事曾经对“推论统计”和“准确报告”等愚蠢的小事持何等轻率的态度感到惊讶。因此,如果你偷工减料的理由是,否则你无法在当前环境中生存或蓬勃发展,你应该考虑这样一种前景——我的意思是,真的花一些时间来思考它——即你通过与The Incentives 一起玩在未来10年内获得的任何成功最终可能会让你的工作在未来20年内成为一个职业笑话。

8. 它没有任何作用,而且可能使情况变得更糟

嘿,你是一位科学家吗?是的?太好了,这里有一个快速问题要问你:你认为地球上是否有任何在职科学家不知道The Incentives 已经搞砸了?没有?我不这么认为。这意味着你真的不需要一直哀叹The Incentives;我向你保证,你并没有帮助引起人们对一个重要的新问题的关注,这个问题以前没有人认识到。通过指出招聘委员会更喜欢在高影响力期刊上发表大量出版物的申请人,而不是在没人听说过的期刊上发表少量出版物的申请人,你没有表达任何深刻的见解。如果你的抱怨取得了任何成果,它们可能实际上会通过不断(且不正确地)提醒你周围的每个人The Incentives 有多么强大而使情况_变得更糟_。

这里有一个建议:也许尝试一段时间_不_谈论The Incentives。你甚至可以尝试,我不知道,改变一下,_反对_The Incentives。或者,如果你做不到这一点,就什么都别说。可能没有人会错过任何东西,我们中的早期职业研究人员甚至可能会感激他们的资深同事不断提醒The System——正是那些资深同事负责创建的The System!——是多么糟糕。

9. 这是你的工作

这最后一个似乎太明显了,以至于无需赘述,但确实需要说出来,所以我会说:你应该避免将不良行为归咎于The Incentives 的一个很好的原因是,你是一名科学家,并且努力接近真相,而不仅仅是获得终身教职,这在你的工作说明中是有的。纳税人资助你不是因为他们关心你的职业生涯;他们资助你来学习、治愈和建造东西。如果你不能在没有经常以你没有Incentives 而不马虎为理由来为马虎辩解的情况下完成你的工作,至少要体面地不要在大声喧哗的房间或充满间接支付你薪水的人的Twitter 提要中说出来。抱怨说,如果不是因为这些可怕的Incentives 存在,你肯定会做正确的事情,这并没有让你成为你认为的那样高尚的烈士;对于任何你所在领域之外且具有少量正直的人来说,这只会让你听起来像是在寻找一条简单的出路。这不复杂、不世故、不精明,它只是不诚实和懒惰。如果你发现自己无法在没有经常从事明显贬低你声称关心的科学的实践的情况下完成你的工作,并且这并没有让你感到深深的困扰,那么也许问题实际上不是The Incentives——或者至少不仅仅是The Incentives。也许问题在于你。