您的隐私,您的选择

我们使用必要的 cookies 以确保网站正常运行。我们还使用可选 cookies 进行广告、内容个性化、使用情况分析和社交媒体。 通过接受可选 cookies,您同意处理您的个人数据——包括转移给第三方。 一些第三方位于欧洲经济区之外,数据保护标准各不相同。 有关使用您的个人数据的更多信息,请参阅我们的隐私政策。 管理偏好以获取更多信息并更改您的选择。 接受所有 cookies 跳到主要内容 感谢您访问 nature.com。 您使用的浏览器版本对 CSS 的支持有限。 为了获得最佳体验,我们建议您使用更新的浏览器(或关闭 Internet Explorer 中的兼容模式)。 同时,为了确保持续支持,我们在不使用样式和 JavaScript 的情况下显示网站。 广告 Nature

搜索

按主题、关键词或作者搜索文章 显示所有期刊的结果 搜索 高级搜索

快速链接

浏览内容

关于期刊

与我们一起出版

  1. nature
  2. career column
  3. article

P hacking —— 可能发生在你身上的五种方式

一些数据实践可能导致统计上可疑的发现。 以下是如何避免它们。 作者:

  1. Benjamin Tsang
    1. Benjamin Tsang 是加拿大 Toronto 大学细胞与系统生物学系的博士候选人。 查看作者出版物 您也可以在 PubMed Google Scholar 中搜索此作者

您可以通过您的机构完全访问本文。 一个多重钟形曲线图的纸切图像 来源:MirageC / Getty 这种情况很容易发生。你对一个实验感到兴奋,所以你偷偷地提前查看数据,看看 P 值(一种统计显著性的度量)是否低于 0.05 的阈值。或者,你可能尝试用几种不同的方式分析你的结果,希望其中一种能给你带来显著的发现。这些诱惑是很常见的,尤其是在出版或死亡的学术界。但屈服于它们会导致科学家们称之为 P hacking 的行为。 P hacking 是一种调整分析或数据以获得统计上显著结果的做法。换句话说,你是在寻找一个理想的结果,并只报告捕获的结果,而忽略所有空手而归的时刻。这可能会在短期内让你发表文章,但 P hacking 通过在文献中充斥着可疑或没有根据的结论,加剧了科学中的可重复性和可复制性危机。 大多数研究人员并不打算作弊,但他们可能会在不知不觉中做出一些选择,将他们推向一个显著的结果。以下是 P hacking 可能潜入你的研究的五种方式。

过早结束实验

你可能计划收集 30 个样本,但发现自己在中途进行快速分析,只是为了看看情况如何。如果你在 15 个样本后注意到一个统计上显著的差异,你可能会倾向于提前停止实验——毕竟,你已经找到了你想要的东西。 是时候谈谈放弃统计显著性了 但是,一旦你发现了一个显著的效果,但在你达到预定的样本量之前就停止实验,这就是经典的 P hacking。这就像在只调查了一半选民后宣布选举的获胜者:结果可能不能代表现实。解决方案是什么?提前决定样本量或数据收集过程,并坚持下去,无论你多么渴望看到结果。

运行实验直到你获得成功

另一种通常是无意的 P hacking 形式是重复实验或分析,直到你获得统计上显著的结果。想象一下,你进行了一个实验,结果不显著。你用一批新的样本再试一次——仍然一无所获。你再次重复这项研究,瞧! P < 0.05。成功了?不完全是。如果你有选择性地只报告“成功”的尝试,而忽略那些没有成功的尝试,那么你就是在进行遗漏性的 P hacking。正如任何赌徒都知道的那样,如果你经常掷骰子,最终你会仅凭运气(而不是因为我是赌徒)得到你想要的结果。更好的方法是报告所有的实验重复,包括那些没有成功的实验。

精选你的结果

一种不太良性的 P hacking 形式是选择性报告。想象一下,你测量了几个结果,或者在多个时间点观察你的效果——例如,在一个月的时间里,定期测试一种疗法对接受者的血压、胆固醇、体重和血糖的影响。在分析数据后,你发现只有一个结果——比如,第 3 周的血糖——显示出显著的改善。你可能会倾向于突出这一个有希望的结果,并淡化其余的结果,甚至将它们从你的报告中省略。这就是精选:通过只显示有利的数据而忽略其他一切,你创造了一种有偏见的叙述。 在这个例子中,人们可能会认为这种疗法是有效的,因为它降低了第 3 周的血糖,即使整体数据并不那么乐观。将这些数据放入论文的补充材料中,并在此发现的基础上继续进行实验也是不可取的。你应该报告所有相关的结果,而不仅仅是那些支持假设的结果。当我们知道什么不起作用,以及什么起作用时,科学的进步会更快。

调整你的数据

在数据分析中,你经常需要对包含什么、排除什么以及如何报告数据做出判断。当这些决定是由获得显著性的愿望而不是科学推理指导时,P hacking 可能会悄然潜入。例如,你可能会注意到你的数据集中有一个异常值。将其纳入分析会给你一个 0.08 的 P 值,而排除它会将 P 值降至 0.03。问题解决了?不完全是。 在这些情况下,最好的做法是回到原始数据或实验室笔记,以确定实验条件是否可以解释这个异常值。也许你用移液管将双倍量的试剂加入到你的样本中,或者在你测试那个动物的时候,附近的建筑工程影响了它的行为。研究人员通常可以合理化他们的数据过滤决策,而且这些决策中的大多数都是有道理的。但是,如果真正的动机是将一个不显著的结果变成一个显著的结果,那就进入了一个有问题的领域。关键是在查看结果之前决定数据过滤规则。如果由于某种原因,你必须在数据收集后进行更改,请解释清楚——并说明原因。

喜欢我们的最新内容吗?登录或创建帐户以继续

通过您的机构访问 或者 登录或创建帐户 继续使用 Google 继续使用 ORCiD doi: https://doi.org/10.1038/d41586-025-01246-1 这是来自 Nature Careers Community 的一篇文章,Nature 的读者可以在这里分享他们的职业经验和建议。欢迎投稿

利益冲突

作者声明没有利益冲突。

相关文章

主题

最新:

职业 追踪年长的 LGBTQ+ 群体的健康:“我听到他们的声音和故事”职业问答 25 年 5 月 7 日 你为什么应该倒着写你的博士论文职业专栏 25 年 5 月 7 日 在获得博士学位后,我是如何磨练我的生物制药交易和业务发展技能的职业问答 25 年 5 月 6 日 研究数据 研究发现,NIH 资助的延续与更具创新性的结果相关新闻 25 年 5 月 8 日 如何保护研究数据 Nature Index 25 年 4 月 30 日 全球神经元工作空间和意识的综合信息理论的对抗性测试文章 25 年 4 月 30 日 署名权 科学图像编辑的注意事项技术专题 25 年 4 月 29 日 同行评审的播客能加速科学发展吗?Nature Index 25 年 4 月 10 日 研究出版中的性别差距正在缓慢改善 Nature Index 25 年 3 月 26 日

追踪年长的 LGBTQ+ 群体的健康:“我听到他们的声音和故事”职业问答 25 年 5 月 7 日 你为什么应该倒着写你的博士论文职业专栏 25 年 5 月 7 日 在获得博士学位后,我是如何磨练我的生物制药交易和业务发展技能的职业问答 25 年 5 月 6 日

Nature Careers

工作

瑞典 Umeå 大学医学生物化学和生物物理学系邀请申请 2 个为期两年的博士后职位 Umeå, 瑞典 Umeå 大学

我们正在寻找一名博士后研究员加入我们的团队,共同开发用于促进材料循环的先进聚合物材料。 筑波,茨城 (JP) 国立材料科学研究所 (NIMS)

中国科学院正在为多模态人工智能系统国家重点实验室副主任招聘候选人。 中国,北京 中国科学院自动化研究所

各个级别,专注于医疗保健和医学科学领域的人工智能、数据科学和机器学习的研究。 中国,北京 北京协和医学院 (CIMR)

Dalhousie 大学邀请世界一流的研究人员申请 2026 年加拿大卓越研究主席 (CERC) 竞赛。 哈利法克斯(市),新斯科舍省 (CA) Dalhousie 大学

相关文章

主题

注册 Nature Briefing

每天工作日将科学新闻、观点和分析的必备摘要发送到您的收件箱。 邮箱地址 好的!注册以接收每日 Nature Briefing 电子邮件。我同意我的信息将根据《Nature》和 Springer Nature Limited 隐私政策 进行处理。 注册 关闭横幅关闭 Nature Briefing 注册 Nature Briefing 新闻通讯——科学领域的重要事项,每天免费发送到您的收件箱。 邮箱地址 注册 我同意我的信息将根据《Nature》和 Springer Nature Limited 隐私政策 进行处理。 关闭横幅关闭 获取当天最重要的科学故事,免费发送到您的收件箱。注册 Nature Briefing Nature (Nature) ISSN 1476-4687(在线) ISSN 0028-0836(印刷)

nature.com 网站地图

关于 Nature Portfolio