PNAS：评审人个体偏见令NIH资助项目大幅“脱靶”

一项最新的统计研究表明，美国国立卫生研究院（NIH）现行的项目申请评审系统存在严重偏颇，四分之一的项目申请没有得到合理的评审结果和资助。进行研究的美国德克萨斯大学M.D.安德森癌症中心的生物统计学家Valen Johnson认为，NIH有必要检查并革新有关项目申请的同行评审系统。此外，他还提出一种新的替代系统，有望减少评审偏差的发生，并改变几十亿美元的最终资助方向。相关论文发表在美国《国家科学院院刊》（PNAS）上。

　　

一直以来，NIH的项目评审饱受科学家的质疑和批评，他们认为该系统确定资助项目太慢，而且还带有明显的偏见——倾向于已确立的研究人员和传统、常规的研究方法。针对这种情况，2007年，NIH院长Elias Zerhouni启动了专门的计划来检查它的同行评审过程，并在随后提出了一系列改进措施，包括缩短项目申请书长度，以及单独比较年轻研究人员的申请等。不过，关于评审人偏见的问题一直没有得到改变。
 
在NIH的项目评审过程中，大多数申请书都会送到30位左右成员组成的评审组（study section），而每份申请只会被2至5人审阅。评审组成员见面时会讨论有望得到资助的项目，而当时所有在场的评审人都要为每份申请打分，根据平均分来裁决其最终命运。
 
Johnson表示，很明显，这种评审系统存在个体偏见的问题，而且它倚重那些没有读过申请书的评审团成员的做法也不合适。Johnson说，“NIH每年用于资助研究的经费高达惊人的200至250亿美元，而它的选择过程却是基于如此原始的系统。”
 
为了弄清楚情况，Johnson来到NIH的科学评审中心（CSR），找到了2005年19000个项目申请的评审信息。为这些申请打分的评审人约有14000位，每篇申请书平均被2.8人阅读。他说，“平均只有两三个人意味着恰好读到申请书的个体对该计划最终得分有重要影响。”
 
通过统计分析，Johnson还提炼出个体评审者如何评价项目申请的模式。他发现，最顶尖的项目大都不会受到个体偏见的干扰，而对那些接近资助取舍线的项目而言，个体偏见确实有影响。
 
Johnson建议，那些处于“临界”的项目申请应该慎重考虑。倾向于资助开销少的项目有望使NIH能够支持更多的计划，从而更有可能“打中”较好的申请。同时，这也会刺激研究者提出他们所需经费的最低值。而在现行系统下，许多申请人会尽可能多地要钱，因为他们知道NIH往往不会给他们想要的那么多。
 
在《PLoS综合》新近发表的一篇文章中（参见更多阅读），美国凯斯西储大学的David Kaplan证明，只有超过3万人的评审人才能得到关于一项申请的无偏颇评价。Johnson说，这当然是不现实的，但可以改变申请的打分系统。现行的NIH评审系统包括41个等级，而如果在申请书缩短到几页后，评审人只有5个可以选择的级别，那么就有可能更快地评价某一项目的价值。
 
最新研究表明，只要评审人以独立而非小组的方式评价项目，NIH可以省去会议和旅行的费用，也能够提高评审打分精度。Kaplan也认为，这项研究进行得很好，而NIH自己进行的统计分析相当“基本”。
 
不过，CSR的主任Toni Scarpa却对这些结论和建议感到愤怒。他说，一些研究本来就会花更多的钱，开支很高的临床研究也不应该比开支小的难通过。尽管该中心对改进NIH的打分系统很感兴趣，但他们对Johnson的最新研究“几乎没有热情”。相反，他们会考虑其它的一些改变，比如改变不同衡量标准（比如创新性和初步数据的强度）的权重，将一份项目申请的评审人增加到10位，等等。（科学网 任霄鹏/编译）
 
（《国家科学院院刊》（PNAS），doi:10.1073/pnas.0804538105 (2008)，Valen E. Johnson）