2007-09-19

大部分的科學研究因草率分析而被玷污

Most Science Studies Appear to Be Tainted By Sloppy Analysis
http://online.wsj.com/article/SB118972683557627104.html

WSJ, September 14, 2007; Page B1
By ROBERT LEE HOTZ

每個人都會犯錯,而且,假如你相信醫界學者 John Ioannidis 的話,那麼科學家所犯的錯誤比起他們真正的貢獻(fair share)要來的多。經由他的計算,大份已發表的研究發現都是錯的。

Ioannidis 博士是一位流行病學家,他在希臘 Ioannina 大學醫學院與麻州 Medford 的 Tufts 大學研究「研究方法」。在一系列有影響力的分析報告中,他記載在每年數千篇經同儕審核(peer-reviewed)而發表的研究報告中,有很多都與所見不同(so much less than meets the eye)。

這些有瑕疵的發現,在大多數情況下,並非根源於騙局(fraud)或形式上的不規矩(formal misconduct),而是來自於世俗的不良品行(misbehavior):錯算(miscalculation)、粗劣的研究設計(poor study design)或自私的資料分析(self-serving data analysis)。 "現代研究中有愈來愈多的顧慮,在已出版的研究主張中,謬誤的發現可能佔了多數或甚至是大多數," Ioannidis 博士說。 "關於一個研究發現的新主張,很有可能是假的而非真的。"

該研究領域愈熱門,對於其所發表的發現更應該以存疑心態檢視,他果斷的說。

以這項發現為例:男性與女性之間疾病發生的風險也許不同,端賴他們的基因。研究已在高血壓、精神分裂症與多發性硬化症、還有肺癌與心臟病上顯著地報告性別上的差異。在上個月於 Journal of the American Medical Association 所發表的研究中,Ioannidis 博士與其同事分析了 432 篇已發表的,關於性別與基因的研究主張。

基於更仔細的檢查,幾乎沒有一篇受到推舉(held up)。只有一篇被複製。

就統計上來說,科學遭受過度顯著(significance)之苦。過於熱切的研究者經常對他們所分析的統計變量進行過多的修補,以便從他們的資料集(data sets)中得出任何有意義的洞見。

"人們玩弄資料以發現任何看起來有意義的事,以彰顯他們發現了某些新奇且不平常的事," Ioannidis 說。

在美國,研究是一個每年價值 550 億美元的事業,那是將它的可靠性堆砌在證據的可信賴性上,而 Ioannidis 博士的研究則擊中痛處(strikes a raw nerve)。事實上,他在 2005 年所撰寫的文章,「為何大部分已發表的研究都是錯的(Why Most Published Research Findings Are False)」,仍是 PLoS Medicine 期刊發行以來,下載數量最多的技術性報告。

"他完成系統化的檢視已發表的文獻,並且憑藉著經驗向我們展現我們內心所深知的東西," Muin Khoury,美國疾管局 National Office of Public Health Genomics 主任。 "我們更需注意已發表科學結果的「複製(replication)」。"

經由實驗所發現的每一項新事實,代表未知當中的一個立足點。在知識的荒野中,很難從詭計(fraud)中區分錯誤;從欺騙(deception)中區別馬虎;貪婪中辨別熱心(eagerness),或著愈來愈多地,來自於黨派激情的科學信念(scientific conviction from partisan passion)。

從幹細胞研究到全球暖化的科學發現都變成政治政策戰爭的糧秣時,即便枝微末節的錯誤與校正都會產生巨大的後果。

然而,其他研究者告誡,不要害怕所有的錯誤。錯誤一如發現,都是科學的一部份。這是在尋找真理時無法避免的副產品,那必須經由不斷摸索(trial and error)進行下去。"

"你在那裡有新知識領域正在發展,接著科學將會有爭論,會因資料不夠充分而產生的錯誤,或著沒有認出新的事物," 耶魯大學科學歷史學家 Daniel Kevles 說。相互矛盾的資料與詮釋上的差異都十分常見。

為了要徹底根除錯誤,科學家依賴其他人的警惕。即便如此,這些發現仍然很少被它人檢查,或獨立複製。撤回(retractions),雖然更加常見,但仍較不頻繁。那些被駁斥的發現仍會徘徊於科學文獻中多年,被不知情的其他研究者引用,混合這些錯誤。

受到物理學、生物學與醫學當中的騙局刺激,研究期刊最近採用更嚴厲的預防措施進行保護,至少能對付精心捏造的資料。不過要承認(錯誤)則更加困難,即便那是正直的錯誤。上個月,中國政府提出一條新法律,讓它的科學家能夠承認疏忽而不用受罰。下週,世界第一場「研究正直風範(research integrity)」的研討會將在(葡萄牙首都)里斯本聚會(譯註:詳見相關報導)。

大體上,科技複審者都因工作繁重很難偵測到每項異常之處。平均來說,每年研究者們就遞交約 12000 篇論文到每週經同儕審核的 Science 期刊。去年,Science 就有四篇論文被撤回。還有一打以上的論文經過校正。

沒有人真的知道,還有多少不正確的研究報告依然未接受挑戰。

在今年初,資訊專家 Murat Cokol 及其哥倫比亞大學的同事,將 U.S. National Library of Medicine 從 1950 - 2004 在 4000 份期刊上所發表的 940 萬篇報告進行分類。經過嚴密計算(raw count),只有 596 篇正式被撤回,Cokol 博士報告。

"經過校正亦不是最終真理," Kevles 教授說。

※ 所以請大家注意本 blog 的副標... XD

* 曾志朗導讀:知識「經濟」vs.知識「利益」 -- 期待研究的正直風範http://www.ylib.com/hotsale/next/#topic03

NEXT 危基當前
利維坦與空氣泵浦
作弊的文化(更新)

違反學術倫理 8年裁定27件
從張邦彥論文造假到實驗蟑螂遭謀殺
集體作弊 東吳8新生退學(更新)
外國企業自美下市 掀風潮

你看不到真正的風險在哪裡!
研究發現思考方式可分為「左、右翼」

女性需要不同的心臟治療方法
研究:人類的 DNA 不盡相同

1 則留言:

fsj 提到...

清代小抄比名片小 毛筆寫近3萬字

大陸新聞中心/台北報導 中國時報 2007.10.03

一本比名片還小的「小抄」能寫多少字,正在北京舉辦的中國歷代考試作弊工具大展顯示,作弊在中國由來已久,且功夫日新月異,所謂的「口袋書」竟能用毛筆抄寫近三萬字,而最早的代考「槍手」,南宋時期就已出現。

據《北京青年報》報導,作弊大展呈現的歷朝歷代考試作弊用品,舉凡清代藏在衣袖、鞋襪內夾帶進考場的「口袋書」,乃至現在流行的迷你對講機、針孔攝影機等電子設備,均顯示出中國科舉制度的另一層社會意義。

一本清代流傳迄今、比名片還要小的「口袋書」,在先人出神入化的毛筆「刻功」下,竟能夠寫滿二萬九千多字,單是用肉眼就難以辨認,熟知的代考「槍手」一詞,據考證在南宋時期就已出現,而且還是門「職業」。

考試作弊工具反映考生與科舉制度的「大鬥法」,作弊大展展出不少古代嚴懲作弊考生的枷鎖與仗打考生的模擬照片,顯示出作弊被抓的「肉體成本」實在很高,但即時考試前的檢查細緻到脫衣解髮,為求得功名不惜以弊一搏者,還是大有人在。