長年にわたって，観察研究では，無作為化比較対照試験よりも大きな治療効果が得られるということがいわれている．そこで，われわれは，観察研究の結果を無作為化比較対照試験の結果と比較した．

Abridged Index Medicus と Cochrane のデータベースの検索を行い，1985～98 年に報告された観察研究で，同じ疾患に対する二つ以上の治療法または介入を比較した研究を探し出した．次に，これらの疾患について，同じ治療法を比較していたすべての無作為化比較対照試験と観察研究を，MEDLINE と Cochrane のデータベースを検索して同定した．さらに，それぞれの治療法ごとに，種々の観察研究の治療効果の程度を Mantel–Haenszel または重み付け分散分析（ANOVA）の手法によって併合してから，それらと同じ治療法を評価していた無作為化比較対照試験の併合した治療効果の程度と比較した．

冠動脈疾患に対するカルシウム拮抗薬治療，虫垂切除術，生殖能力低下に対する介入といった，領域の異なる 19 の治療法に関する 136 件の報告論文を見つけだした．これらのほとんどの治療法では，観察研究と無作為化比較対照試験から得られていた治療効果の推定値はよく似ていた．すなわち，19 の治療法の効果を解析して，観察研究を統合した効果の大きさが，無作為化比較対照試験を統合した効果の大きさの 95%信頼区間の範囲外にあったのは 2 つの治療法のみであった．

1984 年以降に報告されている観察研究の治療効果の推定値が，無作為化比較対照試験で得られた治療効果の推定値よりも，一貫して大きい，あるいは質的に異なるということを示す根拠はほとんど得られなかった．