研究デザインの階層構造では，無作為化比較対照試験の結果が，最高位に位置付けられる証拠であると考えられているのに対して，観察研究は，治療効果を過大評価していると報告されているために，妥当性が低いとみなされている．今回，われわれは，メタ・アナリシスの公表論文を用いて，同じ臨床課題について検討を行っていた無作為化臨床試験と観察研究を同定した．このようにして同定したメタ・アナリシスで解析されていた原著論文の結果を，研究デザインの種類別に比較した．

五つの主要医学雑誌に 1991～95 年に掲載された論文を MEDLINE のデータベースで検索して，同じ介入を評価していた無作為化比較対照試験のメタ・アナリシス，およびコホート研究または症例対照研究のメタ・アナリシスを探し出した．メタ・アナリシスの五つの臨床課題のそれぞれについて，無作為化比較対照試験および観察研究で得られていたデータを基にして，それぞれの課題別に要約推定値と 95%信頼区間を算出した．

評価した五つの臨床課題と 99 件の論文について，観察研究の平均結果は，無作為化比較対照試験の平均結果と非常によく似ていた．たとえば，活動性結核の予防におけるカルメット・ゲラン菌（BCG）ワクチンの有効性を検討した 13 件の無作為化比較対照試験を解析した結果からは，このワクチンの予防接種を受けた患者の相対リスクは 0.49（95%信頼区間，0.34～0.70）と求められたのに対して，10 件の症例対照研究から得られたオッズ比は 0.50（95%信頼区間，0.39～0.65）であった．さらに，ワクチン接種の効果についてそれぞれの原著論文から求めた点推定値の範囲は，無作為化比較対照試験（0.20～1.56）のほうが，観察研究（0.17～0.84）よりも広かった．

綿密にデザインされた観察研究（コホートデザインまたは症例対照デザイン）によって得られた結果は，それと同じ臨床課題を検討していた無作為化比較対照試験の結果と比較して，その治療効果の程度を系統的に過大評価しているというようなことはない．