by 大森(2009-11-06 09:54:44)
芦田さん
芦田さんの奥様と芦田さん､多くの患者さんの体験されている様々な思いを想像しながらpdfを読みました｡いろいろと考えたことがあるのですが､それを書くのをやめます｡その代わりに､
2005 年2 月22 日号 Neurology 誌 621〜630 ﾍﾟｰｼﾞ
｢ｲﾝﾀｰﾌｪﾛﾝﾍﾞｰﾀ1bは日本人の再発寛解型MS 患者において有効である：ﾗﾝﾀﾞﾑ化された多施設研究｣
の全文を読んでみたので､この論文について考えたことだけを書きます｡
もちろん､以下に書くことは､芦田さんはもうすでにご存じのことだと思いますが､芦田さんのpdfの中では触れられていませんし､芦田さんのためにと言うよりも､このpdfを読む読者のみなさんに役にたてばいいなと思って書きました｡
--------------------------------------------------
この論文はｲﾝﾀｰﾌｪﾛﾝﾍﾞｰﾀ1bを50μg使った群と､250μg使った群で効果を比較したんですね｡｢ﾌﾟﾗｾﾎﾞを使うのは倫理的ではないから(the use of a placebo control arm was considered inappropriate from an ethical viewpoint.｣なんだそうです｡50μgでも効果はあるので､ﾌﾟﾗｾﾎﾞと比較する場合に比べて､ｲﾝﾀｰﾌｪﾛﾝﾍﾞｰﾀの効果は過小評価されてしまうだろうと論文の中にも書いてあります｡
さて､
Pさんが訳してくれた要旨の一部､｢ｻﾝﾌﾟﾙ数が少ないために統計学的有意ではなかったものの､ｻﾌﾞｸﾞﾙｰﾌﾟ解析ではOSMS とCMS における本治療効果の程度や方向性が同等であることが示唆された｣の意味がまったくわかりませんでした｡はじめはPさんの誤訳かと思いました(失礼)｡
ところが原文でもSubgroup analyses suggested that the magnitude and direction of treatment effect in patients with OS-MS and C-MS was similar, albeit not significant due to small sample size.となっていました(Pさんの誤訳というわけではないようです)｡
この文章はとても変です｡
もし｢ｻﾝﾌﾟﾙｻｲｽﾞが小さいので､統計学的有意ではなかったものの､ｻﾌﾞｸﾞﾙｰﾌﾟ解析ではOSMS とCMS における本治療効果の程度や方向性が異なる(!)可能性が示唆された｣と書いてあるのなら分かります｡OSMS とCMSを比較すると効果に差があったが､ｻﾝﾌﾟﾙｻｲｽﾞが小さいので統計学的に有意とは言えない､という理屈です｡
よく分からないので､本文を読んでみました｡
--------------------------------------------------
著者たちが言っていることは､
一つ目
MS全部ひっくるめた解析では､50μg群と250μg群とで年間再発率に有意差があった｡
(注：Pさんが訳してくれたところで言うと､
｢年間再発率は250microG 投与群で0.763､50microG 投与群で1.069 であり､再発の相対減少率は28.6%であった(p=0.047)｣
の部分です｡
しかし､これには問題があります｡この論文では､検定に片側検定を使っています｡たとえそれがﾌﾟﾗｾﾎﾞ対照の研究だとしても､普通は両側検定を使います｡なぜかれらは片側検定を使ったのか? それは両側検定にすると有意差がでなかったからかもしれません｡片側検定のほうが有意差があったと言いやすくなります｡
二つ目
つぎに､OSMSｸﾞﾙｰﾌﾟ､CMSｸﾞﾙｰﾌﾟ別に､同じように年間再発率を比較してみた(ｻﾌﾞｸﾞﾙｰﾌﾟ解析)｡
OSMSｸﾞﾙｰﾌﾟでは250μg群のほうが再発率が小さかった｡しかし､ｻﾝﾌﾟﾙｻｲｽﾞが小さくなるので､この効果は統計学的に有意ではなかった
CMSｸﾞﾙｰﾌﾟでも250μg群のほうが再発率が小さかった｡しかし､ｻﾝﾌﾟﾙｻｲｽﾞが小さくなるので､この効果は統計学的に有意ではなかった｡
です｡
つまり､著者たちは､｢OSMS患者に対する効果｣と｢CMS患者に対する効果｣とを比較しているわけではないのです｡
それなのに要旨で｢OSMS とCMS における本治療効果の程度や方向性が同等であることが示唆された｣と書くのは､論理的に破綻しています｡
--------------------------------------------------
さて､論文を読んでも､この研究の第一の評価事項である年間再発率の定義が理解できないので､もっと単純に､再発した人､再発しなかった人を数えてみました｡こっちのほうが直感的で分かりやすいですよね｡
623ﾍﾟｰｼﾞ
A total of 42/95 (44.2%) in the 250 μg group and 32/93 (34.4%) in the 50 μg group were relapse-free at the end of the study
624ﾍﾟｰｼﾞ
The proportion of relapse-free patients was 28% (5/18) in the 50 μg group and 27% (6/22) in the 250 μg group in patients with OS-MS, compared to 36% (27/75) in the 50 μg group and 49% (36/73) in the 250 μg group inpatients with C-MS.
わかりにくいので書き直すと
まず､
MS患者全体では､再発しなかった人は
50μg群では､93人中32人(34％)
250μg群では､95人中42人(44％)でした｡
250μg群のほうが再発しなかった人が多い(再発した人が少ない)ですが､統計学的には有意ではありません｡
OS-MS患者だけを見ると､再発しなかった人は
50μg群では､18人中5人(28％)
250μg群では､22人中6人(27％)
検定をするまでもありません｡再発率(再発しなかった率)は差がありません｡
C-MS患者だけを見ると､再発しなかった人は
50μg群では､75人中27人(36％)
250μg群では､73人中36人(49％)
250μg群のほうが再発しなかった人が多いですが､統計学的には有意ではありません｡
-------------------------------------------------
つっこみどころは他にもたくさんたくさんあるのですが(副作用のため治療を続けられなかった人が250μg群には多いこと､205人参加したはずなので､解析されたのは188人しかいないこと､なぜ年間再発率の計算に､従来のやり方と違う式を使ったのかなどなど)｡
それはさておき､本文を意地悪く読めば､この論文から言えることは｢ｲﾝﾀｰﾌｪﾛﾝ1bの再発予防効果は､MS全体を見ると､あってもわずか｡OSMS群には効果なし､もちろん､ｻﾝﾌﾟﾙｻｲｽﾞが小さいから有意差が出なかったのかもしれないが｣､となります｡
少なくとも｢CMS とOSMS におけるﾍﾞﾀﾌｪﾛﾝの反応性(再発抑制率)は変わらない｣なんて口が裂けても言えません｡だってそんな比較してないんだから｡
うｰん､不思議だ｡なんでこの論文がそんなに影響力を持ったのでしょうか?
私は､その歴史的背景は芦田さんほど知りませんが､この論文だけを読んでも､かなり怪しい論文だと思います｡
by 大森(2009-11-10 09:56:02)
芦田さん
数日前に投稿したのですが､自分の投稿を読み返してみて､これでは､説明が十分ではないし､正しくない説明もあるし､ﾌﾞﾛｸﾞの読者のみなさんを混乱させてしまうような気がしたので､書き直しました｡
もし､掲載してもらえるのなら､こっちのﾊﾞｰｼﾞｮﾝをのせてもらえるとうれしいです｡
また､この投稿が芦田さんのﾌﾞﾛｸﾞにふさわしくないとお考えであれば､芦田さんだけに読んでもらうのでもけっこうです｡長くなってしまったし｡
以下本文｡
芦田さんの奥様と芦田さん､多くの患者さんの体験されている様々な思いを想像しながらpdfを読みました｡いろいろと考えたことがあるのですが､それは書くのをやめます｡
その代わりに､2005 年2 月22 日号 Neurology 誌 621〜630 ﾍﾟｰｼﾞ｢ｲﾝﾀｰﾌｪﾛﾝﾍﾞｰﾀ1bは日本人の再発寛解型MS 患者において有効である：ﾗﾝﾀﾞﾑ化された多施設研究｣の全文を今回初めて読んでみたので､この論文について考えたことだけを書きます｡
芦田さんは｢日本のMS治療は､この論文に良くも悪くも影響されています｡しかもこの論文は極めて怪しい(と私は思います)｣とお書きになりました｡
私は､多発性硬化症のことを芦田さんの100分の1も知りませんし､この論文の位置づけもよく分かっていません｡
しかし､多発性硬化症についてその程度の知識しかもたない私でも､この論文の怪しさを指摘することは出来ます｡
芦田さんはこの研究の結果についてはpdfの中では触れられていません｡
もちろん､以下に書くことは､芦田さんはもうすでにご存じのことだと思います｡ですから､芦田さんのためにと言うよりも､このpdfを読む読者のみなさんに役にたてばいいなと思って書きました｡
-------------------------------------------------------------------------------------------------------------------------
まずPさんが訳してくれた要旨の一部より｡
＜結果＞年間再発率は250microG 投与群で0.763､50micorG 投与群で1.069 であり､再発の相対減少率は28.6%であった(p=0.047←註：統計上よく出現する項目ですが､簡単にはこの結果が間違っている可能性が4.7%あるということですが､5%以下の場合は通常｢統計学的に有意｣と判断します)｡
すべての第二評価事項に関して､250μG のIFNB-1bを投与された群が勝っていた｡ｻﾝﾌﾟﾙ数が少ないために統計学的有意ではなかったものの､ｻﾌﾞｸﾞﾙｰﾌﾟ解析ではOSMS とCMS における本治療効果の程度や方向性が同等であることが示唆された｡(要旨の一部ここまで)
まず､｢ｻﾝﾌﾟﾙ数が少ないため｣は｢ｻﾝﾌﾟﾙｻｲｽﾞが小さいため｣の誤訳だと思います｡細かいことですが重要なことでもあります｡それはさておき､この要旨は非常にひっかかります｡
｢ｻﾝﾌﾟﾙ数が少ないために統計学的有意ではなかったものの､ｻﾌﾞｸﾞﾙｰﾌﾟ解析ではOSMS とCMS における本治療効果の程度や方向性が同等であることが示唆された｣の部分です｡
(説明をｼﾝﾌﾟﾙにするために乱暴な説明をしますが)こういった研究の場合､普通は､2群(この研究では250μG 投与群と､50μG 投与群)の間で認められた効果の”違い”が､統計学的に有意であるかどうかを解析(検定)します｡
ですから､上記の記述が､｢ｻﾝﾌﾟﾙ数が少ないために統計学的有意ではなかったものの､ｻﾌﾞｸﾞﾙｰﾌﾟ解析ではOSMS とCMS における本治療効果の程度や方向性が”異なる”ことが示唆された｣ならまだいいのです｡
つまり､｢OSMS とCMSとでは､治療効果がちがっていた｡この違いが統計学的に有意かどうかを調べるために検定したが､残念ながら有意差はなかった｡これはｻﾝﾌﾟﾙｻｲｽﾞが小さいためと考えることが出来る｣という理屈です(これでも､かなりひっかかるのですが､まだましです)｡
しかし､上記要旨ではそうなっていない｡治療効果が同等であることを検定したように読める｡これはおかしい｡
誤訳ではないかと原文を読んでみました｡Subgroup analyses suggested that the magnitude and direction of treatment effect in patients with OS-MS and C-MS was similar, albeit not significant due to small sample size.となっていますので､訳に間違いはありません(Pさん､疑ってｽﾐﾏｾﾝ)｡
ひっかかる､ひっかかる｡いったいどういう解析をしたのか想像も出来ない｡
もしかしたら私の知らないような特別な統計学的な解析方法(検定方法)を使ったのかもしれないけれど､要旨を読む限りは､そうは思えない｡あやしい｡
で､本文を読んでみるとﾂｯｺﾐどころが満載です｡
ﾂｯｺむ前に､この論文の内容をかんたんにまとめると､MSの患者さん200人くらいを半数ずつに分けて､一方には250μGを､もう一方には50μG を注射して､2年間の再発を調べた｡MSの患者さん全体で比較したあと､OSMSの人と､CMSの人とを別々にして比較もしてみた､という研究です｡
--------------------------------------------------------------------------------
＜ﾂｯｺﾐﾎﾟｲﾝﾄ1＞
この論文では､治療効果のMS全部ひっくるめた解析では､50μg群と250μg群とで年間再発率に有意差があった､と報告しています｡(注：Pさんが訳してくれたところで言うと､｢年間再発率は250μG 投与群で0.763､50μG 投与群で1.069 であり､再発の相対減少率は28.6%であった(p=0.047)｣の部分です｡p=0.047ですから､有意差と言って良いように思えます｡
しかし本文をよくよく読むと､この論文では片側検定を使っています｡
50μG 群よりも250 μG群のほうが効くという前提で解析したと書いてある｡これは問題｡たとえﾌﾟﾗｾﾎﾞ効果以上の効果がない偽薬を使った研究でも､両側検定をするのが普通で､片側検定をやっている研究はあまりありません(全くないとは言いません｡探せばあるのでしょう｡
でも､あったとしてもそれが正しいとは思いません)｡
ましてや､この研究ではﾌﾟﾗｾﾎﾞではなく､50μG 群と比較しているのです｡片側検定を採用するのは､なにか意図があってのことではないかと疑ってしまいます｡
片側検定をするとなにが問題か? 片側検定は有意差が出やすくなります｡
もし上記の検定で､普通に両側検定を採用すれば､p値はおそらく 0.05を超えるでしょうから､結果は｢年間再発率は､250μG 投与群で0.763､50μG 投与群で有意差がなかった｣となります｡
両側検定では有意とならなかったので､片側検定を行って有意差があったという結果にしたのではないか､と疑うということです｡
＜ﾂｯｺﾐﾎﾟｲﾝﾄ2＞
さて､著者たちはOSMSの患者さん､CMSの患者さんごとに､250μG 投与群と､50μG 投与群との年間再発率の比較をしています｡
要旨にあったｻﾌﾞｸﾞﾙｰﾌﾟ解析というのはこの比較検討のことを意味しています｡
この論文で報告されている結果は､OSMSの患者さんでは250μg群のほうが再発率が小さかった｡
しかし､ｻﾝﾌﾟﾙｻｲｽﾞが小さくなるので､この効果は統計学的に有意ではなかったCMSの患者さんでも250μg群のほうが再発率が小さかった｡
しかし､ｻﾝﾌﾟﾙｻｲｽﾞが小さくなるので､この効果は統計学的に有意ではなかった｡
つまり､MSの患者さん全体の解析では､普通は使わない片側検定を使って有意差を示したけれど､ｻﾌﾞｸﾞﾙｰﾌﾟ解析をすると､OSMSの患者さんでもCMSの患者さんでも､有意差はなかったのです｡
有意差がなかった理由としては､250μgの治療に効果がないのかもしれないし､あるいは､本当は効果があるのにｻﾝﾌﾟﾙｻｲｽﾞが小さいため､それを示せなかったのかもしれない｡
これは考察です｡どういう考察をしても自由ですが､結果は｢有意差がなかった｣です｡
また､この論文では､患者群ごとにそれぞれ別個に､ｲﾝﾀｰﾌｪﾛﾝの効果を比較したのであって､｢OSMS患者に対する効果｣と｢CMS患者に対する効果｣とを比較しているわけではないのです｡
要旨には｢OSMS とCMS における本治療効果の程度や方向性が同等であることが示唆された｣なんて書いてありますが､そんな比較検討なんてはじめからしていないのです｡
＜ﾂｯｺﾐﾎﾟｲﾝﾄ3＞
さて､論文を読んでも､この研究の第一の評価事項である年間再発率の定義が理解できないのです｡
著者たちが引用している北米の研究の定義ならすんなり分かるのですが､なぜわざわざ異なる計算方法をしたのか分からない(専門家の先生には分かるのだろうと思うので､これは理解できない私の問題なのですが)｡
で､もっと単純に､再発した人､再発しなかった人を数えてみました｡
こっちのほうが直感的で分かりやすいし､著者たちが引用している北米の研究では､年間再発率とならんで､この非再発率も第一の評価事項となっています｡
しかし､この日本の研究では､非再発率は､第二の評価事項の最後になっていて､しかも要旨では非再発率の結果については触れられていません｡
で､結果はどうなっていたかというと､
623ﾍﾟｰｼﾞ
A total of 42/95 (44.2%) in the 250 μg group and 32/93 (34.4%) in the 50 μg group were relapse-free at the end of the study
624ﾍﾟｰｼﾞ
The proportion of relapse-free patients was 28% (5/18) in the 50 μg group and 27% (6/22) in the 250 μg group in patients with OS-MS, compared to 36% (27/75) in the 50 μg group and 49% (36/73) in the 250 μg group inpatients with C-MS.
わかりにくいので書き直すと
まず､MS患者全体では､再発しなかった人は､
50μg群では､93人中32人(34％)
250μg群では､95人中42人(44％)でした｡
250μg群のほうが再発しなかった人が多い(再発した人が少ない)ですが､統計学的には有意ではありません｡(たとえ有意水準を0.10にしても有意にはなりません)｡
OS-MS患者だけを見ると､再発しなかった人は
50μg群では､18人中5人(28％)
250μg群では､22人中6人(27％)
検定をするまでもありません｡
再発率は差がありません｡
C-MS患者だけを見ると､再発しなかった人は
50μg群では､75人中27人(36％)
250μg群では､73人中36人(49％)
250μg群のほうが再発しなかった人が多いですが､統計学的には有意ではありません｡(有意水準を0.10にするとぎりぎり有意にはなります)｡
さらにまとめると､非再発率は､MSの患者さん全体でも､OS-MS患者だけを見ても､C-MS患者だけを見ても､2群間に有意差はなかった(ｲﾝﾀｰﾌｪﾛﾝに効果はない､少し正確に言うとｲﾝﾀｰﾌｪﾛﾝを上乗せする効果はない)ということになります｡
＜ﾂｯｺﾐﾎﾟｲﾝﾄ4＞
実はこの研究に参加した人は全部で205人いたのです｡
しかし､解析されているのは188人｡ﾏｲﾅｽ17人はどこに行ったのか｡
本文を読むと説明してあります｡
この研究では､50Μgなり250μgなり､目標とする量を注射するのに､はじめからその量を注射するのではなくて､少しずつ増やしていきます｡
この増やしていく過程の途中で研究参加をやめた人が13人います｡この13人は､50μg群だったのか､250μg群だったのか書いてありません｡
もちろん､OSMSの患者さんだったのか､CMSの患者さんだったのかも書いてありません｡
なぜ薬を増やしていく途中に研究参加をやめたのか､その理由も書いてありません｡
これは非常に問題です｡なぜか｡
ｲﾝﾀｰﾌｪﾛﾝには副作用があるからです｡
薬を十分に増やした後でも､50μg群で96人中5人､250μg群で96人中15人もいます｡
薬を増やしていく途中に研究参加をやめた13人の中にも､副作用のせいで薬を続けられなかった人がいる可能性があります｡
さらに､もし､OSMSの患者さんにはｲﾝﾀｰﾌｪﾛﾝには効果がなく副作用しかないのなら､この13人の多くはOSMSの患者さんである可能性が高い｡
この13人の患者さんを解析からのぞくことは､OSMSの患者さんに対するｲﾝﾀｰﾌｪﾛﾝの価値を過剰評価することになってしまう｡
--------------------------------------------------------------------------------
大きなﾂｯｺﾐﾎﾟｲﾝﾄは以上の4つだと思います｡
これをふまえて､改めてこの論文の結果と考察を私なりにまとめると､
【結果】
(他の多くの研究と同じように､両側検定を行うのであれば)､年間再発率も､非再発率も､50μg群と250μg群とで有意差はない｡
ましてや､OSMS群､CMS群それぞれを見たｻﾌﾞｸﾞﾙｰﾌﾟ解析でも有意差はない｡
【考察】
有意差がなかったのは､ｲﾝﾀｰﾌｪﾛﾝには効果がないからかもしれないし､ｻｲﾝﾌﾟﾙｻｲｽﾞが小さかったからかもしれない､となります｡
なぜ､この論文の著者は､多発性硬化症についてはｼﾛｳﾄの私でも分かる怪しい解析をしたのか?
以下は､疑り深い私の妄想です｡そんなことはない!と怒られれば素直に取り消します｡
おそらく結論ありき､だったのではないでしょうか｡
｢ｲﾝﾀｰﾌｪﾛﾝには日本人のMSに効果がある｡もちろんOSMSにも効果がある｣という証明したい結論を証明するためにこの研究を行ったけれど､普通の解析では有意差がなかった｡
だから､両側検定では有意差がでないから片側検定を行い､従来の研究と違う年間再発率の計算式を使い､従来の研究では第一の評価事項となっていた非再発率は重視せず､治療の初期で研究参加を取りやめた人たちをを除外して解析した｡要旨にも､行っていない解析を書いた｡
ｽﾐﾏｾﾝ｡とても意地悪な妄想です｡
しかし､Pさんがおっしゃっているように､この論文が､｢事実上OS｢MS｣はCMSに治療反応性が類似するとのお墨付きを与えた｣のであれば､やはりこの論文の怪しさは批判されるべき問題だろうと思います｡
繰り返しになりますが､｢OS｢MS｣はCMSに治療反応性が類似する｣なんて､この研究では､そんな解析･検定はやっていないのですから!
さらに､繰り返しになりますが､MSの患者さん全体についても､普通の解析･検定なら､有意差はなかったのですから｡
本文を読めば分かることです｡要旨を読んだだけでも､怪しい(普通ではない)ことが分かるはずです｡
この論文に影響を受けた人の中には､要旨しか読んでいない､要旨を読んでもその問題点を評価できない､本文を読んでもその問題点を評価できない人がいた可能性は否定できないと思います｡
この論文発表後の治療の変化が本当にあったのだとしたら､｢ｲﾝﾀｰﾌｪﾛﾝはMSにも､OSMSにも効くはずだ｣という医師の経験や勘による治療についての信念が､臨床研究の結果の解釈をねじ曲げた､一つの悲しい例であるような気がします｡