Category Archives: How to 論文

レビュー論文の査読は原著論文と違ってメソッドや結果で評価できないので、切り口のオリジナリティーや構成、書かれている情報の正確さや引用文献の解釈のクオリティーなどが評価対象になって本来なら時間がかかるものが多い（？）印象を個人的に持っていたのだが、 今日のレビュー論文の査読依頼は30分で終わってしまった。 最初は記事にする内容ではないと思ったのだが考えるほどに不思議な査読だった気がして、僕自身発見があったので書いてみることにした。 これはただの偏見だろ、というご指摘があるかもしれないが僕自身、他の査読者は普通のコメントをつけているのに、結構なこだわりポイントで一人のレビュアーを激昂させてきついコメントがついたことは何度かあるので、 賛同いただけるかどうかは別として実際のレビューで起こり得ることかもれしれない、というスタンスで読んでいただければと思う。 また、査読論文をネタに使わせていただくのは、詳細はもちろん伏せた上での査読の対価、ということで通したいと思う。 さて本題。 レビュー論文の執筆は、エディターからその分野のエキスパートだと認知された上で依頼がくる場合は高確率で掲載されるのでいいが、 自発的に書いたものをジャーナルに売り込む場合って結構なリスクがあると思う。 レビュー論文は原著論文と違って自分で新しい知識を生成するわけではないので、ジャーナル側からの需要（依頼）がない場合はコンセプトの組み立て方や議論の切り口が斬新なものでない限り買い手を見つけるのは割と難しい気がする。 今回査読した論文は著者側が売り込んできたタイプのもの。 結構な問題点があったので数点あげていく。 一つ目はかなり特異なケースだと思うが… 図が違法 僕は最初に論文の流れを大雑把に掴んだ上で２回目のレビューで詳細を詰めることが多いのだが、まずその一度目のスキャンの時点で気づいたのが 論文中の複数の図が、業者のパンフレットの写真の脚注を落としただけのコピペ。転載許可に関する記述も無い。 このレベルのものはそう無いと思うのだが、かなりのスピードで著者に対するリスペクトを失ってしまった。 内容も際立った印象はなかったのでこの時点でエディターに対するdecision のrecommendationは大方終了した。 ある程度のスペルミスやフォーマットのエラーは誰にでもあるし全然許容範囲だと思うのだが、よく図の違法転載の様なあからさまなものを送ろうと思ったなと。 もし著者がメソッドを組み立てて解析を行なって新しい知識を生成しようと努力した原著論文でこれが行われていたら、もちろん違法なのは変わりないし指摘はするのだが心証は少し違ったのではとも考えた。 まずその様な図を載せる必要って原著論文ではあまり無いはず。そしてそこがこのレビュー査読の問題の本質の様な気もする。 他人が生み出した原著論文の上に成り立つレビュー論文なので、僕が思う「レビュー論文の1番肝心な部分」が疎かにされていたのが気になったのだと思う。 査読的なポイントとしては、この発見後の査読はひたすら酷評モードになってしまったということ。評価はフェアにやろうと努めたのだが普通なら見過ごしている様な穴にも結構コメントをつけてしまったと思う。 これは上の人から聞く話によると割と普通（？）のことらしく、どこかでキレてしまうとその後のコメントが厳しくなりがちだとか。 この査読が手短に終わったのは評価の方向がかなり早い段階で決まってしまったところが大きかったと思う。 切り口がゆるゆる 内容に関しては、論文の切り口が不明瞭だったのがネックだったと思う。 ロボット手術に関するものだったのだが、カバーしているトピックが広すぎてかなりフワッとした毒にも薬にもならないようなレビュー論文になってしまった印象。 ちょっと検索をかけただけで１０本以上は似た様なものが見つかった。 これがレビュー論文の執筆が難しいと思う理由の一つだと思う。ただ単に調べれば出てくる知識をまとめて総論を書くのは恐らく割と簡単で、何か差異化できる特徴が必要だったと思うのだがそれがなかった。 引用が弱い ロボット領域って質の高いエビデンスを生成するのが難しく、そのせいで細かいアプローチの違いに関してはエキスパートの意見によるところが臨床場面では多いと思うのだが、 「X大学のY先生はこう言っていました」というのは確かに学会などでよく聞く情報ではあったのだが、レビュー論文に引用文献無しで書いていたのは事実確認のしようが無いので引っかかった。 また、外科系論文でよく使われる ’Our approach has been…’ の様な、我々はこうしています、という情報の記載なのだが ハイボリュームで手術成績も論文になっていて権威として認識されているチームからの自分たちのテクニックに関する発信はとても有用だと思うのだが、キツい言い方になってしまうが、手術成績もわからない素性の知れていないグループからデータの提示もなしにこの様なことを書かれても評価のしようがなかったのでそこも引っかかった。 まとめ この査読が手短に終わってしまったのは、あまり深い内容に突っ込まずとも評価できる表面的な最低ラインを越えていなかったことが大きかったと思う。 そして著者側から売り込むレビュー論文にはそこそこのリスクがあると思う。 データ採取や解析などのステップを踏まなくて良い分簡単に書けてしまいそうな印象があるかも知れないが、他の面でその論文の価値を補わなければいけないので、掲載への難易度に関してはそれ相応の対価があると思う。

Part1 では書ききれなかった論文トピックの落とし穴の一つがサンプル数 (small sample size) で、サンプル数が少ない、もしくは少ないだろうと予想されるスタディーに手を出す場合はかなり注意が必要だと思う。 サンプル数は多い方がいい、というのは直感的にわかるのだがサンプル数が少ないのがマズい理由は多角的。 統計的なディテールは専門家にお任せするがsmall sample size の問題点はコンセプトとして： 読者の印象 「有意差無し」を解釈できない モデルがオーバーフィット 等がメインではないだろうか。 読者の印象 Abstract のMethods で、後ろ向きの効果比較系のスタディーなのにn=50とか書かれているとその時点で論文の内容に対してかなり怪訝になってしまうのではないだろうか。査読の場合はこの時点でかなりのダメージを被っている印象。 ただサンプル数自体に本質的な重要さはなく、メソッドとstudy aimのコンテキストによって、「多い少ない」の評価が決まると思う。例えば単一施設の n=50 のスタディーでも、COVID19の世界最前線データをdescriptivelyにまとめたものなら価値がある。世界初の手技のアウトカムデータなどもこの類。 そして基礎的すぎるかもしれないがサンプル数と混同されがちなのが、その研究結果がどれだけ幅広い人口グループに当てはまるかを表すrepresentativeness ではないか。例えば、医療環境が全く違った発展途上国の病院から得た１０万人のデータはどれだけビッグデータでも先進国の従事者や患者にとってはあまり意味がない。 ただこの様なあからさまなケースは稀でrepresentativeness は相対的で突き詰めた評価が難しい。なのでsingle vs. multicenter と合わせてまず大雑把な印象付けをするのがサンプル数だと思う。 余談だが、サンプル数が少ないのをなんとか隠そうとしてあえてあまり関係のない母集団の数を書いて最終的に解析に含まれた数を曖昧にするアプローチをたまに査読で見る。サンプル数は確実に評価のファクターなので絶対にどこかの段階で問い詰められるし、分かりにくい書き方をしたことで心証が悪くなることの方が多いと思うのでどんなに少なくても明確に書いた方が総合的にプラスになると思う。 有意差無しの解釈が不可能 効果比較のスタディーで結果が有意差無しだった場合に付き纏うのが「検定力が足りていたか」という疑問で、サンプル数が明らかにに少ない場合はここでつっこまれる。 有意差があった場合でもサンプル数が少ないとlow precisionによるただのノイズではないかという批判になるが、とりあえず有意差なしのケースで検討したい。 例えば治療法Aと治療法Bで１年生存率が50% vs. 90% という大きな差異があった場合でもN=10 vs. 10 の極少サンプルのため p=0.5で有意差無し。これを ”There was no difference in 1-year survival between the two treatment modalities.”Continue reading “リスクヘッジの研究トピック選び：Part 2”

論文を書き続ける限り避けて通れないのがリジェクション。 不思議なもので、リジェクションの方がアクセプトより尾を引く感じがする。 その論文への入れ込み具合もあるのだが、僕の場合アクセプトが+100くらいで嬉しいのに対してリジェクションだと-150くらいのダメージがある。 ただ、誰もが通る道だし、人の論文を斬りまくっているエディターの書いた論文がリジェクトくらうことだってザラにあるわけなので、こればっかりはある程度落ち込んだ後は気を取り直して次にいくしかない。 釣りっぽいタイトルになってしまったが、リジェクションを減らすのに大したトリックは恐らく無く、単純にその論文の価値を見極めて相応のジャーナルに送ればいいだけではないかと思う。ただこの見極めが多分めちゃくちゃ難しい。 ほとんどのリジェクションは著者の論文に対する評価とジャーナル側の評価が食い違うから起こるわけで、このギャップが狭まればリジェクションは減るはず。 リジェクションが少ないPIは質の高い論文を書いているケースが多いと思うのだが、それに加えて論文の質とインパクトを評価することに長けているのだと思う。そして、このジャーナルならこんな感じのトピックというジャーナル側の趣向が分かっていることも重要だと思う。 ただ、Natureに掲載されるにはNatureにサブミットしなければ可能性はゼロなのでリジェクションが多いことが一概に悪いわけではないと思うのだが、明らかなミスジャッジが続くと時間がもったいないし実際にサブミットに手間をかける下の人（僕）が謀反を起こす等の問題がある。 要は論文を過大評価するか過小評価するかだけなのであまり掘り下げる話ではないかも知れないが、今まで論文を一緒に書いた１０人強のPIの間でこの振れ幅がかなりデカかったので一応書こうと思った。 自分の論文を客観的に評価してどのジャーナルに送るかを決めるのは実際かなり難しいと思うので、一生懸命考えているPIを責めることはできないだろう。 それを踏まえてざっとグループ分けすると： ほとんどNEJMスタート リーチからはじめて２〜４回リジェクト 直球ど真ん中 ほとんどNEJMスタート これはグループというか個人なのだが…まぁこんなやり方もあるんだな〜程度の話。 NEJMスタートはジャイアンのポリシーらしいのだが、昔ジャイアンと書いた論文はトップジャーナルに通りそうな要素がかけらもなく、メソッドに結構な大穴が開いていたし、実名でサブミットするのを躊躇うくらいその他諸々の問題があった。 速攻でNEJMにデスクリジェクトされた次はLancet に送ると言うので、 いやー、ヨーロッパ系は難しくないですか？ 等と意味のわからないことを言ってなんとか米国ジャーナルだけに絞る様に説得したのだが半年程ひたすらサブミットし続けてようやく某底辺ジャーナルに落ち着いた。 ＊この話は実在の人物や団体などとは関係ありません。 リーチのジャーナルから２〜４回のリジェクトで落ち着く これが僕の経験上では大半のPIではないか思う。 数段上のリーチのジャーナルからはじめて徐々に落として２〜４回以内に決める印象。 ただデスクリジェクトのシステムがない場合（IF~7以下のジャーナルにはほとんどない？）はどれだけリジェクトの可能性が高くても一回の査読に１〜１ヶ月半ほどかかるので２回くらいがモチベーション的な観点からの許容範囲な気がする。 なのでかなり大雑把な話だが、よほどの自信がない限りは、例えばIF 10のジャーナルにデスクリジェクトされたら4-6くらいまで一気に落とすとその下が限られるので収束が早まる感じがする。 余談だが、リジェクトされた後にその格上ジャーナルへのアクセプトはあり得るのか気になったので一度試してみたことがあった。 自信のあった論文だったということもあったのだが6つのジャーナルからリジェクトされ、IF1あるかないかのジャーナルからリジェクトが続いた後に手直し無しでIF5+のジャーナルに送ったものが通ったという経験がある。 もちろんIFは大雑把な指標でしかないしジャーナルの特色に左右されるところもかなりあると思うのだが、この振れ幅には驚いた。 ただ、執筆終了からアクセプトまで２年くらいかかったのでもう試そうとは思わない。 直球ど真ん中 １〜２回のサブミットでほとんど決めてしまうイケイケなPIもいると思う。 ただし、割とコンサバティブなアプローチをとっている（と思う）のでど真ん中というよりは論文を過小評価しがちな気がする。 そしてリジェクトで姉妹誌に移すサジェスチョンが来た場合はかなり格下でもほとんど受けている印象。 なので論文が掲載に向かって動くのは確かに早いが、結構チャンスのあったであろうもう少し良いジャーナルをトライできないのはちょっと残念かもしれない。 多分その辺の小さな違いには時間をかけずに、ある程度のペースで論文を出し続けるのも大事な要素として考慮しているのではないかと最近考える。 まとめ ジャーナル選びにもいろいろなスタイルがあるなという話。 自分の論文を客観的に評価できる様になると相応のジャーナルに送りやすくなるのかもしれないが、査読自体がそこまでscientificなプロセスではないので元気のあるうちはリジェクト覚悟で結構リーチのジャーナルからはじめてもてもいいのではないかと思う。 上を試さないでアクセプトになると、もしあのジャーナルに送っていたらどうなっていただろう、と夜な夜な考えてしまう様なことは…ないだろうか。 　　　

障害物を避けることは効率化の基本だと思うのだが、臨床研究にも障害物があり、障害物まみれの「ヤバそうなプロジェクト」をトピック選びの時点で察知することはかなり重要なスキルだと思う。 そして臨床研究が破綻・泥沼化しうる落とし穴はいくらでもある。僕もハマりまくったし、失速して風化していくプロジェクトもたくさん見た。 そのような惨事をどれだけ事前に防ぐことができるか、または深入りする前にプロジェクトを切る英断を下すことができるかはPIや研究者の能力の一つだと思う。 「ヤバいプロジェクト」は時間を無駄にするし、チームのモチベーションが下がることや変なプロジェクトにコラボレーターや学生を引きずり込んでしまうと信用問題になり今後のコラボに影響する、等の副次的なものもあるのではないか。 なのでトピック選びをする際にはある程度、リスクヘッジの観点が加わると良い気がする。今回はよくある落とし穴の認知について書く。 よくある落とし穴： データベースがない それっぽいデータベースはあるけど重要な変数がない 全く同じトピックをベターにやった論文がある サンプル数が少なすぎる→Part 2 でやります データベースがない 本来なら「あ、データないね」で終わるはずの単純な問題なのだが、データがないのにやりたいスタディーのアイデアを実写版ジャイアンに持ってこられまくって大変なことがあった。 追求したい理想のリサーチクエスチョンを既存のデータと摺り合わせて落とし所を探るプロセスは不可避だと思うので、リサーチクエスチョンを検証するのに必要なデータと入手可能なデータが両方頭に入っていないと、上記の僕のようにこのステップをジャイアンと堂々巡りする羽目になる。 研究チーム構成についての記事でも少し触れたが、既存のデータをある程度把握している人物はキーパーソンだと思う。この感じのスタディーがやりたければこのデータベースに必要な患者数と変数が記録されている、というカタログ的な役割。更にこの人に臨床知識やスタディーデザインの技術があれば追求できるスタディーの幅と質がぐんと増えるのではないかと思う。 ただ、既存データと一概に言っても幅広すぎるので、ある程度使うデータが決まっている分野やトピック、というフレーム内のエキスパートだが、この役割を担う人がいるだけでプロジェクトの取捨選択がかなりスムーズに進むと思う。 データベースは無いけど電カルからデータを集めれば作れるよ、という場合はより一層の注意が必要。データベース構築は膨大な時間を要するので、データの定義や採取にかかる労力とそのデータから得られる（と予想される）研究結果の価値を天秤にかけて厳しく事前評価しなければいけない。 このデータベース頑張れば作れるからやってみよう、程度のノリでデータベース構築に手を出すのはリスキーだと思う。そして、研究目的なしにただ、あと後ペーパー書けそうだからデータベース作っとこう、というアプローチもかなり危険。変数などデータベースのデザインがプロジェクトの観点から整理されていないため、先にデータベースを闇雲に作って（３回くらいやった）上手くペーパーにつながった覚えがない。 僕は最近は納得のいくレベルのデータ定義や採取、missing data の許容度などに考えを巡らせると前に進めなくなってしまうので自分でデータ定義から始めないといけないスタディーにはあまり手を出せずにいる。 それっぽいデータがあるけど重要な変数がない これは手が出そうな分、単にデータベースが存在しない場合より質が悪いかもしれない。 例えば、心臓外科のリサーチでよく使うSociety of Thoracic Surgeons (STS)という学会が管理している心臓外科手術に特化された数百の変数が記録されているレジストリーがある。データの定義もしっかりしているので自施設のデータを使って研究しているグループは多い。 ただ生存や再入院が術後３０日以内までしか記録されていないので、例えばバイパス手術の結果に焦点を当てたい場合は長期成績が重要なのでこのデータベースのみではあまり意味のある結果が得られない。 「じゃあ長期データ集めればいいじゃん」ということなのだがこれが意外と難しい。生存データは何通りか方法があるのだが長期の生存はトピックとしてやり尽くされている。 再入院・再手術は自施設内で行われたものでないと電カルに記録されていないし、患者や家族に連絡して再入院の有無を確認した場合、手術からこの確認のインターバルが一定でないといけないし、ほぼ確実にリコールバイアスについてレビューでツッコまれる。 再手術の有無を忘れることはそうないだろうが、手術の日付や悪い場合だと年までが曖昧な場合が結構あるし、この方法ではアテにならない、という論文も数多く存在する。 なので頑張って何百、何千人という患者にコンタクトしたとしても得られたデータが使い物にならない、というリスクがある。 そしてそれだけの労力に見合うデータかというと既存のスタディーと照らし合わせてもかなり疑問が残る。 基本的に、後ろ向きのデータ集めを行う場合は常にこう言ったリスクが付き纏うと思うので、「できそうだから」という理由のみで追求するのは危険だと思う。かなり勝算があるものを更に吟味した上で追求したら良いのでは。 同じトピックをベターにやった論文がある インパクトの高いスタディーを再現性評価の目的から模倣する、というアプローチはメソッドが伴っていれば全然アリだと思うが、似たようなことやってみようという軽いノリで手を出すと行き詰まりやすい気がする。 もちろん既存のスタディーの上をいく要素が何かあればいいのだが、自分のスタディーよりもレベルが高いものが既に存在しているのに、今更質や量で劣るデータを使って似たようなリサーチクエスチョンを追求するのはリスキーだと思う。 これは僕が昔ジャイアンにこの手のトピックをたくさん投げられて色々葛藤した末の結論なので人それぞれだと思うのだが、 まずsignificance を議論するのに苦労する。重箱の隅をつつけば必ず何か見つかるのだが、例えば仮に他の全てのパラメータが同じだとして、multi-center のスタディーが既にある状況で同じ地域や国でsingle-center のスタディーを行う意味って多分そんなに無い。 受け入れてくれるジャーナルはあるかもしれないが、自分でただの模倣スタディーと思いながらモチベーションを保つのはなかなか辛いし、最初から低めジャーナル狙いのペーパーを書いて上手くいった試しがあまり無い。 なので、真似るのは割と簡単かもしれないが、既存スタディーにもう一味加えられない場合はハイリスクだと思って臨むと良いのではないだろうか。 まとめ 研究トピック選びにもフェーズがある気がする。例えば僕は、学生の頃はとにかく自分の周りにあったものを片っ端からやっていたが、ちょっと解析ができるようになってからはもう少し取捨選択するようになった。今は結構先まで見通しがつくものでは無いと手を出さないようになってきていると思う。 いずれにせよリスクヘッジの観点が加わるとトピック選びに深みが増すような気がする。ただ、なんでもがむしゃらにやっていた頃の経験も無駄ではないと思う。 Part 2 へ進む