Life is Beautiful

主に進化生物学の理論のブログです。不定期更新予定。

インパクトファクターは科学者の業績を[必ずしも]測らない

語り尽くされた話題かもしれませんが。

科学における論文出版は研究者にとっても最も重要かつ楽しいものだと思います。その出版論文リストは時として「業績」と呼ばれます。その業績に基づいて、科学者はその「運命」が決まります。いわば就職しやすいかどうか、大きな研究費獲得は、その業績に大きく依存することは疑いようがありません。それはフェアなことだと思います。うん、疑う余地もありませんね?

そもそも業績とは

業績とは成し遂げたことです。つまり科学者科学者として何をしたかを表すのが業績。でも論文って(あるいは学会発表ってのは)、何かを世間に公表するための手段ですから、何を成し遂げたかを説明したことにはならないはずです。

そうではなく、どういう研究をして、どのように、何を解明したのか、が業績です。

ユートピアでしょうか。いや、そんなことはないはずです。論文を出版したことではなく、論文の中身が業績です。

評価の指標:インパクトファクター

業績は他者に評価される運命にあります。それは当然だし、それでもって採用の可否が決まるのは、いまの社会では当然のこと(正確には、当然として受け入れられていること)です。

たとえば我々が人事職に就いていて、“優秀な人材”を採用したかったら、業績を評価する。そりゃそうです。

でも、その人材の候補者がたくさんいて、そのなかから採用者を選ばねばならない場合、彼ら彼女らの業績を、相対評価せねばなりません。その場合、候補者全員の論文をひとつひとつ読むかと言われると、そんな時間はないでしょう。

また、「論文」とひとくちに言っても、たくさんの種類の論文が数多のジャーナルに掲載されています。漫画でいうと、ジャンプ、マガジン、サンデーのようなものです。Nature, Science, Cell, Lancet, などの“Top Journal”から、専門ジャーナルや、ハゲタカジャーナルなど、“玉石混交”多種多様です。

ということで、一部の科学業界では、ジャーナルの「科学的貢献」を測る指標として、インパクトファクター(IF)というのが導入されています。

正確な定義は他に譲りますが、端的に言えば、そのジャーナルに前年と前々年の二年間掲載された論文一本あたり、本年に何回(のべ)引用されたかを測っています。

たとえば、2010年/11年の二年で100本の論文を掲載したジャーナルが、2012年に合計400回引用されたら、2012年のIFは400/100=4.0ということになります。

ジャーナルのIFが高いということは、平均的に見て、過去の二年間、研究界隈で「話題に」なって、他の論文でも取りざたされた論文が多いということであり、ジャーナルが科学的議論の発展に貢献していると判断されます。

そういうことで、直感的には、IF=15.0のジャーナルに論文が載った!と聞くと、ああすげえな、という気分にはなるかもしれません。

この直感が問題。

IFは論文の指標ではない

IFは、ジャーナルの指標であって、論文の指標ではないので、昨日掲載されたあなたのわたしの論文は、IFとは無関係です。 IFはいわば、他者が*1そのジャーナルに出版した論文の被引用回数を示すものです。

IFは過去の指標

さらに、IFは、二年遡った過去の論文が引用された回数によって社会へのインパクトを測っている。掲載されたホヤホヤの論文たち(だけ)ではないのです。

「なので“IF=15.0”のジャーナルに論文が掲載されました!」という公表は、ジャーナル(における過去の論文たちがどれだけ引用されたか)という威を借る狐ということだし、過去の論文の引用された回数の平均を述べているという、自身とは関係ないことを宣言しているに過ぎません。そういう態度は、科学者として、すこーし不誠実、かも?

IFは査読の公正さ・厳密さとは関係ない

さらには、IFはジャーナルの指標ではあっても、査読の厳密さの指標でもありません。もし査読の厳密さを論ずるなら、すべての査読コメント・リプライを公開すべきです。査読は採用の可否に多大なる影響を及ぼすのは事実ですが、これまで40回以上の査読に携わった身としては、査読よりもエディター(査読者と著者のやりとりを媒介する、“中立的な”立場の人;もちろんジャーナル関係者)のほうが重要だと考えます。査読者がジャーナルのカラーや方向性・スコープに与する側面は限られているので、それは自然なことでしょう。

IFは足せないので加算平均がとれない

IF合計値を気にする研究者がいるという話はよく見聞きします。しかし、次のような問題を考えてみましょう。

太郎くんは、動く点Pよろしく、地点AからBまで、3kmの旅をしました。行きには1時間かかりました(つまり平均時速は3km/hでした)。帰りは30分でした(よって平均時速は6km/hでした)。さて、平均時速はいくらでしょう?

 (3+6)/2 = 4.5と答えたくなるのが人情ですが、実際は、 3×2 =6kmの距離を、 1+0.5=1.5時間かけて旅したので、 6/1.5=4ということになります。小学校でやりましたね。これは、大学以降で習う、調和平均というものです。

このことから、割り算された値には注意が必要なのは自然なことです。

IFも定義からして、ジャーナルごとに、掲載された論文一本あたりの引用数から算出されているので、足しても意味がありません。よって加算平均をとることは意味がなくて、もしやるならせめて調和平均をとらないといけません。

もちろんそもそも、先述の通り、IFは「いまの・その論文」の重要性を測ることはしませんから、業績の評価に用いること自体が論理的におかしいですけど。

研究人口に大きく依存する

引用されるためには、論文で言及されることが必要(かつ十分)で、論文を書くためには人が必要です。よって、単純計算からも分かるように、研究人口が多い分野ではIFが高くなる傾向にあります。

年変動する

IFは一年ごとに更新されますので、年変動します。しかも主に他者の研究の影響を受けて。

人事では用いられている悲惨さ

自身の身を案じていることから多くは言いませんが、「インパクトファクター 合計」などでGoogle検索すると、大量の情報が見つかります。人事決定権のある科学者が、上のような誤りを犯し続けているのは、非常に問題です。

例を下記に付します。

http://www.saga-u.ac.jp/houmu/kisoku/igakupdf/1-04-14-02.pdf

発表論文実績の規定

基礎医学助教

pact factor の合計数が3以上(算出係数1st,Corresponding, last,指導教員は×1として,2ndは×0.5として,それ以外は×0.2として計算)又は欧文原著数2編以上

(簡易な書き方をすれば、) IF= 引用された数 ÷ 出版数 に、(引用と関係ない)著者の順序に基づいた重みをつけている。これで最後に和をとるのですから、一体何を表す数値なのか、まったくわかりません。

こうした風潮は、若い研究者に“IF主義”が根付く前に(もう遅い…?)、撤廃すべきです。発表内容を聞いて、その価値を(最終的には主観的であっても)判断すべきです。

論文のIF(の合計値)だけから研究者の「優秀さ」を評価することは、どんなことがあっても不可能です。

最低限の目安としては機能するかも?

IFはその定量的な意味合いの解釈は難しいですが、たとえば、3年以上運営しているにも関わらずIFが付与されていないジャーナルや、IFが極端に低いジャーナルの「怪しさ」を見極めるには役に立つかもしれません。*2

結論:IFを「その論文の質」と直ちには考えない。論文は読むべし!

↑このツイートには同意できる部分はありますが、

↑この後半は、決定的な誤りです。こういう情報を研究者が(正しい定義や解釈を与えることなく)流布するのは問題です。また、研究だけでなく研究者自体の評価などに用いるのも不適切です。

だめ、絶対。…は言い過ぎました。謹んで訂正します。

が、IFを、加法尺度として鵜呑みにすることが危険なのは事実です。たとえば、理論系の論文、特に数式の多い論文は、生物系では引用されない傾向にあります。 {出典追記予定}

また、IFの従う分布は裾が重い(平均値から大きく逸脱した例外が多い)ことは周知の事実、よって分散(ばらつき)が大きく、IFを用いて、当該の論文の将来の被引用回数を予測することは困難です。

高IFの雑誌は、読まれやすい

これを書かないのは、アンフェアでした。高IFのジャーナルは、たくさんの読者の目に届くところとなりますので、自然にたくさんの方々に読んでもらえる機会が大きい。

これは、高IFジャーナルに出版する大きなメリットです。また、分野全体を盛り上げることにも繋がります。なので、そういうジャーナルへの投稿をディスカレッジする意図はいっさいありません。

しかし一方で、IFのうえでマイナーな雑誌を中心に論文発表している研究者は、分布上は大多数にも関わらず、「目立ち具合」でいうとマイノリティということになります。この原則は、被引用件数の伸びた論文は、引用されやすくもあります(目立つし、他の人が引用しているし)。つまりやはり、正のフィードバックがあるわけです。

科学者の貢献を、過度のバイアスなく正当に評価するための方法は、常日頃から、私含め科学者が真摯に考えるべきことだと思います。

*1:当該の著者が、そのジャーナルに出版した論文数がとても多い場合は別であるが、ほとんどそういうことは起こらないし、もしそうなっていたら、それはジャーナルとして問題だろう

*2:とはいえ、そういうことを調べるより前に、ジャーナルにアクセスして論文を開いて、その体裁やアブストラクト、図、数式、結果、表などをチェックする方が速いと思いますが。