■インパクトファクターは研究業績評価に本来用いるべきではない

近年、研究業績の評価にインパクトファクター（IF）が用いられることが多くなってきた。研究機関の独立行政法人化により数値目標の設定が求められたことがIF偏重の背景であるともいわれている。その年に発表した論文の掲載紙のIFの合計点を報告させ、それによって業績評価をしている大学もあるという。しかし、「IFの合計点」とはいったい何を意味しているのであろうか？

前回のIFの説明を理解していただければわかると思うが、IFはジャーナルの評価であり、そこに掲載されている論文の直近２年間での平均被引用回数である。掲載されている個々の論文のインパクトをあらわしているのではない。一つ例を挙げる。New England Journal of Medicineの2005年のIFは44.016であるが、2002年第1号に掲載された原著論文4報の被引用回数は表1の通りである。2003年と2004年の被引用回数の平均値（つまり、各論文あたりの2005年のIF）は11、13、50、90.5とばらつきが大きいことがわかる（おもしろいことに、4つの論文の平均は41.125でIF44.016にかなり近くなるが、、、）。このように、掲載される論文の被引用回数とIFは必ずしも一致しないので、自分の書いた論文の掲載誌のIFを合計すること自体ナンセンスである。IF生みの親であるEugene Garfield博士は、引用分析を個人の研究活動評価に応用すべきでないと主張してきた。トムソンサイエンティフィック社ＦＡＱ（http://www.thomsonscientific.jp/products/jcr/support/faq/）にも、「インパクトファクターを単純加算しても、個人や研究機関の業績を客観的に示すことはできません。むしろ、雑誌あたりの平均的な尺度であるインパクトファクターを用いた場合、優れた研究業績を過小評価してしまう恐れがあります。」とある。

表１．New England Journal of Medicine 2002年第1号に掲載された原著論文4報の被引用回数（Web of Science、2007年6月時点）

■「インパクトファクターの合計点」が意味するものは何か？

IFの本来の意味合いから考えると、「IFの合計点」自体意味のないものとなるが、たとえば、ある年の業績で、IF10点のジャーナルに5報の論文を載せた研究者（IFの合計点50点）と、IF2点のジャーナルに5報の論文を載せた研究者（IFの合計点10点）を比べた場合どうであろうか？両者の業績に明らかな差があると考える人がほとんどなのではないだろうか。そう考えると、「IFの合計点」自体にまったく意味がないともいえない。定評のあるジャーナル（IFが高いジャーナル）に論文が掲載されたことを実績とするのであれば、それなりの意味を持っていると言える。

では、「IFの合計点」が意味するものをどのように理解したらよいか？ひとつのとらえ方として、「今後1年間に引用される回数の期待値の合計」と考えることができる。つまり、IF10のジャーナルに5報掲載されれば、今後1年間に50回引用されることが期待できる。したがって、IFを合計することは薦められないが、IFの合計点が決して意味がないわけではない。IFの合計点をあたかも客観的な指標であるかのように振り回すのは問題であり、業績を「英文5報」と書くよりは、「IF7点のジャーナルに2報、IF5点のジャーナルに3報」と書いた方がマシといった程度の認識であれば、研究者の業績評価にIFを用いてもよいのではないかと私は考える。

ただし、これも単年度の評価という限定が必要である。IFは毎年算出されるものであるから、1つのジャーナルにおいてもIFは変動しうる（表2）。表にある著名な雑誌でも6年間の間にIFが5割近く変動するようなこともある。したがって、過去の業績に言及するなら、掲載されたときのIF値にさかのぼる必要がある。

表2．主な雑誌の1999年と2005年のIF値の変動（Journal Citation Reportsによる）

また、IFの値そのものも様々な問題があることは前回述べたとおりである。学問領域によってIFが異なる、総説が多い雑誌ほどIFが高くなる、Self Citeによって意図的にIFを高くするケースがある、IFを算出する分子・分母の取り方によって不公平感が生じうる、といった問題である。総説の多いジャーナルでは、IFが高くなる傾向があるので、そのようなジャーナルに掲載された原著論文の被引用回数の期待値はIFより実際には小さくなる。もう一つの問題として、そもそもIF10のジャーナルに1回掲載されるのと、IF2のジャーナルに5回掲載されるのとどちらがよいのかという根本的な問題がある。

以上まとめると、IFの合計点には様々な問題があるので、それを理解した上で一つの目安として使うことは出来るが、それを客観的・絶対的な指標と考えるのは間違いであると言える。

■Web of Scienceで個々の論文の被引用回数を調べることができる

「期待値」というのは「業績」にはなじまない指標である。IF以外に業績を定量的に評価する方法はないのか？たとえば、2人の研究者のこれまでの業績を比較する際に使えるような指標はないのか？それには、各論文がどのくらい引用されたのかを実際に調べるのがよいと思われる。Science Citation Index内部には個々の引用関係が記録されており、個別の論文の引用状況、被引用回数を調べる方法がある。それを調べることができるのがWeb of Scienceである。

Web of Scienceの閲覧は施設ごとの契約が必要である。現在、日本国内での契約施設は100弱程度であり、どの研究機関でも閲覧できるわけではないが、個別の論文の引用情報を得るには、なくてはならないデータベースである。

Web of Scienceで各論文の被引用回数を調べるには、Cited Ref Searchを用いる方法と、General Searchを用いる方法があるが、ここでは、General Searchを用いた方法を紹介する。たとえば、私の論文をすべて検索しようとすれば、General Searchの検索画面で、Authorの欄に、「Monkawa T*」と入れて検索するだけである。Authorに「Monkawa T」が含まれている52件の論文がヒットする。各論文の下に書かれている「Times Cited:132」というのが被引用回数であり、この論文が132回引用されたことを示している（図１）。さらに、その数字をクリックすれば、引用した論文のリストを一覧として見ることが出来る。

このようにWeb of Scienceを使って被引用回数を調べ、業績リストに付記すれば、業績を定量的に評価することが出来るようになると考えられる。ちなみに、Endnoteを使って、Web of Scienceから自動的に被引用回数付き業績リストを作る方法がある。紙面の限りがあるので、ここでは紹介しないが、興味のある方は研究留学ネットの記事「被引用回数付きの業績リストの作り方」（http://www.kenkyuu.net/computer-15.html）をごらんいただきたい。

この被引用回数付きの業績リストにも気をつけなければいけないポイントがある。一つは、主題領域によって被引用回数が異なるということである。前回の記事でも述べたが、平均IFの絶対値は主題分野によって著しく異なることが知られている。したがって、異なる主題領域のジャーナルのIFを比べることは意味がないと考えられている。逆に言えば、同じ領域の研究者であれば、被引用回数付きの業績リストを用いた比較は可能であるということである。

もう一つの致命的な欠点は、被引用回数で比較すると、古い論文ほど被引用回数が多くなり、新しい論文ほど少なくなる、ということである。特に、最近1〜2年に出版された論文は多くの場合、被引用回数はゼロになってしまう。したがって、最近インパクトのある仕事をしていても正しく評価されない。この部分を補足するために、被引用回数の横に、参考値として掲載誌のIFを付記するのがいいであろう。つまり、IF値を被引用回数の期待値として使うわけである。

以上まとめると、２人の業績を比べる際に、同じくらいの年齢で、同じ領域の研究者であれば、被引用回数を付記した業績リストはかなり有力な評価ツールとなる。その際、最近の業績には、掲載誌のIFを付記するといいであろう。

■Citation Reportは個人の業績を多角的に評価できるツール

2006年9月にWeb of ScienceにCitatioin Reportという機能が追加された。Citation Reportは、個人の業績評価の強力なツールであり、多角的な個人の業績評価が可能である。Web of Scienceで調べたい人の論文リストを作製し、Citation Reportボタンを押すことで、Citation Report機能が閲覧できる。そこでは、各論文の経年的な被引用回数、総被引用回数、1年間の平均被引用回数とともに、グラフ化された出版論文数の経時的推移、被引用回数の経時的推移が表示される。他にも、総被引用回数、論文あたりの平均被引用回数、h-indexなどが自動的に計算される（図2）。

この中に登場するh-indexについて説明しておく。h-indexは物理学のJ. E. Hirschが提唱した指数（PNAS, 102:16569-16572, 2005）で研究者の業績を算出するひとつの指数であり、インパクトのある論文を多く書いているほど、h-indexは大きくなる。h-indexの算出は以下のようにおこなう。自分の論文を被引用回数の順番に並べ、論文の順位が被引用回数を上回った順位をh-indexとする。たとえば、ある研究者の論文の被引用回数が以下のようだったとする。

1. 被引用回数150
2. 被引用回数140
3. 被引用回数125
4. 被引用回数110
：
30. 被引用回数32
31. 被引用回数30

この場合、この研究者のh-indexは31ということになる。h-indexは、若い研究者の場合、低めに出るし、研究分野によって大きく異なるので（生命科学は高い値が出やすい）、絶対的な指標とは言えないが、研究者を評価する一つの指標として使われることもあるようだ。

■同名異人問題への対応

業績評価のツールとしてWeb of Scienceが有用であるという話をしたが、ひとつ難しい問題がある。それは、同名異人問題である。私のような珍名であれば、一発で、自分の論文のリストが探せるが、Suzuki TやTanaka Aといった名前の場合、自分の論文を探したつもりでも、多くの異人の論文もリストされてしまう。Web of Sceinceでは一つの対策として、2006年からfull nameでの入力を始めたが、それ以前のデータはfull nameが入っていないままである。

Web of Scienceでは同名異人問題に対応するため、DAISという新しい機能をつけた。DAIS（Distinct Author Identification System）機能は、所属機関や共著者のパターン、学問領域などをもとに、同じ著者によって書かれたと思われる論文をクラスタリングする機能である。残念ながら、現時点では、まだ実用レベルにまでは達していない。特に引用数の少ない研究者のクラスタリングの精度が低い。しかし、本人からのフィードバックを受け付けており、フィードバックによって徐々に精度が向上していくと考えられる。また、引用回数が非常に多い研究者には、「Highly Cited Author」のリンクがつき、本人が文献をリストするISI Highly Cited.comへとナビゲートされる。

近年、ScopusやGoogle Scholarといった後発の引用文献データベースもWeb of Sienceに猛追をかけているが、インパクトファクターの算出基準を決めているのがトムソンサイエンティフィックと言うこともあって、まだまだWeb of Scienceの優位は揺るがないと思われる。

以上、医学のあゆみ222巻3号「インパクトファクターで研究者の業績評価ができるか」より許可を得て転載

その他の回は医家向け電脳道具箱の一覧をごらん下さい。