医家向け電脳道具箱その七「インパクトファクターで研究者の業績評価ができるか」
■インパクトファクターは研究業績評価に本来用いるべきではない
近年、研究業績の評価にインパクトファクター（IF）が用いられることが多くなってきた。研究機関の独立行政法人化により数値目標の設定が求められたことがIF偏重の背景であるともいわれている。その年に発表した論文の掲載紙のIFの合計点を報告させ、それによって業績評価をしている大学もあるという。しかし、「IFの合計点」とはいったい何を意味しているのであろうか？
前回のIFの説明を理解していただければわかると思うが、IFはジャーナルの評価であり、そこに掲載されている論文の直近２年間での平均被引用回数である。掲載されている個々の論文のインパクトをあらわしているのではない。一つ例を挙げる。New England Journal of Medicineの2005年のIFは44.016であるが、2002年第1号に掲載された原著論文4報の被引用回数は表1の通りである。2003年と2004年の被引用回数の平均値（つまり、各論文あたりの2005年のIF）は11、13、50、90.5とばらつきが大きいことがわかる（おもしろいことに、4つの論文の平均は41.125でIF44.016にかなり近くなるが、、、）。このように、掲載される論文の被引用回数とIFは必ずしも一致しないので、自分の書いた論文の掲載誌のIFを合計すること自体ナンセンスである。IF生みの親であるEugene Garfield博士は、引用分析を個人の研究活動評価に応用すべきでないと主張してきた。トムソンサイエンティフィック社ＦＡＱ（http://www.thomsonscientific.jp/products/jcr/support/faq/）にも、「インパクトファクターを単純加算しても、個人や研究機関の業績を客観的に示すことはできません。むしろ、雑誌あたりの平均的な尺度であるインパクトファクターを用いた場合、優れた研究業績を過小評価してしまう恐れがあります。」とある。
表１．New England Journal of Medicine 2002年第1号に掲載された原著論文4報の被引用回数（Web of Science、2007年6月時点）
| 2003年 | 2004年 | |
| Quainiらの論文 | 93 | 88 |
| Csernanskyらの論文 | 44 | 56 |
| Chandlerらの論文 | 13 | 13 |
| Skjaervenらの論文 | 10 | 12 |
■「インパクトファクターの合計点」が意味するものは何か？
IFの本来の意味合いから考えると、「IFの合計点」自体意味のないものとなるが、たとえば、ある年の業績で、IF10点のジャーナルに5報の論文を載せた研究者（IFの合計点50点）と、IF2点のジャーナルに5報の論文を載せた研究者（IFの合計点10点）を比べた場合どうであろうか？両者の業績に明らかな差があると考える人がほとんどなのではないだろうか。そう考えると、「IFの合計点」自体にまったく意味がないともいえない。定評のあるジャーナル（IFが高いジャーナル）に論文が掲載されたことを実績とするのであれば、それなりの意味を持っていると言える。
では、「IFの合計点」が意味するものをどのように理解したらよいか？ひとつのとらえ方として、「今後1年間に引用される回数の期待値の合計」と考えることができる。つまり、IF10のジャーナルに5報掲載されれば、今後1年間に50回引用されることが期待できる。したがって、IFを合計することは薦められないが、IFの合計点が決して意味がないわけではない。IFの合計点をあたかも客観的な指標であるかのように振り回すのは問題であり、業績を「英文5報」と書くよりは、「IF7点のジャーナルに2報、IF5点のジャーナルに3報」と書いた方がマシといった程度の認識であれば、研究者の業績評価にIFを用いてもよいのではないかと私は考える。
ただし、これも単年度の評価という限定が必要である。IFは毎年算出されるものであるから、1つのジャーナルにおいてもIFは変動しうる（表2）。表にある著名な雑誌でも6年間の間にIFが5割近く変動するようなこともある。したがって、過去の業績に言及するなら、掲載されたときのIF値にさかのぼる必要がある。
表2．主な雑誌の1999年と2005年のIF値の変動（Journal Citation Reportsによる）
| 1999年のIF | 2005年のIF | |
| Journal of Clinical Investigation | 10.921 | 15.053 |
| Journal of Biological Chemistry | 7.666 | 5.854 |
| Cell | 36.242 | 29.431 |
| New England Journal of Medicine | 28.857 | 44.061 |
また、IFの値そのものも様々な問題があることは前回述べたとおりである。学問領域によってIFが異なる、総説が多い雑誌ほどIFが高くなる、Self Citeによって意図的にIFを高くするケースがある、IFを算出する分子・分母の取り方によって不公平感が生じうる、といった問題である。総説の多いジャーナルでは、IFが高くなる傾向があるので、そのようなジャーナルに掲載された原著論文の被引用回数の期待値はIFより実際には小さくなる。もう一つの問題として、そもそもIF10のジャーナルに1回掲載されるのと、IF2のジャーナルに5回掲載されるのとどちらがよいのかという根本的な問題がある。
以上まとめると、IFの合計点には様々な問題があるので、それを理解した上で一つの目安として使うことは出来るが、それを客観的・絶対的な指標と考えるのは間違いであると言える。
■Web of Scienceで個々の論文の被引用回数を調べることができる
「期待値」というのは「業績」にはなじまない指標である。IF以外に業績を定量的に評価する方法はないのか？たとえば、2人の研究者のこれまでの業績を比較する際に使えるような指標はないのか？それには、各論文がどのくらい引用されたのかを実際に調べるのがよいと思われる。Science Citation Index内部には個々の引用関係が記録されており、個別の論文の引用状況、被引用回数を調べる方法がある。それを調べることができるのがWeb of Scienceである。
Web of Scienceの閲覧は施設ごとの契約が必要である。現在、日本国内での契約施設は100弱程度であり、どの研究機関でも閲覧できるわけではないが、個別の論文の引用情報を得るには、なくてはならないデータベースである。
Web of Scienceで各論文の被引用回数を調べるには、Cited Ref Searchを用いる方法と、General Searchを用いる方法があるが、ここでは、General Searchを用いた方法を紹介する。たとえば、私の論文をすべて検索しようとすれば、General Searchの検索画面で、Authorの欄に、「Monkawa T*」と入れて検索するだけである。Authorに「Monkawa T」が含まれている52件の論文がヒットする。各論文の下に書かれている「Times Cited:132」というのが被引用回数であり、この論文が132回引用されたことを示している（図１）。さらに、その数字をクリックすれば、引用した論文のリストを一覧として見ることが出来る。
このようにWeb of Scienceを使って被引用回数を調べ、業績リストに付記すれば、業績を定量的に評価することが出来るようになると考えられる。ちなみに、Endnoteを使って、Web of Scienceから自動的に被引用回数付き業績リストを作る方法がある。紙面の限りがあるので、ここでは紹介しないが、興味のある方は研究留学ネットの記事「被引用回数付きの業績リストの作り方」（http://www.kenkyuu.net/computer-15.html）をごらんいただきたい。
この被引用回数付きの業績リストにも気をつけなければいけないポイントがある。一つは、主題領域によって被引用回数が異なるということである。前回の記事でも述べたが、平均IFの絶対値は主題分野によって著しく異なることが知られている。したがって、異なる主題領域のジャーナルのIFを比べることは意味がないと考えられている。逆に言えば、同じ領域の研究者であれば、被引用回数付きの業績リストを用いた比較は可能であるということである。
もう一つの致命的な欠点は、被引用回数で比較すると、古い論文ほど被引用回数が多くなり、新しい論文ほど少なくなる、ということである。特に、最近1〜2年に出版された論文は多くの場合、被引用回数はゼロになってしまう。したがって、最近インパクトのある仕事をしていても正しく評価されない。この部分を補足するために、被引用回数の横に、参考値として掲載誌のIFを付記するのがいいであろう。つまり、IF値を被引用回数の期待値として使うわけである。
以上まとめると、２人の業績を比べる際に、同じくらいの年齢で、同じ領域の研究者であれば、被引用回数を付記した業績リストはかなり有力な評価ツールとなる。その際、最近の業績には、掲載誌のIFを付記するといいであろう。
■Citation Reportは個人の業績を多角的に評価できるツール
2006年9月にWeb of ScienceにCitatioin Reportという機能が追加された。Citation Reportは、個人の業績評価の強力なツールであり、多角的な個人の業績評価が可能である。Web of Scienceで調べたい人の論文リストを作製し、Citation Reportボタンを押すことで、Citation Report機能が閲覧できる。そこでは、各論文の経年的な被引用回数、総被引用回数、1年間の平均被引用回数とともに、グラフ化された出版論文数の経時的推移、被引用回数の経時的推移が表示される。他にも、総被引用回数、論文あたりの平均被引用回数、h-indexなどが自動的に計算される（図2）。
この中に登場するh-indexについて説明しておく。h-indexは物理学のJ. E. Hirschが提唱した指数（PNAS, 102:16569-16572, 2005）で研究者の業績を算出するひとつの指数であり、インパクトのある論文を多く書いているほど、h-indexは大きくなる。h-indexの算出は以下のようにおこなう。自分の論文を被引用回数の順番に並べ、論文の順位が被引用回数を上回った順位をh-indexとする。たとえば、ある研究者の論文の被引用回数が以下のようだったとする。
1. 被引用回数150
2. 被引用回数140
3. 被引用回数125
4. 被引用回数110
：
30. 被引用回数32
31. 被引用回数30
この場合、この研究者のh-indexは31ということになる。h-indexは、若い研究者の場合、低めに出るし、研究分野によって大きく異なるので（生命科学は高い値が出やすい）、絶対的な指標とは言えないが、研究者を評価する一つの指標として使われることもあるようだ。
■同名異人問題への対応
業績評価のツールとしてWeb of Scienceが有用であるという話をしたが、ひとつ難しい問題がある。それは、同名異人問題である。私のような珍名であれば、一発で、自分の論文のリストが探せるが、Suzuki TやTanaka Aといった名前の場合、自分の論文を探したつもりでも、多くの異人の論文もリストされてしまう。Web of Sceinceでは一つの対策として、2006年からfull nameでの入力を始めたが、それ以前のデータはfull nameが入っていないままである。
Web of Scienceでは同名異人問題に対応するため、DAISという新しい機能をつけた。DAIS（Distinct Author Identification System）機能は、所属機関や共著者のパターン、学問領域などをもとに、同じ著者によって書かれたと思われる論文をクラスタリングする機能である。残念ながら、現時点では、まだ実用レベルにまでは達していない。特に引用数の少ない研究者のクラスタリングの精度が低い。しかし、本人からのフィードバックを受け付けており、フィードバックによって徐々に精度が向上していくと考えられる。また、引用回数が非常に多い研究者には、「Highly Cited Author」のリンクがつき、本人が文献をリストするISI Highly Cited.comへとナビゲートされる。
近年、ScopusやGoogle Scholarといった後発の引用文献データベースもWeb of Sienceに猛追をかけているが、インパクトファクターの算出基準を決めているのがトムソンサイエンティフィックと言うこともあって、まだまだWeb of Scienceの優位は揺るがないと思われる。
以上、医学のあゆみ222巻3号「インパクトファクターで研究者の業績評価ができるか」より許可を得て転載
その他の回は医家向け電脳道具箱の一覧をごらん下さい。
トムソンサイエンティフィック社が長年にわたって蓄積してきた文献引用情報は、現在Web of Scienceとして提供されている。Web of Scienceに蓄積された引用情報をもとに、年に一度、雑誌単位のデータとして抽出、再計算したものがJournal Citation Reports（JCR）である。したがって、各雑誌のIFを見るためには、JCRを閲覧する必要がある。JCRは有料で、CD-ROM版またはWebでの閲覧権という形で販売されている。したがって、IFを知りたい場合は、所属機関がJCRを購入しているか尋ね、JCRへのアクセス方法を教えてもらうと言うことになる。
引用されている文献の半減期であり、大きいほど長く引用される論文が多いということを意味する。さらに、JCRではグラフ化された被引用の年ごとの推移などを見ることが出来る。
倫理的な問題を含む問題として、Self Citeの問題がある。ジャーナルの編集者が自誌のIFを上げたいと思えば、投稿者に対して、自誌の論文をできるだけ引用することを強制することで、数字上のIFを上げることが可能である。このSelf Citeの奨励に関しては、これまでたびたび問題になっている。Leukemia誌が投稿者に自誌の引用を強制していることをライバル誌のLeukemia Research誌の編集者がBMJ誌上で告発した。Leukemia誌では自誌引用率が（1997年34/563）、Leukemia Research誌（1997年5/365）であり、確かに、Leukemia誌の方が高かった。JCRを見れば、Self Citesははっきりと見えるようになっている（図3）。もちろん、インパクトの高いジャーナルほど引用される率は高いのであるが、不自然にSelf Citeが多かったり、投稿者に強制しているとすれば問題である。
よく見るwebサイトのアドレスをブラウザに登録することをブックマークという。Internet Explorerであれば「お気に入り」に登録することである。しかし、自宅と勤務先で違うコンピュータを使っていたりすると、二つのコンピュータのブックマークを同期させておくのは、意外と面倒である。そこで、10年くらい前から、オンラインでブックマークを保管できるサービスがあった。自分のアカウントを作って、そこにブックマークをためておけば、インターネットを通じてどこからでも同じブックマークにアクセスできるというのが魅力であり、一定数のユーザーの人気を集めていた。
ソーシャルブックマークは、このオンラインブックーマークを一歩進めたサービスである。自分のオンラインブックマークを公開し他人と共有することで、あらたなコミュニケーションツールとして新しい可能性を生み出し、この１，２年でブレイクした。
登録する際には、自由にタグを付けることができる。[研究留学]とか[Mac]とか[医学情報データベース]とかつけて、自分なりのカテゴリ分けをするわけである（図３）。[あとで読む]というタグをつけて、時間のあるときにゆっくり読むために保存している人も多い。また、タグ以外にも自由にコメントを付けることができる。タグやコメントはオプションなので必ずしも付ける必要はないが、有効にソーシャルブックマークを使うなら付けておいた方が便利である。以上でブックマーク登録は終了である。
が登録しているかという数字が表示される、図４）。誰がブックマークしているかもわかり、その人の名前をクリックすれば、その人のブックマークの一覧が表示される。同じ記事をブックマークしているということは、興味が重なっているわけであるから、その人のブックマーク一覧を見ることによって新しい発見をする可能性がある。
実は、学術論文に特化したソーシャルブックマークサービスがある。そのひとつが
自分の文献データベースを作る以外にも、いくつかの便利な使い方がある。気になる論文だけれど、abstractを読んでいる暇がないというときは、CiteULikeでブックマークしておく。そして後で時間ができたときに読むという使い方もある。また、同じ研究グループの人たちでブックマークを共有するという使い方もある。コメントを付けることができるので、各人がコメントを付ければ、簡単な輪読会のようなものにできる可能性もある。このように、文献情報に特化したソーシャルブックマークというのも大きな可能性を持ったwebサービスであるといえる。
私は大学院生の頃図書館の新着雑誌の書架を眺めることを日課にしていたが、いまではeTOC (electoric Table of Contents)アラートサービスのおかげで、図書館に足を運ばないで済むようになった。eTOCアラートサービスとは文字通り「電子目次」のアラートサービスであり、登録したジャーナルの最新刊の目次がメールで送られてくるというサービスである。毎回目を通しておきたいジャーナルのeTOCアラートサービスに登録しておけば、そのジャーナルの新しい号が発刊されると、目次がメールで送られてくる。その「電子目次」にはタイトルや著者名のほか、抄録やフルテキストへのリンクが張ってあるので、気になる論文があれば、ワンクリックでフルテキストを読むことができる（各施設のオンラインジャーナルとの契約状況による）。ジャーナルが実際に図書館に郵送されるのを待つ必要もないし、見逃すこともなく、最新号の目次が手に入る。オンラインジャーナルがなかった時代には、海外のジャーナルが発行されてから図書館に届くまでには数ヶ月かかるといったこともあったが、オンラインジャーナルの普及のおかげで、海外との情報の格差はなくなり、ETOCアラートサービスのおかげで、最新情報をタイムリーに取得できるようになった。eTOCアラートサービスを利用するには、各ジャーナルのwebサイトに行き、eTOCサービスを見つけ、配送して欲しいメールアドレスを登録するだけである（図１）。必ずしもすべてのジャーナルがeTOCサービスを提供しているわけではないが、一流紙と呼ばれるジャーナルはほとんど提供している。
お気に入りのジャーナルの目次だけチェックしていても、まったく関係のないジャーナルに自分の研究に関連した論文が出ることもある。こういった見逃しをなくすためには、定期的に特定のキーワードでPubMedの検索をおこなえばいいわけだが、それを自動で定期的におこない、見つかった場合にはメールで知らせてくれるサービスがある。このようなサービスを比較的早くからおこなっていたのは、Biomail（
2005年になって、PubMedを運営している本家本元のNCBIがBiomailと同様のサービスを始めた。My NCBI（図３）はPubMedの検索式が保存できるサービスであるが、その検索結果を定期的にメールで送信するサービス(Automatic e-mail updates)が開始されたのだ。Automatic e-mail updatesサービスがBiomailと比べて優れているのは、
2006年からは、さらにPubMedの検索をRSSとして受診することができるようになった。PubMedで検索したときに、そのキーワードでRSS配信を受け取りたいと思ったら、「Send to」とあるプルダウンリストから「RSS feed」を選ぶ（図４）。そして、検索に対して名前を付けたり、検索結果数のオプションをセットして、「Create feed」ボタンをクリックする。 そうすると、「XML」と書かれたアイコンが登場し、これが、RSSフィードのURLである。あとは、自分のRSSリーダーに登録すればよい。こうすると、メールによるアラートではなく、RSSリーダーで最新論文をチェックできるのである。
皆さんは、ダウンロードしたフルテキストPDFファイルはどのようにしているだろうか？本来はディスプレイ上でフルテキストを読めば、紙の節約になるのだが、私はディスプレイ上で論文を読むというのが苦手なので、ほとんどプリントアウトして読んでいる。プリントアウトした論文はファイリングして保存するというアナログな整理方法をいまだ続けている。しかし、PDFファイルをディスプレイの上だけで読むのであれば、論文のコピーをしまう場所も必要なくなり、PDFファイルのままコンピュータ上に保存しておけばよい。ハードディスクのPDFファイルを管理するのに適した文献管理ソフトウェアがいくつかある。最も有名なソフトはEndNote（トムソン社）であろう。EndNoteでは自分の集めたオリジナルの文献データベースを作ることができ、それぞれの文献データに、そのpdfファイルをリンクさせることができる。また、MacではiTunesライクなインターフェースを持ったソフトウェアにiPapers（フリーウェア、
シソーラスにはもう一つの役割があり、統制語同士の階層関係が定められている。たとえば、「水-電解質平衡異常」の下位に「高ナトリウム血症」や「低カリウム血症」などが指定されている（右図）ため、「水-電解質平衡異常」でこれらすべての関連論文をヒットさせることができる。
PubMedにおいても医中誌Webと似たような検索プロセスがおこなわれている。ただし、PubMedのインターフェースポリシーは「なるべくシンプルに」ということであるようで、表面的には検索式を見ることはできない。しかし、「Details」というタブをクリックすると、検索式を見ることができる（右図）。たとえば、「diabetic nephropathy」で検索してみると、検索式は「"diabetic nephropathies"[MeSH Terms] OR diabetic nephropathy[Text Word]」となっており、「diabetic nephropathy」という統制語でのキーワード検索と「diabetic nephropathy」による全検索がおこなわれているというのが確認できる。
シソーラスを使うことによって、より多くの文献をヒットすることができるが、実際にはかなりの数（数千）がヒットしてしまい、自分が探している文献にたどり着くためには、そこから上手に絞り込みをおこなっていく必要がある。絞り込むためには、条件を複数組み合わせることによっておこなうことが基本となるが、その際には、検索履歴を使うと便利である。また、「絞り込み検索へ」というボタンを押すと「絞り込み検索画面」が開き（右図）、検索結果を様々な条件で絞り込むことが可能である。特に、医中誌データベースは会議録を多く含んでいるので、会議録を除外したいときには、｢論文種類」の「会議録除く」にチェックを入れて絞り込むだけで、かなり絞り込むことができる。また、私の場合、医中誌Webで検索するときには、日本語で書かれた総説記事を探すことが多いのだが、その場合は、「論文種類」の「総説」と「解説」にチェックを入れて絞り込むと便利である。
医中誌は1903年（明治36年）に刊行された抄録誌である（図１）。医中誌の初代の主幹、尼子四郎（1865〜1930）は、1887年に広島医学校を卒業後、芸備医学会（現在の広島医学会）創立に関わるなどの活動を経て、1903年に東京の谷中で開業、すぐに千駄木に移り、同年、医中誌を刊行した。この千駄木での開業時代に、同じ町内に住んでいた夏目漱石に主治医として、また友人として親しんだ。「吾輩は猫である」の登場人物「甘木先生」のモデルは尼子四郎であったとされている。
創刊当時の医中誌の編集・発行の作業は家内工業的であったが、二代目理事長、尼子富士郎（1928-1972年、医学中央雑誌刊行会理事長、医中誌発行の功績により多くの賞を受賞した）の時代になっても、編集・発行作業の方法は創刊時とそれほど変わらなかったらしい。現在の医学中央雑誌刊行会は、「こんなところに！」というような杉並区高井戸の閑静な住宅街にひっそりと建っている（図2）。現在の社屋は二代目の理事長であった尼子富士郎氏の自宅あとに建てられたもので、改築される前は尼子富士郎氏の自宅を兼ねていた。尼子富士郎氏は高井戸にある浴風会病院の医長を兼務しており、浴風会病院と自宅兼事務所を往復する日々を送っていた。文献の採択、抄録の編集、校正については、すべて尼子富士郎氏が目を通していたという。
医中誌創刊時の年間収録文献数は2000件弱（収載誌約60誌）で、月１回の発行だったが、現在では、年間収録文献数は30万件を超えている（収載誌約2400誌）。医中誌の形態は時の流れとともに変わってきており、長い間冊子体として提供されていたが、1992年よりCD-ROM版の提供が始まり、2000年よりインターネットによる医中誌Webの提供が始まると、読む雑誌というより、検索のためのデータベースとしての意味合いが強くなってきた。そして、冊子体での発行は2002年終了、CD-ROM版の提供も2006年3月に終了、現在ではインターネットによる医中誌Web（法人向け、図3）、医中誌パーソナルWeb（個人向け）による提供のみとなっている。医中誌データベースは長い間、そして現在においても、医学、歯学、薬学、看護学、獣医学および関連領域の国内の最大の文献データベースとして活用されている。
データ作成の最終段階としてインデクシングがおこなわれる（図4）。インデクシングでは、医学中央雑誌発行の「医学用語シソーラス」に基づいて、キーワード、副標目、チェックタグ、研究デザインタグを付与される。インデクシングが終了すると、毎月1日と16日に完成データとして追加される。
