評価者の評価を

On 2010/2/27 土曜日, in news, Thus Spoke Dr. Hypoxia, by bodyhacker

昨日の午後一時過ぎ患者さん出しがちょうど30分おくれてキム・ヨナ が滑るところを見ることができました。見終わるとすぐに患者さんが来て浅田真央さんの滑走は見逃しました。一緒に観戦していた看護師さんや先生がみな浅田真央さんのことを自分の娘のように応援していました。
キム・ヨナにしても韓国の期待を一身に集めて滑っていたわけでこのような圧力に打ち勝たないとオリンピックチャンピオンには成り得ないのですからすごいものです。
New York Timesでの報道で知ったのですがキム・ヨナは数年前からトロントをベースにトレーニングを続けているのだそうですね。浅田真央にしてもキム・ヨナにしてもコーチは自国人ではないしこれで国民の代表といわれてもピンとこない部分もあります。

はてな ID what_a_dudeさんのブログエントリー(日本の論文の質の変化について)を偶然読みました。このエントリーは直接には”日本は「質」の低い基礎科学研究論文を「量」産する国でしかないのか:ISIトムソン・ロイターズのデータが示すもの – 大「脳」洋航海記”を受けて書かれたエントリーであり読み進む前提として両エントリーを読むことをおすすめします。引用はぼくが恣意的に行った場合があります。

研究の評価をどう行うかという問題は単純でありません。

国際比較をはじめ大学単位、講座単位、研究室単位、最後は個々人の研究者の評価は簡単ではありません。

研究の評価に定量的な指標を持ち込まれば客観的な評価の助けになるという考えはたぶん正しくそのような目的で様々な指標が導入されています。

impact factorなどはその代表で基本的には個々の論文が他の論文に何回引用されたかに基づいて計算されます。雑誌ごとに数字が出てくるのですがこれとても雑誌間の評価というか競争でしょう。またISIトムソン・ロイターズなどはこれで収益をあげている会社です。

両エントリーともこのような公表された客観的な指標を用いた考察をしていて非常に解りやすい内容になっています。

日本の論文の質の変化について
では

クソみたいな研究者が多いのに、
競争的資金の割合はアメリカの半分程度、というのも
Productivityが低い原因の一つでもある。

10年に1本も論文を書かない連中が
50%もいると思うと正直なんだコレって感じですね。

日本は「質」の低い基礎科学研究論文を「量」産する国でしかないのか
では

ここでは純粋に国・地域ごとにPaper(総論文数)・Citation(総被引用数)・Citation/Paper(総被引用数vs.総論文数の比率)とでチェックしてみました。なお、ここで統計に用いられているデータは1999年10月~2010年1月までのものです。

を調べた結果

これはやはり日本の研究は「量」はあっても「質」が低いということを如実に示す統計だろうと思います。それは、総論文数で2位、総被引用数で4位と「量」の面では非常に好成績であるにもかかわらず、「質」を表す総被引用数/総論文数比率で見ると35位にまで落ちる点から見ても明らかです。先日のエントリで明らかになった傾向と合致する結果であるようにも見受けられます。

といった風です。

両者で共通しているのは客観的なデータを議論の前提としていることです。
いくら論文を書いても”論文数”だけでは評価できないまたいくら引用回数の高い論文を書いても”引用回数”だけでは何も評価できないというような理不尽な理屈の前では議論は無効です。
このような国レベルでの評価だけでなく個々人の研究者の評価に客観的な指標を利用すべきだと思います。

またこれは評価を受ける側だけでなく評価をする側にも適用すべきと思います。

基本的な科学研究費補助金の審査たとえば麻酔科学領域の研究申請書の評価は各大学の麻酔科学講座の”教授”が行っています。
教授の業績の質と量があるのかについての情報が開示されているわけではありませんが、全国の麻酔科講座の教授の業績を国際標準で評価することは可能ー 個人レベルで簡単にできます というか10人分くらい調べてみました ーであり”平均的なProductivityが異常に低い上に出す論文もクソレベルな研究者”には審査を受けたくないと本気で思うような人もいます。そういうひとは審査に関わっていないと思うしかありません。

純粋に定量的な指標を研究者の評価にどんどんと導入してもらいたいと思います。これで文句があるなら頻用回数のあがる論文を書けばいいのです。

ビッグラボの出身で七光りをあびて研究を進めている研究者とそれが無い研究者ではそもそも出発点が異なります。金とポジションありきでキャリアを始めることのできる研究者が現実に存在します。”伯楽”に見いだされた”白眉”ということでまあ大目に見るということもできますがその他は普通の研究者です。

女子カーリングの決勝戦を途中から観ました。スウェーデンのスキップのような小憎らしいおばさんに目黒さんがなったときに日本も強くなっていると思います。頑張れ日本。

関連するエントリー:

このエントリーをはてなブックマークに追加

Comments

Powered by Facebook Comments

Tagged with:  

コメントを残す

メールアドレスが公開されることはありません。

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

madeonamac.gif Creative Commons License