同じ指標で評価するメリットとは？

From:山極綾子

「Google（の機械学習関連）の論文、基本的に同じ評価指標を使ってるから、

すごく読みやすいんですよねえ」

ある日、ゼミで学部4年生の発表を聞いていた、博士課程2年の学生の言葉。

私はいつもざっくり手法だけ読んで、

実験結果についてはあまり読み込んでいなかったため気付かなかったのですが、

実はGoogleが出している画像認識や言語分析の論文では、

ほとんど毎回同じ評価指標を使っているため、実験結果がサクサク読める。

というのが、勉強がとても好きでかなりの量の論文を読み込んでいる同期のSくんの感想でした。

機械学習に関する論文では基本的に、

①問題背景の説明

②過去に行われた研究の説明

③提案手法

④提案手法の評価

といった内容が組み込まれています。

そしてこの「④提案手法の評価」では、様々な実験が行われます。

例えば私の書いた論文では、人工的にデータを生成して、それを基に精度を評価したりしました。

良く使われるものとしては、機械学習用に用意された公開データセットが挙げられます。

それらに対して、各々が「自分の提案手法が有効である」ことを示すために、

様々な実験を行います。

そこで一つ問題になるのが、同じデータを使っていても、

必ずしも同じ指標を使っているわけではない、ということです。

機械学習のモデルを評価するための指標は様々あります。

購買履歴のデータを例にとると、顧客への推薦商品リストを作成して、

そのリストの中にある商品がどれだけ購入されたかを調べる方法もありますし、

商品を「多くの人に購入されるメジャーな商品」と「限られた人に愛されるニッチな商品」に分けて、

それぞれを対象に評価をすることもあります。

つまり、その論文によって指標が変わることになります。

その場合何が困るのかと言えば、他の論文で紹介されている手法との、

単純な比較ができないことです。

評価するには自分で再度モデルを組みなおして実験する、

といった手間が必要になってしまいます。

そして多くの場合、その作業にはかなり時間がかかります。

企業で行われる人事考課にも、同じことが言えます。

同じ社員を評価していても、その評価指標が変わってしまえば、

単純な比較が難しくなってしまいます。

同じ指標で評価し続けることのメリットは、機械学習だけでなく、

人事の世界にもあるようです。

山極綾子

P.S.

とはいえ、同じ指標を使っていればなんでもいいのか？というと、

そんなことはもちろんありません。

経験や調査、理論に基づき、適切な指標を定めることの重要性には変わりないように思います。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm