増大しないエントロピー

​From: 山極綾子

 

​

 

突然ですが私は大学受験の模試で、衝撃的な点数を取ったことがあります。

 

7点。

 

10点満点中の7点ではありません。

 

120点満点中の7点です。

 

いくら難しい問題であったとしても、あまりにも衝撃的な点数です。

 

この試験は数学の点数だったのですが、

いつもの学校の試験ではここまでひどい点数を取ったことはなかったので、

悲しみというより衝撃を受けて思わず笑ってしまったことを覚えています。

 

 

ところで、誰でもいい点数を取れるような簡単な問題で高い点数を取るのと。

 

難しい問題で良い点数を取るのと。

 

状況にもよりますが、多くの場合その価値は異なります。

 

機械学習が取り組もうとする問題でも同じで、選択肢が2個しかないときに正解を当てるのと、

10個あるときに正解を当てるのとではその難易度は一般的に異なります。

 

（一般的に、と言っているのは、選択肢が10個あったとしても、

全体の99%が一つの選択肢しか取らないならば、それはとても簡単な問題であると言えます。）

 

先日のメルマガでそのような「問題の難しさ」について

エントロピーと呼ばれる指標を使うことがある、とご紹介させていただいたとき、

こんなコメントをいただきました。

 

 

「（熱力学のものも、機械学習のものも）どちらも経時的にエントロピーが

増大する方向であると理解していますが正しいでしょうか」

 

熱力学では確かに、教科書でエントロピー増大の法則、なども聞いた記憶があります。

 

砂糖が入った水を放っておくと溶けていく（無秩序になる）ように、

時間が経てばたつほど、エントロピーは増えていく、と言うことだと理解しています。

 

ですが実は、他の分野の言葉を使う時の怖い所だと思うのですが、

実は機械学習でのエントロピーは経時的に増大するものではないのです。

 

というのも、あくまでその時々の状態を測るためにその指標を使っているだけで、

むしろ機械学習では時間が経過してデータが増えれば、

そしてパラメータの学習が行われれば、基本的にはエントロピーは減少します。

 

（得られたデータの質や、過学習に陥っている場合など、

エントロピーが改善しないことも多々あります。）

 

すなわち、確からしい情報が得られるようになる、とも言えます。

 

他の分野の論理を活かして研究を進めること、とてもかっこいいと思い

あこがれもするのですが、その使い方にはちょっと注意が必要なのだなと思わされました。

 

 

山極綾子

 

 

P.S.
機械学習でエントロピーが減少する、とは、手元のデータについての予測結果がより確からしくなっていくことを示します。

 

例えばあるデータのカテゴリを10個から選ぶ時。

 

最初は情報がないので、10個のカテゴリそれぞれである「らしさ」は全て同じです。

 

そしてデータが増えていくことで、10個のカテゴリの内、どれ「らしい」かが絞られてきます。

 

混沌としていた状態から、徐々に明らかになっていく、というイメージです。

 

つまり、エントロピーが減少していくこと＝データに対する情報が得られていること

を表すことができます。

 

最初に思い付いた方、天才だと思います。

 

 

P.P.S.

今日も最後まで読んでいただきありがとうございます！

 

メルマガの感想などありましたら、こちらからお聞かせ下さい。

 

ブログ：データ分析って何ができるの？を現在準備中です。

 

お手元のデータで何ができるのか、気になる方はぜひご連絡ください。

 

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

 

 

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm