この式の導出がわかりません！

From:山極綾子

恒例となりつつある、Tくんとの勉強会。

この日のテーマは「埋め込み表現」でした。

その中の有名な手法の一つである、Word2Vec。

Word（単語）を、2=to Vec、つまり、ベクトルで表現しよう！という手法です。

…機械学習で出てくる〇〇to〇〇、という手法は、

ほとんどが〇〇2〇〇と表記されています。

toと2で1文字しか変わらないのに、そんなに字数を減らしたいのでしょうか。

それとも、おしゃれだからでしょうか。。。

話を戻しまして、Word2Vecは、

「関連を持つ言葉は同じ文脈の中で近くに現れるはず」

という前提のもと、各データを埋め込み空間と呼ばれる、

ある次元数の空間上に移動させる（埋め込む）という、画期的な方法です。

正確に言うと、Word2Vecを拡張させた手法に関する論文を

Tくんと一緒に読んでいたのですが、その時、私たちは壁にぶつかりました。

「山極さん、この式って、どうやって導いてるんですか？」

えーっとね、ちょっと待ってね。

専攻の先輩として、研究室の先輩として、良い所を見せたい…！

と、意気込んだはいいものの、私は自分の数学スキルの低さを忘れていました。

あれ。うーんと、あれ…？？

形的に多分、積分の何かの定理を使ってるんだけど、公式忘れちゃった。。。

結局その日は5分考えても答えがわからず、私の宿題にさせてもらいました。

お恥ずかしい限りです。

ところで最近、少し時間が出来たため、

機械学習の理論の勉強に腰を据えて取り組んでいるのですが、

その中で、基礎的な数学の知識の必要性をひしひしと感じています。

それは何も、大学で習った数学だけではありません。

高校生時代の微分積分、果ては小中学生で習った

「効率のいい計算」になるよう工夫することなど、

10年以上前に習ったことが、今になって活きてきています。

当時は単なるパズルと思って解いてきたものに、

今でもお世話になることになるとは．．．。

たしかに、様々なブログを見れば、

機械学習やAIの手法については学ぶことが出来るかもしれません。

でも、もし本当に自分で活用しようと思うなら、きちんと統計から、

さらにさかのぼって、数学から基礎を固めていく必要があるのだなあ、

と深く感じさせられました。。

山極綾子

P.S.

ところで、いくつか論文を読んでいると、

無駄にかっこいい論文タイトルがあります。

一番面白くて印象に残っているのが

Attention is all you need.

．．．思わず、ビートルズのAll you need is loveが浮かびました。

絶対これ、意識してますよね。

いつか、読んだ人を、くすっ、と笑わせることが出来るような論文が

書けたらいいなあ、とひそかに思っております。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお寄せ下さい。

嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm