From:山極綾子
「何かおすすめの研究分野はありますか？」
本格的な機械学習の勉強を始めたばかりの学部4年生にとって、
読むべき論文を見つけることは簡単ではありません。
日進月歩で進む研究。
日々紹介される新しい手法。
卒業研究に取り組むために有効な論文はどれか。
どういう順番で勉強していけばいいのか。
機械学習の分野は今、手探りで進めるにはあまりに複雑になりすぎています。
というわけで、一緒に考えてみました。
例えば、機械学習を勉強している大学生/大学院生としては、
昨今注目されている自然言語モデルの理解は欠かせません。
とはいえ、現在素晴らしい成果をたたき出している各種手法をそのまま読もうとしても、
読むために必要な知識が多すぎて混乱してしまうことがほとんどです。
GPT（chatGPTの背後にあるモデル…の、さらに初期のモデルです）を理解するには
Attentionと呼ばれる手法が重要で、そのためにはEncoder-Decoderモデルを。
そのためにはRecurrent Neural Networkを読んで、その前にWord2Vecが必要で。
…前提知識が多すぎです。
様々な前提知識のもと最新の研究は成り立っているのですが、その中でも、
いわば機械学習の四則演算とでも呼ぶべき手法が「Word2Vec」という、
単語をベクトルで表そうとする手法です。
Word2Vecが出てくる前、単語を理解しようとすると、
例えばそれぞれの単語をベクトルの各要素とする手法がありました。
これは、単語種類数次元のベクトルを用意して、
それぞれの文章にその単語が含まれるかどうかを記述する手法です。
この手法を使っていては、各文章がどの単語を使っているかはわかりますが、
その単語間の意味合いを把握することはできませんし、
ベクトルの次元数が非常に大きくなってしまいます。
そして、単語種類数が増えれば増えるほど、一つの文章に含まれる単語の数には限りがあるため、
かなりスカスカな、次元数に比して情報量の少ないベクトルが得られることになります。
（機械学習の分野ではこのような状況を「スパース」であると言い、
これに起因して起きる様々な問題が指摘されています。）
とにかく、単に単語があるかないかのベクトルを作成するだけでは、
分析も応用もしにくい、という大問題がありました。
そこで登場したのが、Word2Vecです。
これは深層学習を利用して、各単語とその近くに出現している単語、
という関係性から、各単語を任意の次元数のベクトルで表す手法です。
例えば「私」という単語に対し、(0.2, 0.5, -0.4, …)といったような値を与えることができます。
この手法は四則演算のように、多くの機械学習モデルで活用されており、
特に深層学習系を学ぶならば必須の知識となっています。
我ながら、四則演算とはいい比喩を思いつきました。
何か新しいことを学ぶ時。
何が基礎で必須の知識で、何がどう結びついているのか。
その辺りがきちんとまとめられていることで、どれほど学びを効率化できるのか、
考えさせられる出来事でした。
ビジネスでも、専門家に依頼した方が良いことがあるのも、
きっとこの辺りに関係しているのだろうなあと思います。
山極綾子
P.S.
今日も最後まで読んでいただきありがとうございます！
メルマガの感想などありましたら、こちらからお聞かせ下さい。
いつも嬉しく拝見しています。いつもありがとうございます！
↓
https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5
—————————————————————-
【経営人事メールマガジン】
発行責任者： 山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス： strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-
↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3
↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
