マイクロソフトの最新論文でも実施されていた〇〇

From:山極綾子

機械学習分野の研究は、まさに日進月歩で進んでいきます。

この前見かけたブログでは、学会で発表された内容が、

その時点ではすでにもう古くなっていることもあるとか…。

（一般的に、学会に論文を投稿してから発表するまで、数か月のラグがあるためです。）

この論文も、2022/3/1に公開されたものなので、

もしかするとすでにもっと新しいものがあるのかもしれません。

（論文URL：https://arxiv.org/pdf/2203.00555.pdf）

それでも比較的新しいことは間違いないので、少し読んでみました。

この論文は、私たちが日常話している「自然言語」を対象とした

機械学習モデルについての問題です。

現在高い精度を出しているモデルのほとんどすべては深層学習、

ディープラーニングを用いたモデルなのですが、それらも完璧というわけではありません。

この論文では、現在「精度が高いモデル」として知られているモデルについて

その挙動を把握し、問題を発見、それに対応する解決策を示していました。

つまり、天下のマイクロソフトと言えど、研究の出発点は「現状分析」だったのです。

そしてこれは、大学の研究室でも、自分の研究でも行っていたことです。

現状をしっかり把握して、だからこそ問題が見つかって、研究につながる。

研究のやり方の大まかなところは、どんなすごい研究所でも変わらないんだなあ…、

と思うとちょっと嬉しくなってしまいました。

とはいえ、現状分析をするにしてもどこに着目すべきか？どの指標を見ればいいのか？

というのはスキルやノウハウが必要なところです。

そしてきっとそこが、すごい研究者になれるか否か、というところが分かれるように思います。

同じモデルや問題設定を対象としているはずなのに、

解決のためのアプローチや成果は異なる…。

研究のとっても面白い所だと感じます。

山極綾子

P.S.

実はこの論文で紹介されているモデルでは、2500層もの層を組み合わせて

言語をモデル化しています。

層が一つ増えれば、それだけ入力されたデータを変形することができるため、

イメージとしては、身長という一つの変数を当てるために、2500回も、

入力された情報（体重や年齢、その他の関連しそうなデータ）をいじって

値を変えるようなものです。

（かなりざっくりのイメージですので、正確というわけではありません。

各層では各データを変えるだけではなく、注目するデータを抽出したり、

様々な操作が行われています。悪しからずご容赦ください。）

しかも各層には少なくないパラメータが含まれているため、

モデルが学習するパラメータの数は数万のオーダーを超えることは間違いありません。

これだけ多くのパラメータがあれば、人間の複雑な識別能力を模倣することも

難しくないのかもしれません。

機械学習ができることは、本当にどんどん広がりそうです。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm