機械学習の一夜漬け勉強

​ From:山極綾子

​

勉強の一夜漬け。

意外と捨てたものではなかった記憶があります。

特に社会科科目（特に地理）が大嫌いだった私は基本的に、

それら科目の定期テストの前日に詰め込むという勉強をしていたのですが。

びっくりするくらい勉強したところが出ていい点を取れたこともありました。

（轟沈した日も、もちろんありました。）

今となっては一夜漬けで覚えた知識はほとんど抜け落ちてしまったのですが、

それでも大変お世話になった記憶があります

ところで機械学習にも一夜漬けが有効であることが、最近の研究で明らかになりました。

これは何も、機械学習系の検定を受けるのに一夜漬けで有効な勉強方法が

明らかになったという訳ではありません。

一夜漬けをするのは何を隠そう、機械学習それ自体です。

論文の名前は” Cramming: Training a Language Model on a Single GPU in One Day”。

https://arxiv.org/pdf/2212.14034.pdf

2022年12月に公開された論文です。

昨今の機械学習、特に言語分析に関する研究のトレンドが

利用データを増やすことによる精度向上を目的としているのに対し、

この論文では限られたリソースの中でどうすれば精度を向上させることができるのか？

について研究されていました。

ここでいう限られたリソースとは、時間と計算を行う計算機。

たった一つのGPU（計算機）を使って、1日で、どこまで学習できるか？という問題です。

実際に論文の中で触れられている機械学習モデルの仕組みや詳細については

割愛させていただきますが、実際に使えるリソースが限られているビジネス応用においては

とても重要な課題を扱っているように思います。

（お恥ずかしながら私もまだ理解しきれておりません．．．）

GAFAのような、研究者も計算機も莫大に持っているような超巨大IT企業が出す成果は

もちろん素晴らしく、とても優れたものではあります。

その一方で、実際に多くの企業が使えるか？は疑問符が付くことは少なくありません。

そういった観点からの研究がさらに進むことにより、

機械学習の社会への貢献はどんどん大きくなっていくのだろうと思います。

山極綾子

P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm​