540 Billionってどのくらい？
From:山極綾子
Googleが2022/4/4にリリースしたGoogle AI Blog。
そのブログでは、PaLMと呼ばれるGoogleが提案した新しい手法について紹介されていました。
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
（個人的にはページ中央部分にある木のGif画像が可愛いと思っているのでぜひご覧ください。）
このPaLMというモデル、自然言語を対象とした機械学習モデルなのですが、
540Billionという数字が随所に現れていました。
突然ですが、これは何の数字だと思いますか？
学習に使ったデータ（文章）の数？
この手法の開発にかかった金額？
実はこの途方もない数字、モデルのパラメータの数だというのです。
パラメータと言えば、例えば以下の様な多変量回帰のモデルで言えば、その数は3です。
体重＝α×性別＋β×年齢＋γ×身長。
αとβとγの3つがパラメータです。
これが100や200であれば、それだけでも十分複雑な構造を表現できそうなものですが。
いくら対象問題が違うとはいえ、540 Billion…。
日本語で書き換えれば、5400億…。
どれだけ複雑なモデルなのでしょうか。
上記で紹介したGoogle AI Blog内では、パラメータを増やしたことにより、
様々なタスクを横断して素晴らしい精度を出せるようになったことが、
木が成長する様子で示されています。
Blogでは、他にも「どんな分野でこの手法が有効性を示したか？」について
かいつまんで書いてあります。
例えば、5-shot learningという、少ないデータから正解を当てられるか？という問題。
これは、これまでの最高記録を大きく更新したそうです。
他にも、まるで受験問題のように「以下から適切な文章を選べ」という問題や、
「ジョークを説明しろ」という問題まで。
（ジョークの説明に関しては、私はあまりうまくできる自信がありません。。。）
そんなこと、コンピューターにできるの！？という驚きに満ち溢れた成果がたくさん載っています。
もしかすると、ドラえもんの様に自由にお話しできるロボットが出てくるのも、
近い未来になってきたのかもしれません。
山極綾子
P.S.
このPaLMというモデルの学習には、
Google謹製のTPUという計算機（プロセッサー）が必要です。
CPUの、ディープラーニング特化版のようなものです。
ふと気になって、TPUを一般人も使えるのか、調べてみました。
結論、使えるようです！
…ただし、そのお値段はというと、新しめのバージョンを使おうとすると、
1時間当たり8ドル/TPU。
このモデルで具体的にいくつTPUを使っているかは記載がありませんでしたが、
それでも複数形であったので、いくつかを併用していることは間違いなさそうです。
データ保管の値段は安くなっているとはいえ、
こういった計算機にかかるコストはまだまだ高くつきそうです…。
P.P.S.
今日も最後まで読んでいただきありがとうございます！
メルマガの感想などありましたら、こちらからお聞かせ下さい。
嬉しく拝見しています。いつもありがとうございます！
↓
https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5
—————————————————————-
【経営人事メールマガジン】
発行責任者： 山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス： strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-
↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3
↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm