From:山極綾子
深層学習(ディープニューラルネットワーク)のトップ会議であるICLR。
勉強のためと思い投稿された論文たちざっと眺めていたのですが、
その中の一つに特に興味をひかれたので読んでみました。
タイトルは”Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution”
https://openreview.net/forum?id=UYneFzXSJWh
Fine-Tuningというのは、もともと大規模なデータで事前に学習されたモデルに対して、
手元の比較的小さいデータにTuning、すなわち調整をしてあげることで
精度向上が実現できる、という手法です。
すでに様々なビジネススキルを持っている人が、新しい職場に移動しても、
新しい場所にすぐ適応して高い生産性を出せる、ようなイメージでしょうか。
新しい場所の慣習その他もろもろに適応する部分がFine-Tuningです。
この手法、とても精度がいいということで、いろいろな分野に適用されています。
なのですが、この論文のタイトルを見る限り、Fine-Tuningが悪さをするらしい。
具体的には、Fine-Tuningを行った部分以外に悪影響を与えたりするようです。
新しい職場になじんだことが原因で、その職場では不要な部分のスキルが落ちるような状況でしょうか。
人間ではあまりそういったことはないかと思いますが
（スキルを使う機会がなくなることで鈍ることはあるにせよ）、
どうやら機械学習では起こるようです。
そしてこの論文ではその対応策についても示されていました。
Fine-Tuningを手元にあるモデルすべてで行うのではなく、
最終的なアウトプットのところにまず反映させて、その上で全体に反映させるのが良い、
ということでした。
まるで、新しい職場に小手先で適応させているようです。
…そう書くと、あまりいい手法には思えないのですが、機械学習では違うようです。
この論文は、今ある手法が弱い部分を探して、そしてそれを改善する方法で書かれています。
そしてそういった論文は多く、特に深層学習のような、
はやりの分野ではそのサイクルが非常に高いように感じます。
例えば人事の分野でも、適切と考えられる面接手法は何度も見直しがされています。
一時はやったフェルミ推定の活用をGoogleが辞めてしまったのも、その１つ。
過去の理論がひっくり返されることは、その分野が活発になっていることの何よりの証拠なのかもしれません。
山極綾子
P.S.
特に機械学習の会議（学会）では、投稿された論文が見られる状態になっています。
だからこそ、私を含むたくさんの人がそれらを読み、そして新しい研究につなげることができます。
そういったオープンアクセスの環境が重要と考えると、面接手法などは企業秘密の部分も多く、
どちらかというと改善が進みにくい環境にあるのかも、と思うなどしました。
P.P.S.
今日も最後まで読んでいただきありがとうございます！
メルマガの感想などありましたら、こちらからお聞かせ下さい。
現在データ分析コンサルティング受付中です。
お問い合わせもこちらからどうぞ。
いつも嬉しく拝見しています。いつもありがとうございます！
↓
https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5
—————————————————————-
【経営人事メールマガジン】
発行責任者： 山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス： strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-
↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3
↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
