性悪説と機械学習

From:山極綾子

「ものづくりの世界は、性善説から性悪説へ考え方を変えた時点で

システムが大きく変わりましたが、ITについても

そのような時代がやってくるのではないかと感じました」

確かに…！

機械学習は過去のデータを分析して、そのルールを学習するだけだから、

そこに人間の悪意が隠れていたら、きちんと学習できないし。

そういえばこの前読んだ論文に、敵対的データに対応するための方法とか書いてあったなあ。

以前メルマガの感想で、上のような感想を送っていただきました。

ものづくりの性悪説に基づくシステムと言えば、厳しいノルマとかが当たるのでしょうか。

（ものづくりの世界については全くの専門外のため、

おかしなことを言っていたらすみません。）

では、機械学習で言うところの性悪説と言えば、人間の悪意が含まれたデータを

そのまま学習してしまうこととか、

あとは敵対的データなどが挙げられるような気がします。

人間の悪意が含まれたデータについて具体的に考えてみると、

そもそも学習させるデータに故意に偏りを生じさせていたり、

もしくはうそのデータを混ぜてしまうこともあります。

そして機械学習は、何も対策を打たなければ、

それらの悪意の影響をそのまま受けてしまいます。

どうやってそれら悪意を防ぐか…というシステムが必要になるはずです。

また、敵対的データというものが、特に画像分析の分野であるのですが、

これが（個人的には）とても面白いのです。

（画像はEXPLAINING AND HARNESSING ADVERSARIAL EXAMPLESという論文から引用しています。

論文はこちら：https://arxiv.org/pdf/1412.6572.pdf）

この図の中の左の写真がもともとの画像で、もちろんパンダの写真です。

左の写真に、真ん中に示されているノイズ画像をほんのちょっと

（この画像の要素を0.007分だけ）足し合わせて右の写真が出来ています。

人間の目から見れば、右の画像も間違いなく、パンダにしか見えません。

ですが機械学習には、この右の画像はテナガザルに見えるらしいのです。

しかも、その「テナガザルである」確率が99.3%、とかなり頓珍漢なことを、

自信たっぷりに予測していることになります。

しかもその予測をするのは、ニューラルネットワークを使って学習されたモデル

ということなので、本当にびっくりです。

こういった「AIが騙されてしまう」データを敵対的データと呼んでいて、

もちろん、これらに対応するモデルがたくさん開発されています。

ちょっとした悪意にも負けないように、そもそも悪意が入る隙の無いようなシステムが、

ITでも求められているのかもしれません。

山極綾子

P.S.

ちなみに途中の図のパンダの写真（左のもの）。

AIは正しくパンダと識別できるのですが、その自信（確率）の高さはたかだか57.7%です。

何でよ！？と突っ込んでしまいたくなります。。。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm