自分は悪くないのに叱られるアレクサの話

​ From:山極綾子

 

​

 

「アレクサ、エアコン付けて。」

 

8月のとある暑い朝。

 

過ごしやすい部屋にするためにアレクサにエアコンのスイッチを入れるよう依頼。

 

いつもならば「ポーン」という通知音とエアコンが作動するはずなのに、返ってきたのは全く違う言葉。

 

「wifiに接続されていません」

 

？？？？

 

寝る前まで問題なく動いていたのになぜ？？

 

アレクサのせいではないのに、つい「仕事して！」とアレクサに言ってしまいました。

 

ごめんよアレクサ。濡れ衣だよね。

 

 

先日、朝起きたらwifiが動いていない、という事件が起きました。

 

結局よくよく調べて見れば、wifiのルーターにエラーが発生していたことが原因だったため、

再起動＆再設定で事なきを得ました。

 

めでたしめでたし。

 

なのですが、自分は何も悪くないのに「仕事して！」と言われてしまったアレクサは

ちょっとお気の毒です。

 

アレクサのおかげでいち早く問題に気づけたのですが、そんなことも忘れ、

つい小言（？）を言ってしまいました。

 

 

ところで、問題を発生させるものと、問題に気づかせてくれるものが違うことは良くあります。

 

例えば今回のwifiがつながらない事件では、原因はルーターにありましたが、

それ（通信エラー）に気づかせてくれたのはアレクサでした。

 

他にも、機械学習で学習されたモデルが目的に照らして“正しい”かを確認するには、

モデルそのものを見ることよりも、モデルを使って得られた推定結果を用いることが必要になったりします。

 

例えば、ある人が男性であるか女性であるかを、ウェブサイトの閲覧履歴から推定しようとするとします。

 

そのためにはまず、「男性」「女性」の情報を持つ閲覧履歴を多数用意し、

それらを基にモデルを学習します。

 

そして、推定しようとする閲覧履歴をモデルに入力すれば、

その結果として「男性」or「女性」のタグが出てくるはずです。

 

ここで、学習されたモデルが正しいのかどうかを見ようとするとします。

 

その時に、モデルのパラメータだけを見ても、正しいかどうかの判断は基本的にはつきません。

 

ちゃんと、「男性」か「女性」かを推定するモデルになっているかを確認するためには、

そのモデルの推定精度を見る必要があります。

 

言い換えれば、答えが分かっている閲覧履歴を入力した時に、

その推定結果がどの程度答えと一致しているかを見る、と言うことです。

 

 

その精度が仮に、低すぎた場合。

 

もちろんモデルは実用に耐えるものではないと考えられます。

 

逆に高すぎた場合。

 

これも必ずしも問題がないとは言えません。

 

というのも、もしかすると、何らかの形で正解が分かってしまうような閲覧履歴になっているとか、

意図しない挙動をしているかもしれないからです。

 

そういえば例えばTOEICの点数。

 

勉強中に過去問を解いていて、その採点結果が高すぎておかしいと思ったことがあったのですが、

原因として過去解いた問題を再度やっていたからだった、ということがありました。

 

得られた結果が果たして適切なのだろうか？と検討することは、

きっと機械学習だけでなく日々経験する多くのものにとって重要に違いありません。

 

 

山極綾子

 

 

P.S.

機械学習の分野では、”正解”の情報がモデルの入力データに何らかの理由で含まれてしまっている状況を、

”リーク”と呼んでいます。

 

そのような場合、そもそも問題設定に合致しないモデルを構築してしまっていることがほとんどです。

 

もちろん、非常に高い精度を出すことができる場合が多いのですが、

その精度については言わずもがな、あまり信用できるものではありません。

 

せっかく「良い結果が出た！」と思った後にリークに気づくことほど、悲しいことはありません。。。

 

 

P.P.S.

今日も最後まで読んでいただきありがとうございます！

 

メルマガの感想などありましたら、こちらからお聞かせ下さい。

 

現在データ分析コンサルティング受付中です。

 

お問い合わせもこちらからどうぞ。

 

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

 

 

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm​