外れ値はモデルに反映すべき？

From:山極綾子

昨日の夕飯はなんでしたか？

食卓の美味しいご飯でしょうか。

それともコンビニ弁当？

もしくは、ちょっと良い所にご飯を食べに行かれた方もいらっしゃるかもしれません。

お肉、おさかな、洋食、和食…いろいろなジャンルがあります。

ちなみに私は、祖母が作ってくれたサラダを食べていました。

焼いた鶏肉付きでした。

それはさておき、もし、日本の食卓における栄養状況の傾向を分析しようと思ったら、

特殊な食事の例は抜かなければなりません。

例えば生まれて初めて行った禅修行における精進料理の栄養情報は、

食卓のご飯とは無関係です。

そう言う意味では、「食卓のご飯」の分析には、「精進料理」は外れ値と言えます。

外れ値と言えば、以前お送りしたメルマガで、こんなことをお伝えしました。

「外れ値とは、予測しようと思う対象データから大きく外れた、

他のデータとは異なる特徴を持つようなデータのことです」

つまり、もし極端な値を持っていても、予測しようと思う対象であるならば、

外れ値ではなく分析対象の一つ、ということになります。

例えば「新型コロナウイルスの感染者予測」をしたいのならば、

それが従来のウイルスによるものであっても、変異株によるものであろうとも、

それらが違う特徴を持っていたとしても、どちらも外れ値ではありません。

逆に、もし「従来のウイルスでの感染状況を予測する」とする場合には、

変異株の影響は除かなければいけないかもしれません。

（ただしその場合も、変異株が本当に分析対象に影響を与えないのか？

ということについては気を付ける必要があります。）

ただし、異なる特徴を持つデータを一度に分析しようと思ったら、層別をしたり、

もしくはそれに対応した機械学習のモデルを用いる必要がありますが．．．。

基本的に、分析前に外れ値だ！と見なしてしまうと、その情報はモデルに含むことが出来ません。

（外れ値か否かの判断はせずモデルに組み込んで、モデル内で外れ値らしいデータを判別、

モデル自らがその情報に影響を受けないようにするような手法もあります）

つまり、外れ値と見なすということは、もうその情報は要らない、

と言うことに等しくなります。

外れ値があることで精度が落ちてしまうことは事実ですが、

実際に選択する際にはちょっと慎重になる必要がありそうです。

山極綾子

P.S.

大学学部制のころ、必修科目の中で、受講生全員の身長と体重の情報を（匿名で）集めて、

その基礎統計量を計算するという授業がありました。

そしてその中に、スポーツをやっていてとても身体の大きい人がいて、

その人の値だけ、極端にみんなとは違う場所に分布していたのです。

みんなが誤って「異常値だ！！」とレポート書いてしまったがために、

先生から「異常値じゃない、外れ値だ」と訂正を受けました。

異常値は、測定器の異常などにより得られる誤った値です。

異常値と外れ値。

言葉を大事に使わなければいけないのですね…。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm