10000件って多い？少ない？

From:山極綾子

「不明な理由でセッションが終了しました」

えっ！

なんで！？

たかだか10000件でしょう？

Google Colaboratoryというとても便利なサービスをご存知でしょうか？

pythonという、データ分析でよく使われるプログラミング言語を、

ブラウザ上で完結して書いて、実行できるサービスです。

必要なものはGoogleカウントのみ。

しかも、面倒な環境構築もすごく簡単にできるという、優れものです。

環境構築というのは、便利にプログラミングを進めるために、必要な道具を

インストールすることなどを指すのですが、きちんと権限を与える必要があったり、

他のアプリケーションも入れないと動かなかったり、とにかく難しいのです。

特に私にとっては。

とても苦手としている作業なのですが、

Google Colabratoryでは全く問題なく動かすことが出来ます。

Google様様です。

様様なのですが、一つ大きな問題があります。

それは、無料ユーザの状態で使うと、いろいろな制限があること。

例えば、一度に分析できるデータの量にはかなり厳しい制限がありますし、

12時間以上操作がないと、勝手に切れてしまいます。

今回も、実験を進めるためにデータを読み込んだところ、

メモリが足りなくなり止まってしまいました。

俗に言う、クラッシュです。

もっと問題なことには、その理由をきちんと教えてくれないのです！

（おそらく、エラーメッセージを表示するための設定の問題であって、

ユーザに意地悪をするためではないと思いますが…）

幸いなことに、私にはメモリ不足で実験が止まった経験が、たくさんあります。

そのため、止まった場所と、分析対象のデータ容量からすぐに、

メモリ不足であると認識することが出来ました。

経験があるというのは、答えを見つける手助けをしてくれるようです。

経験と言えば、機械学習でも経験を活かそうとするものがあります。

例えばもともと別の用途のために学習されていたモデルを活かす。

他の大量のデータで学習していたモデルのパラメータを活かす。

様々な手法があります。

Googleが2017年に提案した言語分析のためのモデルでも、

「予め多くのデータで学習したパラメータを、個別の問題にチューニングする」

という手法を取っていたりします。

共通項を見てみると、意外とデータ数を削減できる可能性があるようです。

山極綾子

P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm