日本語と相いれないAI

From:山極綾子

あれ！？前このプログラムでちゃんとファイル開けたじゃん！

何がダメなの？？

パワーポイント以外のファイルが入っているから？

…いや、それは条件文でエラー処理してるから大丈夫なはずだし。

あとは考えられるのはなんだろう…。

もしかして、「①」とか「②」…？

日本語はいろいろな意味で、AIとの相性は良くありません。

そもそも単語がつながって記載されているため、文章を単語に分ける時点で一つ、

特別な処理が必要になりますし（形態素解析と言います）、

他にも、日本語特有の文字は、AIが認識してくれないことがあります。

たとえば①や②。

見た目には、あくまで数字の情報を持っていて、

それに〇が付いているだけのようなのですが、PCにとっては全くもって別の文字です。

そしてそれらの文字は多くの場合、日本語にしか含まれていない、ということがとても多いのです。

今回、私の分析作業を妨げていたのも、その文字たちでした。

ファイルを読み込むプログラムを作成していたのですが、

「読めない文字があるよ！」と、エラーを返してくれていたのです。

それらを修正することも考えたのですが、作業コストを考え、

すごく、泥臭いやり方で分析を進めることにしました。

データ分析、キラキラしているようですが、全くそんなことはないですね…。

こういった日本語ならではの不都合は他にもまだまだあります。

文字コードと呼ばれるPCが2進数の数字の羅列を

どうやって言葉として画面に映すかを決めるルールが日本語はとても複雑で、

使っている機械によっては、うまく表示させるために追加で作業を行う必要が出てきたりします。

人間にも相性があって得意不得意があるように、AIにも得意不得意があり、

不得意な場合には追加で頑張る必要がある…。

人間もAIも変わらないのかもしれません。

山極綾子

P.S.

日本語は分かりにくい！といえば、昔宣教師たちが日本に来た時、

濁音と半濁音を明確に分ける記号が無かったため、

辞書を作成するのにとても苦労した、というお話をどこかで聞いたことがあります。

当時の日本人たちは感覚で見分けていたようなのですが、

もちろん母国語ではない方たちには難解でしかありません。

そこで「ぱ」、「ば」などの言葉を作った…と読んだ記憶があります。

日本語ならではの不便を解消する方法が、昔から開発されていたことにびっくりしました。

P.P.S.

今日も最後まで読んでいただきありがとうございます！

メルマガの感想などありましたら、こちらからお聞かせ下さい。

いつも嬉しく拝見しています。いつもありがとうございます！

↓

https://keieijinjipartnersytube.typeform.com/to/B8JjDrk5

—————————————————————-
【経営人事メールマガジン】
発行責任者：　山極毅（株式会社経営人事パートナーズ）
発行者住所：〒100-0005東京千代田区丸の内1-8-3丸の内トラストタワー本館20F
連絡先：https://keieijinji.co.jp/
メールアドレス：　strategic-membership-program■■keieijinji.co.jp(■■を@に置き換えてください)
—————————————————————-

↓バックナンバーはこちら↓
PC: https://04auto.biz/brd/BackNumber.htm?acc=keieijinji&bid=3
スマホ・ガラケー: https://04auto.biz/brd/BNMobi.htm?a=keieijinji&b=3

↓メルマガの新規登録はこちらから↓
PC: https://48auto.biz/keieijinji/touroku/scenario13.htm
スマホ: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
ガラケー: https://48auto.biz/keieijinji/touroku/sp/scenario13.htm