神戸のデータ活用塾!KDL Data Blog

KDLが誇るデータ活用のプロフェッショナル達が書き連ねるブログです。

テキスト分析入門(1)

初めまして、こんにちは。

株式会社神戸デジタル・ラボ DataIntelligence(以下、DI)チームの垣内です。

未経験からデータ分析を学びたい方

・データで何か業務改善をしたい!というビジネス課題を抱えている方

に向けて情報発信をしていきたいと思います。是非参考にしていただけると嬉しいです! 

 

DIチームでは「お客様からの問合せメール」や「監視カメラの画像」、「ECサイトの購入履歴」など様々なデータを分析し、業務に活用するプロジェクトを担当しています。

 

中でも最近増加傾向にあるのが、テキスト分析に関するご依頼です。お客様から「お問合せデータを●●に活用したい!」といった、テキスト分析に関するご依頼が最近増えています。そこで質問です。

 

「テキスト分析といえば、何をイメージしますか?」

 

なんとなく頭で雰囲気をイメージできても、意外と言語化しにくいのではないでしょうか?Google検索の結果では「テキストマイニング」が出てきますが、それはあくまで回答の1例です。このシリーズでは、事例とともにテキスト分析についてご紹介します。

本日はテキスト分析の概要を説明し、次号からは事例とともに具体的な活用方法をご紹介していきたいと思います。

 

本日のAgenda 

 

テキスト分析とは?

テキスト分析について話す前に、「分析」という言葉を調べてみました。

分析とは「事物の構成要素を細かく理論的に調べることによって、その本質を明らかにすること」です。テキスト分析を当てはめてみると「テキストの構成要素を細かく調べ、状態を明らかにする」という事です...少し難しいですね。

具体的に何をするかイメージできたほうが理解しやすくなると思いますので、具体例を示していきます。一旦定義を頭に入れておいたまま、下にスクロールしてみてくださいね。

 

では早速。

テキストの構成を調べる方法は大きく分けると4つ存在します。

f:id:kdl-di:20210902153307p:plain

テキストの構成を調べる方法

 

例えば形態素解析

形態素解析とは「文を品詞分解し、単語と品詞のペアを作って構造を明らかにする手法」です。

「私は神戸が好きです」だと以下のように品詞分解のペアが出来上がります。 

形態素解析の結果

 

形態素解析以外にも、

主語・述語の関係や単語の係り受けと言った文の文法的構造を明らかにする構文解析

単語の意味や文の構成をもとに、その文の意味を明らかにする意味解析。

複数の文の関係性を明らかにする文脈解析が存在します。

単語~意味までと、幅広く構成を明らかにすることが可能です。

※実際にテキストの構成を調べる際は全ての構成を明らかにする必要はありません。「形態素解析だけ」「形態素解析構文解析だけ」でも十分に応用が可能です。また、「意味解析・文脈解析」は考慮することが多く、現在でも研究が盛んにおこなわれています。今後どう変化していくか注視する必要がありそうですね。

 

この通りで行くと、テキスト分析とは「文の構造を明らかにする事」を意味することとなります。どんな構造を明らかにすべきか?は活用方法を決める事で明らかになってきます。

 

なので分析をするためには「どんな活用をするか?」を考えたうえで「文の構造を明らかにする」というプロセスを歩むこととなります。

 

つまりテキスト分析とは、文の構成を明らかにする事です。

また、テキスト分析をする際は「(何の課題を解決するために)どんな活用をするか?」を考えましょう。

 (※ちなみにAI用語では「コンピュータにテキスト分析させたり文を理解させること」を「自然言語処理」といいます。)  

 

f:id:kdl-di:20210823161354p:plain

「テキスト活用したい」という文脈で語られる分析に必要なプロセス

 

テキスト分析の活用方法 

では具体的にはどのような活用方法があるのでしょうか?

 代表的な活用方法は8つ存在します。

f:id:kdl-di:20210916114542p:plain

テキストの活用方法

次の記事では、これらの活用方法とそれが世の中でどんなお仕事に影響を与えているかを、事例を含めてご紹介していきます。

 

 

 

 

垣内優花

データインテリジェンスチーム所属
テキスト活用するプロジェクトを担当。ビジネスを意識したデータ活用を考えるデータアナリスト。初心者向けの情報・テキスト活用について発信していきます!