マーケティング分析を例に学ぶ LLM から使える結果を得るための工夫

はじめに

NTTデータ数理システム データマイニング部の高橋と申します。 この記事では、当社のマーケティング分析を例として、昨今注目の LLM（Large Language Model：大規模言語モデル）からより有用な結果を得るための工夫をご紹介します。

LLMはChatGPT などの高度な AI チャットサービスによっておなじみで、当社の記事 LLMとは？大規模言語モデルでできることとビジネスに活用する方法 でもご紹介している通り、様々な分野での応用が期待されています。マーケティング分析でも「市場調査の自動レポート」の作成などに活用できます。
しかし、実際に ChatGPT を使ってみたことのある方の中には、「しばらく試してみたけど、いまいちなことしか言わない」と感じた方もいらっしゃるかもしれません。

実は、現在主流の LLM は、ユーザを不快にさせないように出力についての調整が施されており、一般的な LLM は振る舞いがイエスマンだったり、断定的な主張を避けたりする傾向があります。
特に「次の行動に繋がる踏み込んだインサイトを得たい」場面では、このようなLLM の調整によって、LLM の性能自体は充分でも、「曖昧な回答を返すだけで役に立たない」ということが起こり得ます。

そこで今回は、LLM が本来持っている「人間らしさ」や「思考力」を活かし、「いまいちなことしか言わない」LLM から「使える結果」を引き出すためにどのような工夫ができるか、具体的にご紹介していきます。

工夫を行わない場合にどのような結果が得られるか

まず工夫を行わない場合の例として、当社を題材にした SWOT 分析を LLM に行わせてみた結果を見てみることにしましょう。

なお、SWOT 分析とは、組織の戦略計画を立案するためのフレームワークです。
SWOT とは、強み (Strengths)、弱み (Weaknesses)、機会 (Opportunities)、脅威 (Threats) の頭文字を取ったもので、SWOT 分析では企業の外部・内部の環境をこれら 4 つのカテゴリーに分けて要因分析し、市場機会や事業課題を発見・整理します。

それでは、ChatGPT (GPT-4) に簡単なプロンプトと情報ソースを与えて、どのような回答が返ってくるかを見てみましょう。

入力したプロンプト (他社様の企業名および URL については、掲載にあたりマスクしています。)

NTTデータ数理システムについて、SWOT分析を実際に行った結果を示してください。
なお答える際には、情報通信業界が取り巻く状況をインターネット上で調査してください。
また、少なくとも以下のサイトの情報を参照してください。
・ NTTデータ数理システムの強み https://www.msi.co.jp/speciality/index.html
・ 同業A社の強み https://***.html

LLM の回答

NTTデータ数理システムのSWOT分析は以下の通りです。

- SWOT分析
  - 強み（S） : 数理科学とコンピュータサイエンスの専門知識、豊富な経験、先進技術の活用能力。
  - 弱み（W）: 特定業界への依存度やグローバル市場での限定的な影響力。
  - 機会（O）: デジタルトランスフォーメーションの進展、新しいビジネスモデルへの適応。
  - 脅威（T）: 国内外の競合他社との競争、技術の急速な変化への対応の必要性。

これらの分析を通じて、NTTデータ数理システムは、強固な技術基盤を活用し、市場の変化に対応しながら新しい機会を捉えることが重要です。

ここでのプロンプトは下記のようなシンプルな作りになっています。

• 明示的に「対象企業である当社の情報」「同業他社の情報」を与える
• 業界情報はインターネット上から収集させる
• 命令はシンプルに「SWOT分析を実際に行った結果を示してください。」とする

このプロンプトにより得られた回答を見てみると、確かに「言っていること自体は間違っていない」と考えることもできそうですが、それよりもむしろ「具体的で無いため評価しづらいし、どのように使えば良いかも見えてこない」という印象を受けたのではないでしょうか。

このように、簡単に指示を与えたのみの場合、正しくはあるが抽象的で、自分の関心のある部分に対する具体策のない回答が出力されるのみとなってしまうことが起こり得ます。
さらに踏み込んだ回答をさせたい場合の改善策として、例えば下記のような方法が考えられます。

• 入力するデータを増やす
• 「そうじゃないんだけどな」と感じる箇所を (人が頑張って) 言語化し、LLM にフィードバックとして伝えていく

しかし、このような試行錯誤は「LLM への期待とのギャップ」や「意図が伝わらないもどかしさ」から、はっきり言えば「面倒くさいし疲れる」ように感じるのではないでしょうか。 また、このような方法を取るにしても、やはり最初からある程度良いものを出力してくれるに越したことはありません。

LLMからより有用な結果を得るための工夫

そこで当社では、LLM からより有用な分析結果を得るための工夫を検討しました。 具体的には、GPT-4 (Azure OpenAI Service) の API を呼び出し、以下の 4 つのステップを自動で繰り返すプログラムを作成しました。
このプログラムは「情報をノートにどんどんと追記して充実させていく」ような構成になっています。

1. 収集した文書を 1 つずつ LLM に与えます。
2. 文書を要約してトピックに関係する部分を抽出させ、ノートに追記させます。
3. 追記のたびにノートを LLM にレビューさせ、「どのような観点が不足しているか」「どの部分があいまいか」といった指摘事項を洗い出させます。
4. 次回の文書の要約の際にレビューを反映させ、不足分を重点的に取り出させます。

また、レビューを行う際には、LLM に特定の立場や人格、役割といった情報をペルソナとして設定しています。そのペルソナが「不満を持っている」ことを既成事実として LLM に与えることで、批判的な立場から疑問点や改善点を指摘させることができます。

工夫を加えることでどのような結果が得られたか

それでは、上記のプログラムの結果を見ていきましょう。

まず、ポジティブな方では、事業内容を理解して多くの項目が挙げられており、当社がNTTデータグループであることも認識できていることが分かります。

ネガティブな項目については、対外的にアピールされないためインターネット上からは収集しにくく、挙げられている項目の数としては少なくなっています。しかし、着目する観点などの具体的な指示を人が出していないにもかかわらず、競合他社の情報と照らし合わせて「基盤構築や PDCA サイクルに関するアピール不足」という課題を LLM が自律的に見つけ出しています。

結果として、はじめにお見せした「シンプルな分析」の回答と比較して、どの企業にも共通するような、曖昧で当たり前の内容は無くなり、具体的な施策につなげやすい、当社の実態に即して深堀りされた結果を得ることができました。

また、処理の途中で出力されたレビューの内容についても、一部抜粋して紹介します。

- 強みに挙げられている「幅広いタイプのデータサイエンティスト」がいるが、これはどのように競合他社と差別化されているのか。
- 機会として挙げられている「データ活用の増加」が具体的にどのようなビジネスチャンスを生み出しているのか例を挙げてほしい。
- 脅威に記載されている「パーソナルデータの取扱い」や「レピュテーションリスク」に対する現在の対策とは？

レビューにおいても、単純に LLM に尋ねるだけでは得られない、批判的で鋭い指摘を得ることができています。ここまで踏み込んだレビューをしてくれるのであれば、「人がさらに分析を深堀りしたい」場合にも、足掛かりとして活用できそうです。

結果に対してのコメント

今回、人の意見は介入させずに LLM のみで分析した結果をご覧いただきましたが、それでも、工夫を行わない場合よりも具体的で有用なものが得られたと言えるのではないでしょうか。

最後に、当社の「プロダクト開発リーダー」と「取締役」から、今回の SWOT 分析の結果についてどのような印象を受けたか、簡単にコメントをいただきました。

プロダクトリーダー

取締役

今回の工夫により得られたメリット

今回のような「ノートをどんどん更新していくアプローチ」では、単純な LLM を使った要約と比較して様々なメリットがあります。

• 入力する文書に対して、どのように要約すれば良いかの観点を明示的に与えることができる
• 一度に 1 つの文書だけを入力するので、まとめて処理する場合と比べて 1 つの文書から丁寧に情報を抽出できる
• ノートは追記していく形式なので、結論が発散しづらい
• 途中で人が確認してレビューすることもでき、納得感が得やすい
• 結果やレビューを元に人が入力データを指定したり、中断・再開・停止をコントロールしたりできる

今回は人の意見を反映させることまでは行っていませんが、プログラムの仕組み上「このあたりの情報が不足している」「こんなデータがあるけど、使えない？」といった状況にも柔軟に対応することができるため、納得が得られるまで引き続き分析を深めていくことが可能になっています。

おわりに

この記事では、LLM のビジネス活用として、当社のマーケティング分析の実例をご紹介しました。
「とりあえず使ってはみたけれど、いまいちな結果しか得られない」という状況でお悩みの場合には、今回のように

• LLM に行わせたいタスクについて、「人はどのように取り組んでいるか」を言語化し、LLM に適した形に構造化する
• LLM の典型的な特徴や課題を理解した上で、それらが克服できるようにプロンプトを設計する

といった工夫をすることで、更に一歩踏み込んだ、有益な結果を得ることができるかもしれません。

創業以来約 40 年に渡りコンピュータサイエンスやデータ分析の知見を積み上げてきた当社では、社内でも積極的に LLM を調査・活用しつつ、そこで得られた「LLM の持つ力を引き出す」ノウハウによってお客様の課題解決やビジネス価値の創出をサポートしています。

他にも様々な事例を ChatGPTなど、大規模言語モデル（LLM）のビジネス活用セミナー にてご紹介しております。
LLM の活用をご検討されている方は、まずはぜひセミナーへご参加ください。