2022年11月の米OpenAI社が公開したChatGPT＊1登場以降、現在進行形で世界中のありとあらゆる場所で生成AI（人工知能）の活用が進んでいます。ChatGPT登場初期には、生成AIをチャットボットとして活用するユースケースが大多数を占めていましたが、現在では、生成AIの大幅な性能向上に伴い、プロダクト開発におけるコーディング支援、マーケティングにおけるクリエイティブ作成、カスタマサポートにおける応対支援など、さまざまな業務領域に生成AIが溶け込み、当たり前に活用する世界となりつつあります。
NTT東日本では、AIを活用した業務変革をめざし、全社一丸となってAI-cXプロジェクト(AI-centric operation transformation)を推進しています。AI-cXプロジェクトでは、「AIの活用を前提としたAIファーストな業務プロセス・働き方の実現」をめざすとともに、社内で磨き、AIオファリングモデルとして、社外に展開することをめざしています。本プロジェクト遂行にあたり、現場主導の市民開発にてAI活用を推進するべく、NTT東日本 デジタルデザイン部では、生成AIアプリ開発基盤の開発をスタートし、さまざまなユースケースにて活用されています。本稿では生成AIアプリ開発基盤の機能概要、具体的なユースケースおよび社内展開の道のりについて紹介します。

＊1 「ChatGPT」は米国OpenAI社の登録商標です。

NTT東日本では、現場社員がデジタル技術を活用して業務を効率化する市民開発の文化が強く根付いています。ローコード・ノーコード開発ツールを活用することにより、プログラミングの知識がなくても日常的に業務効率化が行われています。生成AIの活用においても同様に、市民開発の考え方を取り入れました。「誰もが自分の業務課題を自分で解決できること」を実現するためのローコード・ノーコード開発環境の整備とともに、業務にすぐ使えるテンプレートやサンプルも豊富に提供しています。また、RAG（Retrieval-Augmented Generation）を含むAIエージェント開発機能の整備や、安心・安全な運用設計を進めることで、現場部門主導の業務改革を迅速かつ安全に推進し、組織内のナレッジを形式知として蓄積し、属人化された業務の削減をめざしています。

生成AIアプリ開発基盤のコア機能としては、米国LangGenius、Inc.が開発する「Dify（ディフィ）＊2」を採用するとともに、RAGやAIエージェントを開発するための独自機能を複数搭載しています（図1）。本稿では、その中の代表的なコア機能を紹介します。

＊2 「Dify」は米国LangGenius社の登録商標です。

Difyは、プログラミングの知識がなくても、効率化したい業務フローを「ワークフロー」としてドラッグ&ドロップで記述することにより、独自の生成AIアプリを短時間で構築することができます。さまざまな生成AIモデルと連携する機能を備えており、条件分岐やファイル入力などの機能との組合せにより、目的別のアプリを直感的につくるれることが特徴です。社内文書などに基づく回答生成を可能にするRAG機能や、生成AIへの役割を定義するプロンプトを自動生成する機能などを搭載しており、初学者でも1時間程度のハンズオンを受けることで、自ら業務を効率化するアプリをつくることができます。
NTT東日本では、テナント分離機能やシングルサインオン機能などを備えた「Dify Enterprise」を導入することにより、さまざまな組織での業務効率化を実現しています。Difyのコア機能はOSS（Open Source Software）コミュニティ主導で開発されており、ユーザの要望にも迅速に対応されています。生成AI時代の荒波を乗り越えるための高頻度な機能リリースもDifyの大きな魅力の1つです。

RAGアプリの開発では、ユーザの質問に対して適切な情報を返すために、検索対象となる文書や図表などの参照情報を整備する必要があります。しかし、ドキュメント内の図表が無視されたり、誤って解釈されることで、回答の精度が低下するという課題がしばしば発生します。
私たちは、AI-OCRやVLM（画像認識モデル）など複数の技術を組み合わせ、図表を含む文書の内容を正確にテキスト化する独自のドキュメント前処理機能を開発しました。さらに、枠線が不規則な比較表など、AIによる自動処理が困難なケースにも対応できるよう、人手による修正をシステム上で完結できるインタフェースを提供しています。これにより、AIの限界を人間が補いながら、参照情報の品質を柔軟かつ効率的に確保する仕組みを実現しました。実際の導入事例では、従来手作業で行っていた参照情報の改善工数を40分の1に削減するなど、RAG開発の生産性向上に大きく貢献しています（図2）。

Difyにより短時間で生成AIアプリを構築することができますが、業務で活用するためには回答品質の評価が重要です。ユーザの質問に誤った回答を返すようなRAGアプリでは、かえって業務効率を低下させてしまいます。RAGアプリの評価は、人手で評価する方法に加えて、Ragasなどの評価指標を活用することが標準的になりつつあります。しかし、人手での評価では時間がかかり、Ragas等を用いた評価では結果の解釈や、改善の打ち手が分からずに立ち止まってしまうケースが多くありました。また、RAGアプリを評価するための、ユーザの想定質問と、それに対する想定回答の用意にも多くの工数が必要という課題もありました。
そこで、私たちは、①想定質問・想定回答を自動生成する機能、②直感的な評価指標に基づく自動評価・RAGアプリ改善提案機能を新たに開発しました（※特許出願中）。各種パラメータ調整、プロンプト修正、ドキュメント修正などの具体的な改善アドバイスを行うことで、市民開発者でもRAGアプリをスムーズに改善できるようになります。②の導入によって、人手での評価と比べて90％の時間削減効果が確認されています（図3）。

Difyの活用により、誰でも手軽に生成AIアプリを作成できるようになりました。しかし、実際の業務に活用するには、単にアプリをつくるだけでは不十分です。特に、RAGアプリでは、「どのような手法があるか」、「最適な技術は何か」といった技術選定が大きな課題となり、多くの試行錯誤が必要になります。
そこで、私たちはRAGアプリのテンプレートや改善手法を「デザインパターン」として体系化し、社内サイトで共有しています。このサイトには主に2つの目的があります。1番目は、生成AIアプリ開発基盤を効果的に使いこなせるように、ハンズオン形式の教材を提供することにより、開発者が実践的に学びながらスキルを習得できることです。2番目は、ナレッジの社内展開です。実際の活用事例や技術的な工夫を共有することで、同様の課題に直面している市民開発者にも役立つ情報を提供することです。例えば、曖昧な質問をAIが理解しやすいかたちに変換するクエリ変換技術などを活用し、RAGの回答精度を52％から88％へと向上させた事例もあります。こうした知見の共有が、全社的なRAG開発の加速につながっています。

近年、生成AIは飛躍的な精度向上を遂げ、ビジネスのさまざまな領域で本格的に導入され始めています。一方で、生成AIの柔軟性の高さは、制御の難しさにもつながっており、利用には一定のリスクが伴うことも事実です。
代表的なリスクの1つが、不適切な発言の生成です。実際に、生成AIが非倫理的な内容を出力したことで炎上を招き、企業ブランドイメージが損なわれた事例も報告されています。多くのAIモデルには不適切な表現を抑制するための学習が施されていますが、モデル単体の制御には限界があり、完全な防止は困難です。
この課題に対し、私たちはAIセーフティ機能を提供しています。この機能は生成AIモデルとは独立して動作し、AIとユーザや外部ツールの間に配置されることで、入力と出力の両方に対して不適切な内容を検知・抑制することが可能です。さまざまなエンジンの比較評価を行い、日本語対応性能がもっとも高いと評価されたエンジンを採用しています。
今後も、生成AIの可能性を最大限に引き出しながら、安全で信頼性の高い利用環境を整備するために、AIセーフティ機能のさらなる高度化に取り組んでいきます。

生成AIの活用をより、幅広いユースケースに対応させるための付加価値機能の開発にも取り組んでいます。例えば、会議や対話の音声を文字起こしし、それを生成AIに分析させたいといったニーズが増えています。このようなニーズにこたえるため、私たちはDifyの音声認識機能との連携について検証を進めています。OpenAI、Google、Microsoftなどが提供するクラウド音声認識技術のほか、セキュアなデータ運用を前提としたオンプレミス環境での対応も視野に入れています。特に、NTT研究所の音声認識技術（VoiceOmnia / MediaGnosis＊3）についても検証を行っており、これらは日本語音声に対して高い認識精度を持つだけでなく、CPUだけで軽快に動作するという特長があります。そのため、クラウド環境に依存せず、より手軽にかつ安全に導入できる可能性があります。今後も、生成AIの活用範囲を広げるために、こうした周辺技術との連携を強化し、業務現場での実用性を高めていきます。

＊3 「AIコンステレーション^®」、「MediaGnosis」、「VoiceOmnia」はそれぞれNTT株式会社の登録商標です。

NTT-ME カスタマサービスセンタでは、NTT東日本が提供するサービスに関する問合せ応対業務を行っています。本センタでは少量多品種型でサービス種類が多く、オペレータが必要な応対スキルを習得・定着させることが課題となっていました。そのため、オペレータが自力で対応を完結できる自己解決率は62％にとどまり、対応困難なケースがリーダー層にエスカレーションされることで、リーダーの業務負荷も深刻化していました。
この課題を解決するため、私たちは生成AIアプリ開発基盤を活用したRAGチャットボットを開発しました。当初は利用率が40％と低迷していましたが、現場主導でAI活用の目的や意義を浸透させる啓発活動、粘り強い導入支援とフォローアップ、および成功事例の共有など、継続的な取り組みにより、本ツールを適用している組織の利用率は100％まで向上しました。これにより、オペレータの自己解決率も84％にまで改善しました。また、問合せ応対に必要な「マニュアル検索」にかかる時間も63％削減され、業務効率の大幅な向上が実現されました。本センタでは、チャットボットの継続的な改善や対応領域の拡大など、生成AIを活用した業務高度化に取り組んでいきます。

NTT東日本 先進事業推進部では、データとAIを活用し、社内営業部門の業務効率化や社外向けのビジネス化を推進しています。社内の営業現場では、特に次の2つの大きな課題が存在していました。
①　顧客情報を複数のシステムから収集する事前調査の負担。
②　顧客ごとに最適な提案内容を設計するスキルの個人差。
こうした課題を解決するため、先進事業推進部では営業部門へのヒアリングを重ね、要件を定義しました。そのうえで、Difyを活用し、社内に散在する顧客情報をリアルタイムで収集できるチャットボットを開発しました。現在、営業部門においてトライアルを実施中であり、実際に利用した担当者からは「社内情報を即座に取得できるため、事前調査にかかる工数が一定程度削減される」といった声が寄せられており、好意的に受け止められています。
今後は、収集した社内情報を踏まえ、顧客ごとに最適なトークスクリプトを自動的に設計できる仕組みを整備し、社内全体への展開と運用の定着を図っていきます。さらに、その成果を基盤として、社外向けソリューションとしての展開も視野に入れ、より大きな価値提供へとつなげていきます。

NTTでは、専門性や個性を持った多様なLLM（大規模言語モデル）の集合知により社会問題の解決を図る「AI コンステレーション^®＊3」^（1）を研究開発しています。NTT 東日本では、本技術を生成 AI アプリ開発基盤に搭載し、アイデア創出や会議ファシリテーションに活用しています。
その活用先の1つが「ミライ構想カレッジ in 小布施」プログラムです。本プログラムは、東京大学、長野県小布施町、NTT東日本が連携し、地域から持続的なイノベーションを創出することを目的としています。小布施町を舞台に、「経済」「共同体」「環境」の3つの視点から、2050年の持続可能な社会の姿を構想・実践します^（2）。
「AIコンステレーション^®」は、本プログラム内での多様な背景を持つ参加者どうしの議論において活用し、新たな視点からの深い議論が可能かどうかを検証しています。小布施町の情報などを事前学習させ、プログラム向けに使いやすくカスタマイズした結果、「発想の幅広さに驚かされた」といった声も寄せられています。このように、本プログラムにおいても技術の浸透が着実に進んでいます。

AIの活用を前提としたAIファーストな業務プロセス・働き方の実現をめざすAI-cXプロジェクトでは、社内ドキュメント検索の効率化が重点テーマの1つです。
「膨大な社内マニュアルから必要な情報を素早く検索できるようにする」という課題に対して、生成AIアプリ開発基盤を活用したRAGによる社内マニュアルやFAQ検索の効率化を組織横断で進めています。社内からのフィードバックを基に機能改善を重ねるとともに、社員向けの利活用促進施策（ハンズオン研修、事例共有、FAQ整備など）を継続的に展開することにより、社内でのツール活用が着実に定着しつつあり、業務効率の向上に貢献しています。

生成AIの社内定着をめざし、段階的に普及活動を行いました。まず、約5000名を対象に生成AIの基礎研修を実施し、さらにRAGに特化した応用研修を160名に提供することでスキル向上を図りました。また、毎年開催される総合エンジニアリング事業の拡大に向けた技能競技会である現場力向上フォーラムでは、RAGの精度を競う生成AI競技を実施し、約200名が現地参加、約1000名がオンラインで視聴するなど、生成AI活用への関心と理解が大きく高まりました。こうした取り組みを経て、生成AIアプリ開発基盤を全社公開し、2025年9月時点において、900名以上が開発者アカウントを保有し、160を超えるワークスペースが稼働中です。これにより、現場主導の業務効率化が全社的に加速しています。

本取り組みは、外部パートナーとの対話を通じて、コンタクトセンタ業務DXおよび共通業務DXの取り組みが高く評価されています。特に、生成AIアプリ評価機能のPoC（Proof of Concept）においては、回答品質をスコアとして可視化することで、低品質な応答の抽出・分析が容易になる点が高く評価されました。また、複雑なマニュアルを扱うコールセンタを運営する企業からは、RAGの性能課題を解決するドキュメント前処理機能に対する期待が寄せられています。
本基盤は金融、通信、不動産など多様な業界の現場業務におけるDX推進に取り組む企業への紹介も進めています。ビリング業務、通信インフラの故障修理対応、ファシリティマネジメントなどの分野では、RAGに必要な機能に加え、柔軟なワークフロー対応、セキュリティ対策、外部機能との連携といった要素が、各業界のビジネス課題の解決に資するものとして期待されています。今後は、社外パートナーからのフィードバックを継続的に取り入れることで、基盤のさらなる高度化にも取り組んでいきます。

NTT東日本では、「AIファーストな業務プロセス・働き方の実現」をめざし、生成AIを活用した業務変革を推進しています。今後は、業務システムやデータウェアハウスとの連携を強化して、AIが業務の中核に組み込まれるのが当たり前の状態をめざします。
さらに、AIエージェントの導入により、AIは指示待ちのツールから自律的に判断・実行する知的パートナーへと進化し、部門横断で業務を最適化するようになります。これにより、企業活動全体がデジタル・ツイン化され、人間は創造性と戦略性に集中できる環境が整います。NTT東日本は、こうした未来を見据え、AIと人間の共進化による新たな価値創造に取り組んでいきます。

■参考文献
（1）　https://www.rd.ntt/cds/ai-constellation/
（2）　https://www.ntt-east.co.jp/release/detail/20240830_01.html