Dialogflowを利用した
チャットボット 導入事例
Google Cloud Dialogflow Meet-up
2017/12/12
グリー株式会社
開発本部 応用人工知能チーム
鈴木 隆史
自己紹介
■氏名:鈴木隆史 (@t24kc)
■所属:開発本部 応用人工知能チーム
JapanGame事業本部 ENチーム
■業務:Webプロダクト ENマネジメント
大規模データ活用した機械学習ツール開発
これまでに機械学習を利用したPUSH通知の最適化、
バナーのレコメンデーション、チャットボットなどを担当
2
1. はじめに
2. システム紹介
3. 会話精度向上
4. まとめ
はじめに
3
グリーのサービスと
応用人工知能チームの取り組みについて
はじめに
4
■2017年 上半期リリースタイトル セールスランキング
グリーのサービスについて
5※ランキングは、App StoreまたはGoogle Playのセールスランキングより7月31日時点までの最高順位を採用
分析データ基盤
Hadoopベース
数TB / 1日
自社の大規模分析基盤を活用
6
利用している機械学習技術
■Deep Learning関連
CNN:美容メディア画像タグ付け、不適切な画像識別
RNN:レコメンデーション
■Machine Learning関連
分類:PUSH通知最適化、離脱ユーザ予測
クラスタリング:画像の領域抽出、ユーザセグメント分析
7
■Dialogflowとクラウドサービスのシステム連携
・導入したチャットボットを例に
・実際にDialogflowで利用しているシステム紹介
・Dialogflowでカバーできない範囲のクラウド連携部分
■会話精度向上のための取り組み
・ログ分析一例と会話精度向上のために実施したこと
本日のテーマ
8
システム紹介
1. はじめに
2. システム紹介
3. 会話精度向上
4. まとめ
9
プロジェクト紹介
10
2017年11月 本リリース済
http://orario-rapsodia.com/
事前登録ページのチャットボット ©大森藤ノ・SBクリエイティブ/ソード・オラトリア製作委員会
©GREE,Inc ©Super Appli,Inc
デモ
※開発段階のものです
※現在はクローズしています
11
※開発段階のも のです
※現在はク ローズし ています
11
チャットボット仕様
12
概要 詳細
感情 投げられた会話により喜怒哀楽が変化
親密度 ユーザとの会話内容によりキャラクター親密度が変化
クイズ 会話が続くとキャラクターからクイズを出題
報酬 親密度が閾値を超えたタイミングで報酬イベント発火
NGワード 公序良俗に反することには適切に返答
チャットボットの仕様から
システムに落とし込む
システム検討
13
システム概要
14
プロダクション
サーバ
クライアント チャットボット
API
システム概要
15
プロダクション
サーバ
クライアント チャットボット
API
作成した部分を
もう少し詳細に
チャットボットAPI構成
16
API部分 監視部分
チャットボットAPI構成
17
API部分 監視部分
API処理群
自然言語処理
ユーザ・マスタデータ
ログ関連
自然言語処理は
Dialogflowを利用
チャットボット仕様
18
概要 詳細
感情 投げられた会話により喜怒哀楽が変化
親密度 ユーザとの会話内容によりキャラクター親密度が変化
クイズ 会話が続くとキャラクターからクイズを出題
報酬 親密度が閾値を超えたタイミングで報酬イベント発火
NGワード 公序良俗に反することには適切に返答
Dialogflowで
対応する箇所
チャットボット仕様
19
概要 詳細
感情 投げられた会話により喜怒哀楽が変化
親密度 ユーザとの会話内容によりキャラクター親密度が変化
クイズ 会話が続くとキャラクターからクイズを出題
報酬 親密度が閾値を超えたタイミングで報酬イベント発火
NGワード 公序良俗に反することには適切に返答
クラウドサービス
で
対応する箇所
Dialogflowで
対応する箇所
他サービスの検証と比較をした結果
Dialogflowでシステム開発した経緯
20
NLPサービスについて
21
導入スピード
拡張性
APIサービス
NLPモジュール
サービス
ML/DLライブラリ
サービス
Dialogflowの決め手
■導入スピード面
・APIサービスのため学習データ抽出・ラベル分類コストも必要最低限
・既存のMLライブラリを利用する場合の実装コストが発生しない
■料金面
・スタンダード版は無料で利用できる
・必要に応じて、エンタープライズ版でAPI制限の緩和などが可能
■精度面
・会話データのラベルミスを修正して再学習させることができる
・内部に多くの拡張機能があり、表現ゆれ解決や外部連携なども可能
22
■アルゴリズムのブラックボックス化
・内部の実装がブラックボックス化しやすい
・痒いところに手が届かないこともあるが、サービスの実装に集中できると
も捉えられる
■サービス安定性
・フリー版はAPIの停止や、利用上限が設定されているケースがある
APIサービスの懸念点
23
今回のプロジェクトでは
メリットが大きいためDialogflowに決定
Dialogflowとクラウドサービスの
利用箇所の紹介
システム紹介
24
■Intents
・多くの場合は例文を増やすことで対応
システム紹介#1(単純な質問と返答)
25
Intents
■Entities
・ActionでIntentsとEntitiesを紐付けて表現ゆれに対応
システム紹介#2(表現ゆれの対応)
26
Intents
Entities
■Events・Contexts
・eventをクイズイベント発火に利用
・contextをクイズ回答期間の管理に利用
システム紹介#3(クイズ出題)
27
additional
post
question
answer
■Cloud Management
・Fulfillmentのwebhookで外部連携も可能
・細かなセッション情報やIP設定などはバックエンド側で対応
システム紹介#4(セッション情報・IP管理)
28
IP setting
data
1. はじめに
2. システム紹介
3. 会話精度向上
4. まとめ
会話精度向上
29
会話精度が振り返られるように
ログ整理とデータ活用
会話精度向上のために
30
■ログの蓄積
・DialogflowのHistoryを利用して簡単な会話ログ分析も可能
・今回は大規模分析のため自社のDWHを活用
■会話精度パラメータを利用
・レスポンスのscore(会話精度)パラメータが利用できる
前提
31
■スコアセグメントごとの結果
・スコア(会話精度)を10%ごとに集計した会話数値
・精度が100%のものと悪いものに二極化しているのが分かる
全体会話の確認
32
■スコアが良かったもの
・単語や単純な挨拶のIntentsの会話精度が高い
個別会話の確認#1
33
■スコアが良かったもの(詳細)
・単語のみの発言が多く、登録したUser saysとのルールベース合致多い
個別会話の確認#2
34
■スコアが悪かったもの
・柔軟な会話や登録されたIntentsが類似している会話精度が低い
個別会話の確認#3
35
■スコアが悪かったもの(詳細)
・分かち書き「くれ」という単語に反応している様子
・「アイテム」などのIntent登録はないため、この例文に紐付いている
個別会話の確認#4
36
■スコアが悪かったもの(詳細)
・精度30%以下(Intentsに紐付かなかった)会話ログを確認
・同様にIntent登録がない例文や、単語の意味がないものが多い
個別会話の確認#5
37
■登録Intentsの拡張
・殆どの場合は例文の追加で解決できる
・ユーザの会話ログから、頻度の高い例文を新しく追加していく
■登録Entitiesの拡張
・表現ずれの改善のため、Entityにデータを追加していく
・ただし、IntentsやEntitiesには登録上限がある
実施したこと#1
38
実施したこと#2
39
■TrainingでIntents学習
・以前の会話やり取りが間違っていた場合には
DialogflowのTraining機能から正しいIntentsを学習させる事ができる
■対応する基準
登録する例文の基準
・IntentsやEntitiesには登録できる上限があるため
精度が低い全ての会話を登録できるわけではないこと
優先度の基準
・例文内容の検討やTrainingによる学習には人的コストがかかるため
全体のリソースを考慮した優先度を決めておく
・ここでは会話精度にフォーカスしていたが
チャットボットの事業目的に会話精度の重要度がどの程度あるか
注意するべきところ
40
1. はじめに
2. システム紹介
3. 会話精度向上
4. まとめ
まとめ
41
■導入コスト重視ではAPIサービスが最適
・独自モデルの場合と比較して、実装コスト・学習データ準備コストの削減
メリットが非常に大きい
・特定インテントの前処理工夫などの拡張要素部分も、クラウド連携で対応
できる
まとめ
42
[Gree] Dialogflowを利用したチャットボット導入事例

More Related Content

PDF
カスタマーサポートにおけるAIチャットボットの導入
PDF
DMBOKをベースにしたデータマネジメント
PPTX
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
PDF
SIerで幸せな技術キャリアを築くために
PDF
負荷試験ツールlocustを使おう
PPTX
コミュニケーション戦略を前提にしたOutlookやTeams活用
PDF
Azure Data Explorer
PDF
Azure Arc 概要
カスタマーサポートにおけるAIチャットボットの導入
DMBOKをベースにしたデータマネジメント
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
SIerで幸せな技術キャリアを築くために
負荷試験ツールlocustを使おう
コミュニケーション戦略を前提にしたOutlookやTeams活用
Azure Data Explorer
Azure Arc 概要

What's hot (20)

PPTX
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
PPTX
Salesforceの標準オブジェクトについて復習してみた
PDF
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
PDF
202106 AWS Black Belt Online Seminar 小売現場のデータを素早くビジネス に活用するAWSデータ基盤
PPTX
初心者向けMongoDBのキホン!
PDF
BigQueryを始めてみよう - Google Analytics データを活用する
PDF
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
PPTX
Kubernete Gateway APIとAmazon VPC Lattice.pptx
PDF
"Kong Summit, Japan 2022" パートナーセッション:Kong on AWS で実現するスケーラブルな API 基盤の構築
PDF
【AI:ML#16】Amazon Lexを用いたチャットボットの構築.pdf
PDF
AWS Black Belt Online Seminar AWS Direct Connect
PDF
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
PPTX
JAZUG12周年 俺の Azure Cosmos DB
PDF
フロントエンドエンジニアが知るべきFirebaseの世界
PDF
Microsoft Build 2022をさらに楽しむためのおすすめセッション/サンプル コード Powered by Microsoft MVPs
PPTX
Product ManagerとProduct Ownerの役割の違いについて
PDF
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
PDF
SQL大量発行処理をいかにして高速化するか
PPTX
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
PDF
NTT研究所におけるYammerの取り組みと、社内Twitterの統計解析
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Salesforceの標準オブジェクトについて復習してみた
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
202106 AWS Black Belt Online Seminar 小売現場のデータを素早くビジネス に活用するAWSデータ基盤
初心者向けMongoDBのキホン!
BigQueryを始めてみよう - Google Analytics データを活用する
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Kubernete Gateway APIとAmazon VPC Lattice.pptx
"Kong Summit, Japan 2022" パートナーセッション:Kong on AWS で実現するスケーラブルな API 基盤の構築
【AI:ML#16】Amazon Lexを用いたチャットボットの構築.pdf
AWS Black Belt Online Seminar AWS Direct Connect
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
JAZUG12周年 俺の Azure Cosmos DB
フロントエンドエンジニアが知るべきFirebaseの世界
Microsoft Build 2022をさらに楽しむためのおすすめセッション/サンプル コード Powered by Microsoft MVPs
Product ManagerとProduct Ownerの役割の違いについて
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
SQL大量発行処理をいかにして高速化するか
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT研究所におけるYammerの取り組みと、社内Twitterの統計解析
Ad

Similar to [Gree] Dialogflowを利用したチャットボット導入事例 (20)

PPTX
[Gree] グリーのソーシャルゲームにおける機械学習活用事例
PDF
[Gree] DataEngConf NYC’18 セッションサマリー #1
PPTX
DataEngConf NYC’18 セッションサマリー #1
PDF
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
PDF
Itca yammer提案110615
PDF
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development
PDF
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
PDF
Googleのインフラ技術から考える理想のDevOps
PDF
[Cloud OnAir] AI の力で次世代型コンタクトセンターへ 〜 Contact Center AI ソリューションにおけるジェネシス・ジャパン...
PDF
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
PDF
Microsoft MVP x Passion for community
PDF
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
PPTX
明日の開発カンファレンスパネル
PDF
プロトタイピングツール投入のケーススタディ
PDF
Developer Summit Summer 2013 C1セッション CA Technologies
PDF
会話型UI事始め
PPTX
2018/07/26 Game change by Deep Learning and tips to make a leap
PDF
夏サミ 2013 A2 セッション資料 #natsumiA2
PDF
アジャイル開発の失敗とカイゼン
[Gree] グリーのソーシャルゲームにおける機械学習活用事例
[Gree] DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
ぼくのかんがえたさいきょうの機械学習プロダクトの作り方
Itca yammer提案110615
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development
微博(ウェイボ)型社内SNSとモバイルで始める社内の可視化
Googleのインフラ技術から考える理想のDevOps
[Cloud OnAir] AI の力で次世代型コンタクトセンターへ 〜 Contact Center AI ソリューションにおけるジェネシス・ジャパン...
『Mobageの大規模データマイニング活用と 意思決定』- #IBIS 2012 -ビジネスと機械学習の接点-
Microsoft MVP x Passion for community
【16-E-4】残業ゼロで開発スピードが10倍に!もう元の開発体制には戻れないデンソー流のアジャイル開発
明日の開発カンファレンスパネル
プロトタイピングツール投入のケーススタディ
Developer Summit Summer 2013 C1セッション CA Technologies
会話型UI事始め
2018/07/26 Game change by Deep Learning and tips to make a leap
夏サミ 2013 A2 セッション資料 #natsumiA2
アジャイル開発の失敗とカイゼン
Ad

More from Takashi Suzuki (9)

PDF
到着予想時間サービスの特徴量のニアリアルタイム化
PDF
AI予約サービスのMLOps事例紹介
PDF
Kubernetes超入門
PDF
MLプロジェクトのリリースフローを考える
PDF
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
PDF
GOの機械学習システムを支えるMLOps事例紹介
PDF
MOVの機械学習システムを支えるMLOps実践
PDF
タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて
PPTX
MOV お客さま探索ナビの GCP ML開発フローについて
到着予想時間サービスの特徴量のニアリアルタイム化
AI予約サービスのMLOps事例紹介
Kubernetes超入門
MLプロジェクトのリリースフローを考える
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
GOの機械学習システムを支えるMLOps事例紹介
MOVの機械学習システムを支えるMLOps実践
タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて
MOV お客さま探索ナビの GCP ML開発フローについて

Recently uploaded (6)

PDF
カメラSOC市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
PDF
LEDビジョンレンタル市場規模の成長見通し:2031年には1934百万米ドルに到達へ
PPTX
Qlik Talend Cloud による RAG パイプライン(検索拡張生成パイプライン - ナレッジマートによるベクトル化とストア連携の紹介 -.pptx
PDF
ジフェニルホスフィンオキシド市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
PDF
高所作業プラットフォーム業界の上位メーカーランキング2025:市場シェアと売上推移の分析レポート
PPTX
【Qlik 医療データ活用勉強会】Qlikデータソン医療関連アプリの紹介、DPC分析ツールキットの提供
カメラSOC市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
LEDビジョンレンタル市場規模の成長見通し:2031年には1934百万米ドルに到達へ
Qlik Talend Cloud による RAG パイプライン(検索拡張生成パイプライン - ナレッジマートによるベクトル化とストア連携の紹介 -.pptx
ジフェニルホスフィンオキシド市場:世界の産業現状、競合分析、シェア、規模、動向2025-2031年の予測
高所作業プラットフォーム業界の上位メーカーランキング2025:市場シェアと売上推移の分析レポート
【Qlik 医療データ活用勉強会】Qlikデータソン医療関連アプリの紹介、DPC分析ツールキットの提供

[Gree] Dialogflowを利用したチャットボット導入事例