difyにBIツール繋いでみた
はじめに
こんにちは。SHIFTの基盤開発チームの佐藤です。
皆さん、dify を使っていて「このデータ、もう少し詳しく分析できたらな」と思ったことはありませんか？蓄積されたデータの詳細な監視や、利用頻度、QA の履歴などを深掘り等々。しかし、dify のデフォルト機能では、ちょっと物足りないと感じることがあるかもしれません。
そこで今回は、BI ツール「Metabase」を dify に接続し、さらに便利な分析環境を構築した体験を共有します！
(本記事を、dify、Metabase 導入の説得材料としても、是非ご利用下さい)
dify とは
概要
LLMを利用したAIアプリの構築を支援するプラットフォームです。
開発プロセスを効率化するために、Backend-as-a-ServiceとLLMOpsを組み合わせ、開発者だけでなく技術知識の少ないユーザーにも利用しやすく設計されています。
Difyには、AIワークフロー、RAG（Retrieval-Augmented Generation）パイプライン、モデル管理、エージェント機能などの機能が備わっており、プロトタイプから本番運用までスムーズに進められます。
様々なLLM（GPTなど）をサポートし、直感的なローコードインターフェースを提供します。
https://docs.dify.ai/
OSS版は無料で利用できます。今回はOSS版を利用しました。
分析・監視できること
個々のチャンクの参照頻度
QAの履歴の絞り込み
ただし、絞り込み条件は、以下の通りに限定されます
予め定められた、過去の期間
注釈の有無
回答文に対する、自由入力による検索
1000回分の回答辺りの、いいね、の数
日毎の質問回数
日毎の利用者数
etc ...
分析・監視の画面の具体例
分析・監視できないこと
ナレッジ単位の分析
例：ナレッジ毎の参照頻度
ナレッジ内の個々の質問の参照回数の合計値。都度計算するのは手間。
「ユーザーはどのカテゴリに興味があるのか」の傾向を知る事が出来る。
例：ナレッジ毎の満足度
満足度が低い場合、ナレッジ管理者にその旨を知らせるきっかけになる≒品質改善
質問に回答できなかった、の履歴
ユーザー個々の利用頻度
回答を生成する際、どのチャンクを参照したのか
Metabase とは
概要
OSSのビジネスインテリジェンス（BI）ツールです。
データベースにクエリを実行し、ダッシュボードやレポートを作成するためのプラットフォームとして広く使われています。
技術者だけでなく、SQLの知識がないビジネスユーザーでも簡単にデータを分析できるように設計されています。
https://www.metabase.com/
OSS版は無料で利用できます。今回はOSS版を利用しました。
できること
SQLクエリの実行
SQLの知識があれば、複雑な分析を行うこともできます。
よって、dify の「分析・監視できないこと」の全てをカバーできます。
作成したクエリを保存し、他のユーザーと共有することも可能です。
テーブル・グラフの作成
クエリの実行結果を用いて、さまざまな形式でビジュアライズできます。（具体例は後述）
ダッシュボードの作成
複数のグラフや表を一つのダッシュボードにまとめる事が出来ます。
リアルタイムのデータ監視やビジネスKPIのトラッキングが可能です。
レポート作成
作成したグラフや表をPDFやExcel形式でエクスポートし、レポートとして利用できます。
権限管理
ユーザーごとに閲覧・編集の権限を設定することができ、データのセキュリティとプライバシーを確保します。
グラフ・クエリの具体例
効果
ナレッジの参照頻度
どのナレッジが頻繁に参照されているか。
逆にどのナレッジがほとんど見られていないかを把握できます。
これにより、ユーザーがどの情報を重要視しているかをより明確に理解できます。
QA の履歴の絞り込みと、品質向上
質問の傾向や、過去の履歴を細かく分析することで、ユーザーがどのような情報を求めているか、またどこに課題があるのかを把握することができます。
例えば、「回答できません」と回答している履歴を絞り込むことで、優先的に登録すべきQ&Aデータを明らかにできます。
結果、品質向上につながります。
ユーザーの利用頻度
誰がいつ、どのくらい頻繁に dify を使っているのか、等を把握することで、ユーザー行動の全体像を掴むことができます。
なぜこのユーザーは利用回数が少ないのか、多いのか、等を調査する足掛かりになります。
まとめ
dify に Metabase を繋ぐことで、データの監視や分析が一段としやすくなりました。ナレッジ参照頻度や QA 履歴、ユーザー利用頻度といった、dify のデフォルトでは提供されていない詳細な情報を可視化できる点が大きなメリットです。
dify の AI 機能と BI ツールの強力な分析力を組み合わせて、より良いサービス運営を目指してみてはいかがでしょうか？
備考
dify 関連の他の記事もどうぞ。
Difyの社内勉強会を開催したらすごい人で嬉しかったけど、ちょっと考えさせられた
執筆者プロフィール：佐藤 翔太
社会人4年目、SHIFT2年目。
前職では、SESとしてクラウド請求書発行システムの開発に従事。現在、PoCの開発を担当している。
日々答えの無い課題に四苦八苦しながら、技術による課題解決にやりがいを感じている。
趣味は楽器（ギター、ベース、ドラム）。
いつかオランダに住みたい。
お問合せはお気軽に
https://service.shiftinc.jp/contact/
SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/
SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/
SHIFTの導入事例
https://service.shiftinc.jp/case/
お役立ち資料はこちら
https://service.shiftinc.jp/resources/
SHIFTの採用情報はこちら
https://recruit.shiftinc.jp/career/
PHOTO：UnsplashのChris Liverani