Databricks Japan🧱 | DATA + AI Company

The Databricks AI Research Team が、みんなご存知Genie の技術的な現在地を解説した記事がでてました！ Genieの使い方じゃなくて、作り方（設計方法）がありました！ 一応、Genie は、Databricks のデータエージェントで、テーブルやダッシュボードから非構造化ドキュメントまで横断して自然言語で答えてくれるやつです。 汎用コーディングエージェントと違う課題がありました。まず、Scale of Data Discovery、これは数百万規模の構造化・非構造化アセットがあり、従来の検索手法では追いつかないこと。そしてSource of Truth の特定で、メタデータや社内ドキュメント・内部メッセージは古かったり矛盾していたりするので、どれが権威ある情報源かを判定する必要がありました。最後がLack of Verifiable Testsで、コーディングのようなテストで自動検証できず、そもそも答えが存在するかも分からないの 3つがありました。 技術的進化は 3つの軸で、Specialized Knowledge Searchは、既存資産からセマンティックな企業文脈を引き出して複数の検索インデックスを並列で叩く専門検索のための機構によってtable discovery ベンチマークで最大 40% 改善しています。複数の実行を別々にサンプリングして集約する手法であるParallel ThinkingでGPT-5.4とOpus-4.6を両方使い精度向上を実現。Multi-LLMは、Opus / GPT / Gemini などのSOTAモデルや OSS、カスタムモデルなどを、計画・検索・コード生成・判定などサブエージェントごとに割り当てる構成もとっており、プロンプトもGEPAという最適化手法でチューニングしています。 社内のベンチマークでは、leading coding agent の32%から90%超まで精度を引き上げ、同時にコストとレイテンシも削減できているということです。よくある例として、複数ダッシュボード間で食い違ってしまう収益スパイクを「並列発見 → 調査→ 自己修正・整合 → 検証」などの多数のフェーズで解く流れが示され、エージェントが単発の質問に答えるシンプルな物から複数視点で自己検証する高度なものへと進みつつあるのが見えてきます！ Genieを使いたい方はもちろん、データエージェントを作りたい！という方の参考になればと思います！

The Databricks AI Research Team が、みんなご存知Genie の技術的な現在地を解説した記事がでてました！ Genieの使い方じゃなくて、作り方（設計方法）がありました！ 一応、Genie は、Databricks のデータエージェントで、テーブルやダッシュボードから非構造化ドキュメントまで横断して自然言語で答えてくれるやつです。 汎用コーディングエージェントと違う課題がありました。まず、Scale of Data Discovery、これは数百万規模の構造化・非構造化アセットがあり、従来の検索手法では追いつかないこと。そしてSource of Truth の特定で、メタデータや社内ドキュメント・内部メッセージは古かったり矛盾していたりするので、どれが権威ある情報源かを判定する必要がありました。最後がLack of Verifiable Testsで、コーディングのようなテストで自動検証できず、そもそも答えが存在するかも分からないの 3つがありました。 技術的進化は 3つの軸で、Specialized Knowledge Searchは、既存資産からセマンティックな企業文脈を引き出して複数の検索インデックスを並列で叩く専門検索のための機構によってtable discovery ベンチマークで最大 40% 改善しています。複数の実行を別々にサンプリングして集約する手法であるParallel ThinkingでGPT-5.4とOpus-4.6を両方使い精度向上を実現。Multi-LLMは、Opus / GPT / Gemini などのSOTAモデルや OSS、カスタムモデルなどを、計画・検索・コード生成・判定などサブエージェントごとに割り当てる構成もとっており、プロンプトもGEPAという最適化手法でチューニングしています。 社内のベンチマークでは、leading coding agent の32%から90%超まで精度を引き上げ、同時にコストとレイテンシも削減できているということです。よくある例として、複数ダッシュボード間で食い違ってしまう収益スパイクを「並列発見 → 調査→ 自己修正・整合 → 検証」などの多数のフェーズで解く流れが示され、エージェントが単発の質問に答えるシンプルな物から複数視点で自己検証する高度なものへと進みつつあるのが見えてきます！ Genieを使いたい方はもちろん、データエージェントを作りたい！という方の参考になればと思います！