soonraah

力こそパワー

Databricks へのデータ基盤移行についてのブログを書きました。 「あいつずっと移行してんな」とか思われてそうだけど終わったよ！ soonraah.github.io/posts/ordinary…

大量の自然言語のドキュメントをコード様に管理・運用するの、なかなかハードだなって思っちゃう

スタンバイ様に、データ基盤移行についてのブログを書いていただきました🌟🌟 Athena/Glue から Databricks への移行にあたり、成熟度アセスメントや利用者アンケートで課題を丁寧に可視化されたうえでの技術選定プロセスがとても読み応えあります。ぜひご覧ください✨ ▶︎techblog.stanby.co.jp/entry/databric… 🔹データマネジメント成熟度アセスメントと利用者アンケートを実施 🔹データ統合、リネージ、KPIの不一致、データ品質など5つの重点課題を明確化 🔹実ワークロードを使ったPoCで、コスト・開発体験・ガバナンス・AI活用などを比較 🔹オープンなデータ管理、約3割のコンピューティング費用削減見込み、AI活用を評価しDatabricksを採用 🔹dbt × Databricks SQL、Unity Catalog、Lakeflow Jobsを中心とした新基盤へ移行 技術選定だけでなく、社内利用者を巻き込んだ移行の進め方や、Athena SQLをDatabricks SQLへ変換するツールを活用した工夫まで、実践的な知見が詰まっています。 データ基盤刷新を検討されている方に、ぜひ読んでいただきたい記事です✨ #Databricks #データ基盤 #データエンジニアリング

さらっとお話いただいてるけどすごい #DataEngineeringStudy

「大規模データ管理」でもドメイン駆動の考え方とデータメッシュ的なアーキテクチャの関係が書かれてましたね！ oreilly.co.jp/books/97848144… #DataEngineeringStudy

ステークホルダーに理解してもらうのは難しいですね #DataEngineeringStudy

@tendon0 前回に引き続き「エンジニアリング戦略の作り方」を読みます

本日19:00からデータエンジニア向けもくもく会を実施します！本ポストにリプで取り組む内容を共有してください。20:00までは各自作業、20:00にXでスペースを開きますので、そこで取り組んだ内容の共有をお願いする予定です。「〜を読んだ」など一言でもOKです！ #de_mokumoku_study

コンウェイの法則ってデータモデルにも効いてくるんだろうなー

大規模な dimension table (not fact table) を持つようなビジネスモデルが AI 時代に強いのではという仮説

弊社もやっと「データモデリング大事だよね」みたいな話が少しできるようになってきた。やっと。

「AI がデータの民主化を劇的に進めている」みたいなポストを見たけど、まあそうなんだけど、ツール以外も含めてそのための下地を作ってる人がいるんですよ。 その Genie がなぜ御社のビジネスの言葉を理解できるんでしょう。

Genie やっぱ便利だな。 workspace のネットワークメンテのために外部システムから Databricks にアクセスされてない時間帯を調べたい、みたいのがぱっとできてしまう。

@tendon0 こちらを読みます。 oreilly.co.jp/books/97848144…

本日19:00からデータエンジニア向けもくもく会を実施します！本ポストにリプで取り組む内容を共有してください。20:00までは各自作業、20:00にXでスペースを開きますので、そこで取り組んだ内容の共有をお願いする予定です。「〜を読んだ」など一言でもOKです！ #de_mokumoku_study

近年目の疲れが本当につらい。 中高年のソフトウェアエンジニア…というかモニタ見る仕事してる人はどう対策してんの？

@tendon0 乗り遅れたのでリスナー参加します 🙇‍♂️

本日19:00からデータエンジニア向けもくもく会を実施します！本ポストにリプで取り組む内容を共有してください。20:00までは各自作業、20:00にXでスペースを開きますので、そこで取り組んだ内容の共有をお願いする予定です。「〜を読んだ」など一言でもOKです！ #de_mokumoku_study

Databricks のプラットフォームに乗って地道にデータを整備していけば世界が update されていくという世界観。 いい。

> Pag​​eRankと同様のアプローチを採用し、Genie Ontologyは定義の出典、その情報源の作成者の相対的な権威、その定義がどれだけ頻繁に利用されているか、認証済みで広く使用されているアセットとの関連性、そして定義の鮮度などを考慮します。

Genie Ontology すごそう。 table, query, dashboard, pipeline 等々から自動的に抽出するらしい。 databricks.com/blog/introduci…

若手が生成 AI の言う事をノールックでアウトプットしてくるのいつも注意していたんだけど、今は「Fable だったらちゃんと見なくていいか」みたいな気持ちになっており。 AI が自分と比較してどのレベルかによってそうなっちゃうのかなと。 若手が信じちゃってたのはこういう感じだったのかと。