surimi

Data Engineering Design Patterns 3章「エラー管理のデザインパターン」ついて、 watermark や遅延データ、at-least-once 配信といった概念を整理した記事を書きました 📝 ストリーミングデータをふだん扱わない人も章が読みやすくなるよう、図解つきで説明しています！ zenn.dev/bare64/article…

オントロジは2000年代にセマンティックウェブ、RDF、第一次知識グラフブームの時に流行ったやつで、グラフ表現がAIエージェントの推論に使えるというので、グラフDBともに再ブーム中。 40代以降くらいの人にとっては、何度でもわれわれ人類に立ちはだかるのかノストラダムス (MMR みがある

最近話題の「オントロジー」について、データエンジニア視点で解説する記事を書いてみました！ オントロジーが必要とされる背景・Semantic layer やデータモデリングとの違いなどを中心にまとめてみました ぜひ読んでもらえると嬉しいです！ zenn.dev/bare64/article…

DuckLake の "data inlining" 機能の解説 細かいデータ更新ではすぐParquet に書き込まず、いったん catalog に貯めてからファイルに書き出すので small files 問題を回避する

やっと Linear の code block で line wrapping ができる… まじで一生求めてた

late to the party but in-brain columnar storage SENT me 😂😂

Claude Code でローデータを「見せていい」がいつの間にかローデータを「クエリできる」にぬるっと変わってしまったので、このアンチパターンに最近ちょっと悩んでる (権限設計をちゃんとやりましょうという話ではある)

さっそく Dynamic Workers が使われてる

serialization あるからちゃんと Server Actions で使えるのうれしいなこれ

LとRの対比がセンスよすぎるw 前に HubSpot の reverse ETL をがんばって書いてたけどこういうのあったら便利だったかも

dbt Labs が Snowflake x Databricks のマルチプラットフォーム構成で Iceberg テーブルの双方向読み書きを検証した記事 ・運用時はIceberg テーブル数・freshness 要件の考慮が必要 ・read はすでに十分速いが、書き込みの反映が遅いことも docs.getdbt.com/blog/catalog-l…

いつからか分からないんだけど、Cloud Run の一覧画面に各サービス・ジョブのコストが出るようになっててうれしい

Lightdash の BI as Code 、実際 UI でできることがだいたい表現できるのか気になってる #DataEngineeringStudy

ADR に superceded ステータスあるの知らなかった 過去のやつ見ると「これ今もそうなんだっけ？」が謎な問題はこれで解決しそう

OSS の Analytics Agent の「nao」良さそう テスト・chat UI・Slack 接続などとりあえずほしいやつが丸っと入ってるし、 デプロイも Cloud Run でかんたんにいけそうな雰囲気があるのもよい

remote control 通知ないのおま環かと思ったけど、イシュー立ってたからまだ自前ワークアラウンドしかなさそう github.com/anthropics/cla…

Claude Code x Telegram やってみてセットアップはかんたんだった 微妙なところ - Claude code でセッションをオプションつきで起動するのがちょっとめんどい - 一度に扱えるのは1 session 良いところはremote control と違って通知が来るところ

Lightdashに入門しました。手始めにvalidationしたかった。 zenn.dev/y2000/articles…

> 蓋然性が高くないことは最終形にはなりません たしかに自分も良く「〇〇になることってありそうですか？」とか「〇〇したいって言われそうじゃないですか？」は言ってるな

LLMを利用したワークフローの事例を、 @surimi_22 が紹介してくれました！ 課題聞き取りから解決策の実装までの鮮やかな流れを説明頂いて、大変勉強になりましたmm zenn.dev/bare64/article…