Sabitlenmiş Tweet
Hiroaki SANO
8K posts

Hiroaki SANO
@hiroakis_
A payment processing engineer / Estudio español / A chef dad
Katılım Temmuz 2009
83 Takip Edilen1.1K Takipçiler

ほほう... / 宣言的スキーマ管理ツール pistachio を作成しました|Genki Sugawara zenn.dev/kanmu_dev/arti… #zenn
日本語
Hiroaki SANO retweetledi
Hiroaki SANO retweetledi

去年の9月にメディアに大きく取り上げていただいた、LLMの 1bit量子化技術を OneCompressionテクノロジーとしてOSS化しました。(URLはリプライに記載します)
AI研究者にとっては釈迦に説法ですが、AIの世界ではGPUメモリが足りなさすぎるので、いかにメモリを節約するかというのがキーテクノロジの1つ。最初はふつうにFP32で行列計算していたのが、NVIDIA GPUが2020年のAmpereからBF16サポート、2022年のHopperからFP8サポートと、低精度サポートに進んで来ました。
単に低精度レジスタ使うだけだと計算精度がボロボロになるため、ソフトウェア面の研究も競争が進んでおり、去年の段階で4bitぐらいならまあいけるかなぐらいの世界になっていました。
というところで、富士通が2025年9月に1bit量子化で実用的な精度でるって発表して話題をさらったというのが、ここまでの話。
それで、この技術のキモは1bitで動くことじゃなくて任意のbit数で精度落ちを防ぐところにあるため、
result = estimate_wbits_from_vram(MODEL_ID, total_vram_gb=0.8)
みたいにRAMサイズ指定すると、そのRAMに収まるようにいい感じに精度落すところと高精度のままにするところとを調整してくれるAutoBitを新たに搭載、特にEdgeやオンプレなどのGPUのRAMサイズに制約がある環境でLLMを数倍賢くすることが出来ました。
現在、Llama、Qwen3に対応済みです(仕組み自体にはモデル依存性がないため、今後対応モデルは増やしていけるとおもいます)
開発者たちが、パートナーや大学の研究者たちとの連携を加速していきたいのでフィードバック欲しいといっていますので、よければ使ってやってください。
※ 一応ですが,
onecomp
だけでいま動かしているGPUの使えるメモリ使用量を算出して, それに合うように量子化が動きます。
GIF
日本語

ほほう... / Bet AIから一年、AI活用の先に見えてきた次の組織のかたち|Matsumoto Yuki @y_matsuwitter note.com/y_matsuwitter/…
日本語

ほほう... / 宣言的スキーマ管理のためのデータマイグレーション|Genki Sugawara zenn.dev/kanmu_dev/arti… #zenn
日本語

書きをしました / 社内 AI エージェント Synapse を MCP サーバ化して Entra ID で認証する - カンム テックブログ tech.kanmu.co.jp/entry/2026/03/…
日本語

カンム、中小事業者向け分割あと払いサービス「サクっと分割」を加えBtoB事業を拡大 prtimes.jp/main/html/rd/p… @PRTIMES_JPより
日本語

ほほう… / Claude CodeのようなAI エージェントにEC2を安全に調査させるSSMガードレールの設計|Hiroki NAKASHIMA zenn.dev/applibot_tech/… #zenn
日本語

ほほう... / Datadog Monitorを使った非同期ジョブのスケーリング|Genki Sugawara zenn.dev/kanmu_dev/arti… #zenn
日本語

【祝】これにて私は廃業です / BigQueryに会話型分析機能(Conversational Analytics)が登場。詳細な分析レポート生成、将来予測や非構造化データの分析も可能に - Publickey publickey1.jp/blog/26/bigque…
日本語

ほほう... / Go言語のジェネリクスでS3バケットごとにClient型を分ける|Genki Sugawara zenn.dev/kanmu_dev/arti… #zenn
日本語
Hiroaki SANO retweetledi

書きをしました / データ分析を加速する AI エージェント Synapse の開発と運用 - カンム テックブログ tech.kanmu.co.jp/entry/2025/12/…
#はてなブログ
日本語
Hiroaki SANO retweetledi

OSS 活動をしました github.com/hiroakis/bb
どの確度から見ても自分しか使わないであろうツールを更新。公開したいと思ったらどんどん OSS にしていこう。
日本語

ほほう... / Go Conference 2025 Capture The Flag 公開 - カンム テックブログ tech.kanmu.co.jp/entry/2025/09/…
日本語
Hiroaki SANO retweetledi

自分は要件詰める時も設計時もプログラマ以外と業務フローの合意とるときもとにかく図を描くタイプの人間なのでこのような雰囲気で日本語の箇条書きを図にさせるようなことをしている github.com/hiroakis/uml-ai
日本語





