
ほーりーふぉっくす
5K posts

ほーりーふぉっくす
@Holy_fox_LLM
08 | 高校生 | LLMエンジニア (専門は合成データとRLAIF, AIキャラクター)| JOAI 2026 日本二位
コンピュートと想像力で世界を拡張する Katılım Ocak 2023
339 Takip Edilen4.8K Takipçiler
Sabitlenmiş Tweet

AItuber向けのモデルを新しく作成しました!
SDG_LOOMで作成したデータ130kを含む175kのデータでトレーニングされたモデルになります!
寄り添うような雑談・より自然な日本語スタイル・適切なMarkdown出力ができるようなモデルになります!
huggingface.co/DataPilot/Arro…
日本語
ほーりーふぉっくす retweetledi

おさらいも兼ねて(笑) 下記仮想AITuberのペルソナデータから任意の人を選んでお題について喋る…と言うPromptをLLMで生成。ルックス、喋り方など画像/I2VするPromptを出力します。これはindex=10の子。お題は”好みの男性のタイプは?”。Grok API 720p@15秒からフルHDへUpscale。需要があればgithub公開しますw
@Holy_fox_LLM
huggingface.co/datasets/DataP…
Photogenic Weekend@PhotogenicWeekE
同じくindex=10。”好みの男性のタイプは?”。このバージョンはペルソナデータから話し方?推測を追加。訳すと”えー、めっちゃ生意気なトーンで、スラングばっかり使って、ちょっと高い声で、遊び心たっぷりな強調を混ぜて、関西弁も少し入れてね!”…ってなってるが、Promptとして効いてるか?は不明(笑) < 少なくとも関西弁は入ってない。そんなのLTX-2.3知ってるわけなくw
日本語
ほーりーふぉっくす retweetledi
ほーりーふぉっくす retweetledi

AI VTuber200人分のキャラクター設計に使えるデータセット「AItuber-Personas-Japan」が公開中
gigazine.net/news/20260324-…
日本語
ほーりーふぉっくす retweetledi
ほーりーふぉっくす retweetledi

Introducing TurboQuant: Our new compression algorithm that reduces LLM key-value cache memory by at least 6x and delivers up to 8x speedup, all with zero accuracy loss, redefining AI efficiency. Read the blog to learn how it achieves these results: goo.gle/4bsq2qI
GIF
English
ほーりーふぉっくす retweetledi

Sakana Chatの公開です!
今回開発した「Namazu」モデルは、DeepSeek-V3.1等のオープンLLMに事後学習を適用したものです。優れた性能を維持しながら、日本での利用に適した振る舞いをします。Web検索機能についてもよく作り込んでいるので、日常用途には十分実用的だと思います。是非お試し下さい。
Sakana AI@SakanaAILabs
🐟 Sakana Chat 公開 🐟 Sakana AIは、Sakana Chatを無料公開しました。 chat.sakana.ai Web検索機能と高速レスポンスを備えたAIチャットです。日本国内から、どなたでもお使いいただけます。ぜひ、お試しください。
日本語
ほーりーふぉっくす retweetledi

🐟 Sakana Chat 公開 🐟
Sakana AIは、Sakana Chatを無料公開しました。
chat.sakana.ai
Web検索機能と高速レスポンスを備えたAIチャットです。日本国内から、どなたでもお使いいただけます。ぜひ、お試しください。
GIF
日本語
ほーりーふぉっくす retweetledi

AItuber向けのモデルを新しく作成しました!
SDG_LOOMで作成したデータ130kを含む175kのデータでトレーニングされたモデルになります!
寄り添うような雑談・より自然な日本語スタイル・適切なMarkdown出力ができるようなモデルになります!
huggingface.co/DataPilot/Arro…
日本語
ほーりーふぉっくす retweetledi

z aiのIRだと一カ月で100億円計算機代だけでかかってるらしいから、めっちゃ現実的なのでは?
Odashi@odashi_t
360日で計算していた。158億円かな? この計算ではABCI本体に関する補助は考慮してないので、国から見た場合の支出はこの何倍か、といったところですかね
日本語
ほーりーふぉっくす retweetledi

手元の実験結果では、ABCI 64ノードで300B-A30B相当(Qwenの一番大きい奴程度)を1か月学習するとおおよそ1.28T tokens進みます。ABCIは766ノードあるので、このうち512ノードを投入するとして、通信オーバーヘッドで2倍の計算時間、総学習量を30T tokensとした場合、約半年で学習が終わります。
Odashi@odashi_t
この人の周囲にはよく分からん言い訳をする人が多いみたいですが、ひとまずABCIを1年運用できればフラグシップモデル相当が作れる計算力は手に入るので、たかがその程度であれば先進国の予算規模で投資を考えない方がおかしい、くらいに思っています。
日本語

@alfredplpl vLLMも普通に使われてはいるんですけど、自分が作りたいような合成データを作成するようなワークロードではこっちの方が速度出るんですよね。
xAIとかは完全にSGLangですし
日本語
ほーりーふぉっくす retweetledi

@alfredplpl SGLangです!
(大規模並列用途では)それしか使ってないです。
まあ、ランタイムは用途に合ったものを選ぶのが一番ですけど...
日本語



