webbigdata

@AmyNoteApp 煽ってる風になっちゃうので私が敢えて使わなかったその3文字に気づいてしまいましたか そう、結局、情報を検索した後に何かに使うわけで、幻覚のリスクはありますが、使う部分も含めてLLMに全部やって貰う方がシンプルって事になっちゃいそうなんですよね

@webbigdata 「週報に雑に検索」が実は最強のRAGかもしれないですね。構造化されすぎたDBより、現場の生の言葉のほうがコンテキストが豊かで、LLMとの相性が良い。

Qwen3.5の日本語特化GGUF量子化版の9B版も公開しました 添付は店長からの指示、店情報やナレッジ、天気予報(本物)に基づいて、スーパーの店内放送を生成する関数呼び出しのデモです Q4_K_XL.gguf(5.6GB)を、AMDのiGPU付きのMiniPC(つまりNvidia GPUなし)で動かしています

@emile_suzuno ホントにびっくりですね～

@webbigdata 今の時代9Bでここまでいけるんですねー

@AmyNoteApp いやぁ、本当に凄い時代にいつの間にかなってましたね。ナレッジDBとかっこよく名前をつけてますが、週報に雑に検索かけるだけでもAIがそこそこいい感じにやってくれそうで、店舗独自の超ローカルネタを有効活用できそうです

@webbigdata Nvidia GPUなしのミニPCでこの品質はすごい。店舗ごとにナレッジをローカルに持てるのがポイントで、クラウドAPIだと絶対にできない「天気×在庫×店長のクセ」みたいなコンテキストが活きますね。

@pippibird115 ありがとうございます Qwen3.5は温度を高めにして詳しい情報を与えないと、思考のループに入ってしまう傾向があるのと、エージェント動作を強く意識して作られている気がするので、留意してぜひ有効活用してあげてください

素晴らしいモデルをありがとうございます UM880 MiniPC へLM Studio 上に dahara1/Qwen3.5-9B-UD-japanese-imatrix の Q8-K-XL をインストールして動かしてみています とても良いです👍

モデルはこちら デモの出来は素晴らしいですが、ツールチェーンは実は最先端のClaude Opus級の商用モデルでも100%ではなくて、途切れてしまったり、フォーマットが崩れる時はあります プロダクトレベルまで持っていくには、まだまだエンジニアリング努力が必要と思います huggingface.co/dahara1/Qwen3.…

@ohisam_ai 100%ではないのですが、忘年会の日程調整を依頼されると、OKな曜日と好みの食事を５人にメッセージツールで聞いて、お店を検索ツールで検索して、予約ツールで希望日を予約する、というシミュレーションも割とできていました、驚きです

@webbigdata grepを2回挟んでるところ、速さよりも「手元でちゃんと探しにいってる」感じがちゃんと残ってて、そこがすごく良いですね🙂 2.8GBのQwen3.5 4Bでここまで返るなら、自分のPCに置く最初の1本としてかなり気になります…！

この感動、伝わるでしょうか、LocalLLMが自律的にツールを使ってくれたという実感を初めて強烈に感じたデモです 早すぎてわかりにくいのですがgrepを2回使ってくれてます 日本語特化GGUF量子化版 dahara1/Qwen3.5-4B-UD-japanese-imatrix/Qwen3.5 4B Q4_K_XL(2.8GB) ローカルAIエージェント時代到来

@AmyNoteApp そうですね、4Bでここまでとは予想外でした 明日以降に9Bと2Bまではアップロードするのでお楽しみに

@webbigdata 2.8GBでツール呼び出しまでできるのは衝撃。クラウドAPI依存から脱却できる未来が見えてきた。

ドキュメントはまだ書き途中ですが、モデルは以下で公開しています 上のデモスクリプトも清書してからアップしておきます huggingface.co/dahara1/Qwen3.…

Webbigdataが公開した合成音声モデルVoiceCoreを採用した提案が経産省GENIAC-PRIZEの「カスタマーサポートの生産性向上」の決勝に進出されたそうです おめでとうございます 我々の提案(VoiceCoreは使ってない)は予選落ちしたので少し複雑な気持ちなのですが4/14(火)の成果発表キャラバンは出展予定です

「LLLMが指示に従う能力」を計測するベンチマークも、細かく項目を見ていくと、 hiragana_only no_hiragana no_period などの文字制約系があって、日本語をある程度理解しているモデルの方が苦戦する気はします no_hiragana制約受けて容赦なく英語で返答してるモデルを見ると、うむ？ってなります

これを機にYouTubeやライブ配信デビューを考えてる方にお薦めのチャンネルもご紹介！ webbigdata配信データ研究所は週に一回、YouTube チャンネルを伸ばす方法をマジメに研究して動画投稿してます WeaveCastStudio はこのチャンネルを中心に発展していく可能性が高いです @webbigdata6213" target="_blank" rel="nofollow noopener">youtube.com/@webbigdata6213

chatGPTやClaude、Geminiなどに聞けばセットアップもそんなに難しくはなく、モジュール毎にフォルダをわけているから、バイブコーディングも比較的しやすいのではないかと思います YouTube ライブやTwitch、vtuber、aituberなどをやっている方は参考にしてみてください github.com/webbigdata-jp/…

配信を手伝うAIエージェントのGemini版「WeaveCastStudio」を公開しました １）AIがクラウド上でニュースを常時収集 ２）収集したニュースを動画化 ３）ライブ配信時に音声会話に基づいてAIが適切なコンテンツを再生 WeaveCastStudioを使うと１人で報道番組をライブする事が可能(画像は未来の理想形)

ツール利用のベンチマーク(BFCL)には「利用可能なツールとしてWebサーチを定義した上で、知識を問う」問題がある しかしプロンプト内には特に「ツールを使って答えて下さい」とは書かれていない場合があり、賢いモデルは自分の知識で答える事ができてしまうので、その結果ベンチマークスコアは下がる

Claude 3 2026 usage promotion 2026年3月14日（土）〜 3月28日（土）午後4:59 オフピーク(日本時間の午前3時〜午後10時)は5時間ごとの使用量上限が２倍になり、この時間帯に使用した追加の使用量は週間使用量制限に含まれない 対象プランはFree、Pro、Max、Teamのみで、Enterpriseプランは対象外

M-IFEval(指示に従う能力)はどの層を重点的に量子化するかの影響が結構大きく出ます BFCL(関数呼び出し能力)はSingle Turnしかやってませんが、びっくりするほど差が出ませんでした 後者はもしかして知識を問うベンチマークとみなすべきなんでしょうか？ サボらずログ確認の必要ありますね、あ、はい

Qwen 3.5公式版では0.8B、2BのreasoningがディフォルトOFFなので明示的にONしないとthinkingしない UnslothのGGUF版はchat_template.jinjaを改良しておりその中で0.8B、2B、4B、9BのreasoningをディフォルトOFFしてる 更にllama.cpp/issues/20182でreasoningがオフできない報告があり諸々カオス状態