きしだൠ(K1S)

369.5K posts

きしだൠ(K1S) banner
きしだൠ(K1S)

きしだൠ(K1S)

@kis

楽しく仲よく

Katılım Mayıs 2007
20.4K Takip Edilen25.7K Takipçiler
Sabitlenmiş Tweet
きしだൠ(K1S)
きしだൠ(K1S)@kis·
サブスクリプション始めてみた。 2週に1回くらい技術まとめをやる予定。 あと、関連トピックの投稿をまとめます。 とりあえず、業務システム開発にスピードが求められてる話をまとめています。 x.com/kis/creator-su…
日本語
1
5
39
38.1K
Yoshinori Oota
Yoshinori Oota@oota_yoshinori0·
@kis なるほどー😳 これからはデータセンタに食われてしまいそうで心配ですね。
日本語
1
0
0
13
Yoshinori Oota
Yoshinori Oota@oota_yoshinori0·
九電とバニラビーンズのつながりがよく分からないけど、この新規事業を推進した担当した方々と、それを支えた経営陣に敬意を表したい。 社内ではいろいろ言われただろうなぁ。それを跳ね除けてやり切ったのスゴい!🤩
日経 九州沖縄@nkkyushuokinawa

九州電力、バニラビーンズの生産に成功 国内需要の9割輸入 nikkei.com/article/DGXZQO…

日本語
1
0
5
407
きしだൠ(K1S)
@MoanaCoast より整理されたJavaの仕様でも難しいのに、JavaScriptってかなり大変そう。。 仕様どんなのか見てみたけど、とりあえず、スクロールしても一生一番下にたどりつけない。。。 これ覚えるんですか? 262.ecma-international.org/17.0/index.html
日本語
1
0
0
185
もあな(無課金)
マジで一生JavaScriptの仕様覚えられん。 HTML5 L2取れんわこれ
日本語
1
0
0
193
きしだൠ(K1S)
@lynnlynn1 コーディング強いモデルはsparseアテンションで全体を見てるものが多いですね。 線形アテンションだとqwenにしろnemotronにしろうまくやれてないです。 スライディングだと変な見落としがある印象。でもプロンプトは効く。アホだけど素直。要約は強い。 フルアテンションはクソ重いけどちゃんと動く。
日本語
1
0
1
22
りんりん
りんりん@lynnlynn1·
@kis 原理原則的なものは小モデルでも正解率高いのと、coderモデルが比較的小モデルで使える、出力の自由度が低い、というぐらいの認識ぐらいなんですけれど。実際Coderってそんな広く見渡しているんでしょうか。エンバグしないようなメソッドを厳守してこつこつかいているのではないかと思ったり。
日本語
1
0
0
12
きしだൠ(K1S)
コーディングと他のタスクでアテンションに求められる能力が変わってトレードオフなので、一概に言わないほうがいいと思うな。 少なくとも、コーディングタスクが他の長コンテキストタスクと相関するというエビデンスはない気がするし、むしろ実感的には逆だし。
mizchi@mizchi

コーディングタスクは言語と論理構造のアライメントを通じて思考の分解性能を測るベンチマークであって、基本的にこれを見るべきだと思っています。極論言うなら他は自己改善達成後に副次的に獲得可能です。 Google がそれを無視してるわけがなく、遅れを取ってるのはダサいって話ですね

日本語
1
0
17
2.9K
きしだൠ(K1S)
LM Studioも、サーバーの実装の問題で、時間かかるタスクに対応できないな。llama.cpp直で動かす必要がある。
日本語
0
1
2
731
きしだൠ(K1S)
どのくらいの範囲を見るかなんですよねぇ。 数学は問題がめちゃ長いってことが少ないと思うんで、どのアテンションでもそんな問題ない気がするけど狭い範囲で集中できるほうがよさそう。1万トークンで記述される数学問題はそんなになさそう。 コーディングは広い範囲を見る必要があるので、 アテンションが薄れても3万トークンくらいちゃんと見渡せる必要があると思います。
日本語
1
0
1
25
りんりん
りんりん@lynnlynn1·
@kis 数学とかコーディングとかこねくりまわして作るものはattention勝負なのかなと思ったり
日本語
1
0
0
29
きしだൠ(K1S)
あ、Nemotron 3 Ultra読み込んだ状態でMistral Medium 3.5 を読み込もうとしたらMacおちた
日本語
0
0
1
835
きしだൠ(K1S)
Mistralも最近はモデルだしてないなーとか思ったけど、5月に3.5 Medium 128Bだしてたな。 そしてダウンロードして動かした気配がない。
日本語
0
0
1
789
きしだൠ(K1S)
@DaiMiyamoto1109 がんばれば動かせます。でもふつうにllama.cpp直のほうが楽です。 チャットテンプレートを完全に作りおこす必要がありました。で、ツール呼び出しは不安定です。 x.com/kis/status/206…
きしだൠ(K1S)@kis

To run GLM-5.2 on @lmstudio , the chat template can't be parsed since it uses namespace. Use this template insteed. --- [gMASK] {%- set enable_thinking=true -%} {%- set reasoning_effort = 'max' -%} {%- set effective_reasoning_effort = 'high' if reasoning_effort is defined and reasoning_effort == 'high' else 'max' -%} {%- if (enable_thinking is not defined or enable_thinking) and effective_reasoning_effort is not none -%}<|system|>Reasoning Effort: {{ effective_reasoning_effort | capitalize }}{%- endif -%} {%- if tools -%} {%- macro tool_to_json(tool) -%} {%- set filtered = [] -%} {%- for k, v in tool.items() -%} {%- if k != 'defer_loading' and k != 'strict' -%} {%- set _ = filtered.append('"' ~ k ~ '": ' ~ v | tojson(ensure_ascii=False)) -%} {%- endif -%} {%- endfor -%} {{- '{' }}{{ filtered | join(', ') }}{{ '}' -}} {%- endmacro -%} <|system|> # Tools You may call one or more functions to assist with the user query. You are provided with function signatures within XML tags: {% for tool in tools %} {%- if tool is not none and tool is mapping and 'function' in tool -%} {%- set tool = tool['function'] -%} {%- endif -%} {% if tool.defer_loading is not defined or not tool.defer_loading %} {{ tool_to_json(tool) }} {% endif %} {% endfor %} For each function call, output the function name and arguments within the following XML format: {function-name}{arg-key-1}{arg-value-1}{arg-key-2}{arg-value-2}...{%- endif -%} {%- macro visible_text(content) -%} {%- if content is string -%} {{- content }} {%- elif content is iterable and content is not mapping -%} {%- for item in content -%} {%- if item is mapping and item.type == 'text' -%} {{- item.text }} {%- elif item is string -%} {{- item }} {%- elif item is mapping and item.type in ['image', 'image_url', 'video', 'video_url', 'audio', 'audio_url', 'input_audio'] -%} {%- set media_type = item.type | replace('_url', '') | replace('input_', '') -%} {{- "You are unable to process this " ~ media_type ~ " because you don't have multi-modal input ability. Try different methods." }} {%- endif -%} {%- endfor -%} {%- else -%} {{- content }} {%- endif -%} {%- endmacro -%} {%- set last_user_index = -1 -%} {%- for m in messages -%} {%- if m is not none and m is mapping and m.role == 'user' -%} {%- set last_user_index = loop.index0 -%} {%- endif -%} {%- endfor -%} {%- for m in messages -%} {%- if m is not none and m is mapping and m.role == 'user' -%}<|user|>{{ visible_text(m.content) }} {%- elif m.role == 'assistant' -%} <|assistant|> {%- set content = visible_text(m.content) -%} {%- set reasoning_content = none -%} {%- if m.reasoning_content is defined and m.reasoning_content is string -%} {%- set reasoning_content = m.reasoning_content -%} {%- elif '' in content -%} {%- set reasoning_content = content.split('')[0].split('')[-1] -%} {%- set content = content.split('')[-1] -%} {%- endif -%} {%- if ((clear_thinking is defined and not clear_thinking) or loop.index0 > last_user_index) and reasoning_content is not none -%} {{ '' + reasoning_content + '' }} {%- else -%} {{ '' }} {%- endif -%} {%- if content.strip() -%} {{ content.strip() }} {%- endif -%} {% if m.tool_calls %} {% for tc in m.tool_calls %} {%- if tc.function %} {%- set tc = tc.function %} {%- endif %} {{- '' + tc. name -}} {% set _args = tc.arguments %}{% for k, v in _args.items() %}{{ k }}{{ v | tojson(ensure_ascii=False) if v is not string else v }}{% endfor %}{% endfor %} {% endif %} {%- elif m.role == 'tool' -%} {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %} {{- '<|observation|>' -}} {%- endif %} {%- if m.content is string -%} {{- '' + m.content + '' -}} {%- elif m.content is iterable and m.content is not mapping and m.content and m.content[0].type == "tool_reference" -%} {{- '\n' -}} {% for tr in m.content %} {%- for tool in tools -%} {%- if tool is not none and tool is mapping and 'function' in tool -%} {%- set tool = tool['function'] -%} {%- endif -%} {%- if tool is not none and tool is mapping and tool. name == tr. name -%} {{- tool_to_json(tool) + '\n' -}} {%- endif -%} {%- endfor -%} {%- endfor -%} {{- '' -}} {%- elif m.content is iterable and m.content is not mapping and m.content and m.content[0] is mapping and m.content[0].output is defined -%} {%- for tr in m.content -%} {{- '' + tr.output + '' -}} {%- endfor -%} {%- else -%} {{- '' + visible_text(m.content) + '' -}} {% endif -%} {%- elif m.role == 'system' -%} <|system|>{{ visible_text(m.content) }} {%- endif -%} {%- endfor -%} {%- if add_generation_prompt -%} <|assistant|>{{- '' if (enable_thinking is defined and not enable_thinking) else '' -}} {%- endif -%}

日本語
0
0
2
14
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
@kis glm-5.2は、ggufのなにかが動いたと思いますけど?めちゃくちゃ遅くて、Q4で性能はイマイチだったと思いますが。
日本語
1
0
0
20
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
moonshotaiはQ4もだしてくれるくらいコミュニティ対応や連携をかなりやってくれるので期待できる。 ただ、新アーキなのでそこが問題。GPU系はいいとして、mlxかな。前にkimi linearは対応してたから、あとはresidualか。その他にもいろいろある。今後のオープンコミュニティの2T以上対応の試金石だな。
日本語
1
0
1
947
きしだൠ(K1S)
@DaiMiyamoto1109 それならはやくGLM-5.2が動くようにしてほしいですね・・・。最近のモデル、llama.cppが対応しててもLM Studioからぜんぜん動かせないので。 クラスタに対応はするだろうけど、実用になるかというとWindows/Mac対応だと厳しいように思います。
日本語
1
0
0
32
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
@kis まあ、lmstudioの開発元は営利企業ですが、全く無駄な奉仕活動というつもりでもないのではないと、私は思います。1T以上のモデルが増えて、そういう需要が増える可能性があるという読みなのではないでしょうか?Macは安いですから。
日本語
1
0
0
21
きしだൠ(K1S)
@DaiMiyamoto1109 DwarfStartがDeepSeek系でSSDストリーミングなどllama.cppなどで無理なことを実装してたり、そういう盛り上がりのほうが。 MiniMax M3もぜんぜんマージされないし・・・ あと、LM Studioで動かすとテンプレートエラーってことも増えて、llama.cpp直じゃないとダメなものも当たり前になってきてます
日本語
1
0
0
56
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
@kis まあ、不完全でも今までなかったものが、最近対応が始まったなら前進ではないかと。オープンでの開発はそんなもんでしょう。それに呼応して、mimoもネイティブでMTP入りモデルを出したり、deepseekもDspark入りを出したり、最近の盛り上がりはとても良いと思いますが。
日本語
1
0
0
32
きしだൠ(K1S)
@DaiMiyamoto1109 ハードウェアがなんらかクラスターになったものが前提になって、PC一台で動かすものでもなくなっていて、そうなるとLM Studioの守備範囲でもなくなるし、そういう環境もってる人はみんなふつうにvLLMで動かしてるし、観測範囲でllama.cppでクラスターをがんばる人も見てないです・・・
日本語
1
0
0
21
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
@kis 現実として1Tやそれを超える、1.6T、2.5Tなどのオープンモデルが増えているのは明らかで、lm studioもクラスター対応予定など、需要も供給も増加傾向にあると思いますが、いかがでしょうか?まあ、狭い世界の話ですけど。
日本語
1
0
1
20
きしだൠ(K1S)
@DaiMiyamoto1109 MTPってだいぶ前から対応モデルあったけどGoogleがいいだして慌てて実装した、という感じが。 そういった投機実行の仕組みやKV圧縮の仕組み、SSDオフロードなど、共通化ができず劣化版がllama.cppなどで実装されてる状況な気が。 特にllama.cppは固定GPUグラフが前提で、なかなか厳しそう
日本語
1
0
0
23
Dai Miyamoto
Dai Miyamoto@DaiMiyamoto1109·
@kis AIのサポートやエコシステムの拡大で、コミュニティの状況はむしろよくなっていると私は思います。最近だとMTPなんかはかなり早く対応してます。しかし、今年のllmのアーキの変更がドラスティックかつ量が一気に増えすぎてるのが単に問題か思います。そのうち何とかなると私は楽観的です。
日本語
1
0
0
25
きしだൠ(K1S)
共通基盤みたいな部分こそLLMが得意で用途にあわせてやってくれるので、そういった基盤を与えてくれていた中心的OSSにコミットして自分に必要な機能を追加していくモチベーションがなくなっていってるんだよな。 自分に関係ない機能との整合性を保つために時間をかけるより、自力でやるほうがいい
日本語
0
2
18
1.9K