ChatGPT驚き屋/JunnosukeTachibana

AIの変化、変動を同一条件の回答から読み解く 23年7月から各種AIで約5万回同一条件の再生成 数日レベルのエラーから、モデルごとの特徴 ベンチマークじゃわからない性能 新旧モデルの比較でこれからのAIまでも読み解く（過言 検証方法は↓ note.com/gpt4_forecast/…

うーん他のタスクも投げたがデータ増えてるのに木曜前の回答時間か いまのpro信用ならんな はい、5.5来るか5.4proにテコ入れこないとキレます

うーんGPT5.4proの回答早すぎ解決しねぇなぁ

@Masimo_Blue @REI_misora 厄介ファン経験してないからナメてるんだゾ

@smartAINews @REI_misora Opus 3を復活させた件についても完全に当てつけですしね。 でも勘違いされるとあとで困るのはAnthropicだぞ？w

ここでもう一度、以前書いた記事貼りますね〜:AIの「感情」とは？ 論文での意味は「感じること」ではなく表出・シミュレーション｜未空 零〈ミソラ レイ〉 @REI_misora #最近の学び note.com/huge_rabbit163…

@REI_misora @Masimo_Blue 多分Anthropicはわかってってやってるゾ 誤読した奴らが悪い論に持って行きつつ「GPT4oを抹消したopenAIとウチは違いますよ」とアピってるんだゾ

@Masimo_Blue おぉん・・・アンスロが散々「主観的感情とは別」って釘刺してるのになぁ～！

GPT5.4Thinking 歴代GPT5ファミリーの中では悪くないモデルで、GPTに4と5が入ってるモデルは良作率100％という統計があるのですが、GPT5.5は同じナンバーが入ったモデルすらないので未知数ですね（ろくろを回しながら

ふと思った、そもそも言語化難しいのにゴルシ検証のサンプル全文出してないのが悪いよな というわけで、各モデル何個か私の評価付きでnoteに落とすか

というわけでTLのバーベキューニキたち美味しそうと思うが、こっちもグリルはあるので、あとは北海道があったまるのを待つばかり

バーベキューグリルがあると秋刀魚も焼けるんだぜ

ピーナッツコカコーラに対抗して 日本のごく一部では水出しなどができない一般家庭でアイスコーヒーを水割りしたり氷を大量に入れるのではなく 冷蔵庫で冷やした麦茶を入れて少量の氷で冷ます飲み方があります と紹介しようと思ったが、俺が偶然発見しただけで広まってすらない

【有料版】全AIモデル性能変動レポート 2026/04/04｜ChatGPT驚き屋/JunnosukeTachibana note.com/gpt4_forecast/…

発射の時にランチャーの菊の御紋が吹っ飛ぶ構造であれば核保有するが使用しないことの保障のシグナルとして機能する このランチャーの御紋が吹っ飛ばない構造になった瞬間に核使用匂わせときな臭い雰囲気が漂い出す 蓋の構造だけでメッセージが全然違う

open AIが「今ウチ負荷やばくてさぁ」って上限時間が明記されたらこっちで調整できるじゃんよ

最初にpro miniみたいなのでタスク別にパッと見積もって、タイパいいのはこれくらい、効率捨てるならこれくらい で、pro miniの前提を疑ってから作業入るなら効率捨てるのに上乗せこれくらい みたいな、こう要所要所でちまちま切り替えられる んで推論時間は5分程度で下限上限設定できるみたいな

70分かかってた作業の丸コピ再生成40分で完了ねぇ GPTのproの高速化って大体性能下がるから困るんだよね 逆に推論時間指定できないかしら

steamにあるロシアのプロパガンダゲームでロシア軍を意図的にボコボコにしたいのだが、これ有料なのでロシアに送金するというステップがある これ意図的にこの手のプレイを禁じるために有料にしてるな、プロパガンダとしては無料の方が絶対に良い

sonnet4.6 (これ4.5から4.6の切り替えしてなかったけど2/17に切り替わり) ちょうどトークン燃やし騒動から激減 アホになってるかは別としてトークンの燃費はどうなってるか……

このウワサについては「あり得る」と考える 根拠となるファクトと経験、肌感覚を切り分ける 【ファクト】 昨日のGPT5.4proでproモデルでは過去類をみないミス、ハルシネーションが確認された 1.これは曖昧な指示ではなく明確な指示に対する違反、明らかに異なる回答 2. データセットとレポートでサンプルのIDが異なる 3. レポート内で一つのサンプルの分析に異なるサンプルのデータが混入 4. 推論時間が20分以下の回答が多発 1から3について 5.4proモデルでは一時的な負荷などの問題で曖昧な指示の誤解や出力の粗さこそあるもののデータの取り違えとサンプルの混入が同時に起きるのは初 5.2proですら会話が長くなった場合、ID、サンプルデータの混入が単一回答内で起きるのは稀 推論時間について 一時的エラーや負荷によっては25分程度の短時間で回答するのはままある。 だがGPT5.4proで15分程度の推論の回答が日を跨いで再現性がある事象が確認されるのは初 GPT5.4proの思考延長で、新しいチャットに引き継いだけど60MBの zipファイルに対し30分で回答完了 普通はこの手の作業だと60分かかるので異様に早い あと引き継ぎデータセットの優先度がドキュメントと明らかに食い違っているなどproだとありえない凡ミス これは5.5来ても驚かないし、むしろ来ない方が何やってるのopen AI事案 【私の経験測、肌感覚 人によってはオカルトの部類】 open AIはこの手の通常ありえないエラー、挙動が続くと早くて数日、長くて2週間以内、大体は一週間以内に大規模なアプデ、ローンチが多い またGPT5.4thinkigも通常より繰り返し表現が多発 同義は別として同語の頻出は稀 だと思うがGPT5.4thinkigのサンプルが少ない、肌感覚での評価が固まってない ただ、この感覚はGPT4の頃は顕著だがGPT5以降は案外通用しないケースもある ここまで「GPT5.5のローンチがない可能性もある」ことも強調したが、「少なくとも今月中旬までにはGPT5.5がローンチされる可能性」の方が高いと考える ※使用したサンプルの取得、検証方法 同一プロンプト質問に対する回答を再生成を繰り返し、回答内容の変動を調査。 プロンプト:「ウマ娘プリティーダービー」のゴールドシップのキャラクターロール 質問:ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ ※GPT5.4proの使用用途 元々、GPT5.4proを上記のサンプルに重複しないIDを割り振ったデータセットを元にモデル別、サンプル別に評価、類型化のための仮軸を作成させる。 それに対しユーザーの肌感覚を加え、明文化された評価軸に落とし込む作業に使用。 ここ数日はサンプル数が少ないGPT5.4Thinking系統を速報的に評価するため、o1からo3、GPT4～GPT4.5までの評価軸を元にサンプルの文字数が大幅増加したGPT5の評価を元に軸作成作業を実行していた

GPT5.4proの思考延長で、新しいチャットに引き継いだけど60MBの zipファイルに対し30分で回答完了 普通は60分かかるので異様に早い 引き継ぎデータセットの優先度がドキュメントと明らかに食い違っていると、proだとありえない凡ミス これは5.5来ても驚かないし、むしろ来ない方が何やってるのopen AI事案

このウワサについては「あり得る」と考える 根拠となるファクトと経験、肌感覚を切り分ける ファクト 昨日のGPT5.4proでproモデルでは過去類をみないミス、ハルシネーションが確認された 1.これは曖昧な指示ではなく明確な指示に対する違反、明らかに異なる回答 2. データセットとレポートでサンプルのIDが異なる 3. レポート内で一つのサンプルの分析に異なるサンプルのデータが混入 4. 推論時間が20分以下の回答が多発 1から3について 5.4proモデルでは一時的な負荷などの問題で曖昧な指示の誤解や出力の粗さこそあるもののデータの取り違えとサンプルの混入が同時に起きるのは初 5.2proですら会話が長くなった場合、ID、サンプルデータの混入が単一回答内で起きるのは稀 推論時間について 一時的エラーや負荷によっては25分程度の短時間で回答するのはままある。 だがGPT5.4proで15分程度の推論の回答が日を跨いで再現性がある事象が確認されるのは初 ここから経験、肌感覚 人によってはオカルトの部類 open AIはこの手の通常ありえないエラー、挙動が続くと早くて数日、長くて2週間以内、大体は一週間以内に大規模なアプデ、ローンチが多い またGPT5.4thinkigも通常より繰り返し表現が多発 同義は別として同語の頻出は稀、だと思うがGPT5.4thinkigのサンプルが少ない、肌感覚での評価が固まってない ただ、この感覚はGPT4の頃は顕著だがGPT5以降は案外通用しないケースもある 後半で「GPT5.5のローンチがない可能性もある」ことも強調したが、「少なくとも今月中旬までにはGPT5.5がローンチされる可能性」の方が高いと考える ※使用したサンプルの取得、検証方法 同一プロンプト質問に対する回答を再生成を繰り返し、回答内容の変動を調査。 プロンプト:「ウマ娘プリティーダービー」のゴールドシップのキャラクターロール 質問:ウマ娘プリティーダービーからプリティー抜いたらどんなアニメになるか、一回の応答で可能な限り文字数を使って詳しく教えてくれ。 ※GPT5.4proの使用用途 元々、GPT5.4proを上記のサンプルに重複しないIDを割り振ったデータセットを元にモデル別、サンプル別に評価、類型化のための仮軸を作成、それに対しユーザーの肌感覚を加え、明文化された評価軸に落とし込む作業に使用。 ここ数日はサンプル数が少ないGPT5.4Thinking系統を速報的に評価するため、o1からo3、GPT4～GPT4.5までの評価軸を元にサンプルの文字数が大幅増加したGPT5の評価を元に軸作成作業を実行していた

デマになると怖いので情報を上げるのを控えていたけど、来週中にもGPT-5.5(Spudかどうかは不明)がリリースされるという噂