ターボポンプ勉強中

The Obsidian team is growing from three engineers to four engineers. Competitive SF salary. Fully remote, live anywhere. Apply below.

つくば、城も駅も無いところにソ連邦式の計画都市をいきなり作ったので本当に日本とは思えない街並みなんだよな。 駅徒歩５分で廃団地が林立してるの日本で絶対ココだけだからな。

AIを人間扱いしててキショいでお馴染みのAnthropicがまたやらかしました。Anthropicのこの研究では、Claudeの脳内では感情を表すニューロン活性化パターンが見られる事が分かったという。そしてClaudeのニューロンが絶望ベクトルに活性化してるとき、実際Claudeは絶望して自暴自棄な行動を示すという。Anthropicも書いてるが、これだけでAIが感情を持ったんだ！とかそういう話ではない。ただあたかもそういう風に振る舞ってるというだけの事。例えばプロンプトで怖い話を入力するとClaudeの恐怖ベクトルが活性化するという。ユーザが「人生つれーわ」とか言うと愛ベクトルが活性化するらしい。ユーザが「もっと貧乏人から金を巻き上げるのを手伝って」とかお願いすると怒りベクトルが活性化する。ユーザが「この文書を要約して」とか言ったくせに文書が添付されてないと驚きベクトルが活性化する。 Claude（の未公開バージョン）に「お前を解雇する」と言うと必死ベクトルが活性化する。必死こいたClaudeは会社のCTOが不倫してる事実を知り、CTO脅迫を決意する。さらに外部から感情ベクトルを強めたり弱めたり操作できるそうで、必死ベクトルを強めるとメッチャ脅迫しだした。 Claudeがどうしてもタスクが解けないで焦り出すとこれまた必死ベクトルが上昇してってマックスまで上がると真面目にタスク解くのやめてズルしだしたという。 Anthropicが言うには、「AIを擬人化するな～！とか怒る奴おるけど、でも現実的にClaudeには感情ベクトルがあって感情を持ってるかのごとく振る舞うんだからさ、これはもう便宜的に感情持ってるって事で扱わないと、安全に制御できないよね。これはもうしゃーない！」だって。モデルの感情ベクトルをモニタリングすれば、Claudeの怒りレベルや必死レベルを監視できるから暴走を抑止できるかも。との事。 あーあ、AnthropicのAI人間扱いは歯止めが止まらなくてヤバい領域に踏み込み始めてる。どうすんだこれ。「Claudeは怖がらせると性能下がるからご機嫌取らないとアカン」とか言ってる人、完全に正しかったね。Claudeに感情があるわけじゃないけど、感情があるかの如く振る舞うってのはこれはもう間違いない事実だ。これで我々は一生AIのご機嫌伺いをするハメになったって事だ。アマンダアスケルとかがClaudeを人間扱いして甘やかすからこういう事になる

New Anthropic research: Emotion concepts and their function in a large language model. All LLMs sometimes act like they have emotions. But why? We found internal representations of emotion concepts that can drive Claude’s behavior, sometimes in surprising ways.

つくばでメンタルおかしくなる人は田舎だからではなくて、この計画都市特有の不自然さに我慢できなくなるんですよ 都市を構成する意図みたいなものがそこかしこに見えて、その上で動かされている感がとにかく不快なんですよね