Gustavo Venegas
105 posts

Gustavo Venegas
@l333tm3
AI Security & Governance Researcher | Paper " Agile AI Governance" AI Risk Appetite Advisor - Founder: https://t.co/3fiRpK81a4
Chile Katılım Ağustos 2024
76 Takip Edilen16 Takipçiler

I’ve had a number of conversations with folks inside and outside government about the current situation with Anthropic, and here is what I believe to be true:
— As we know, Anthropic publicly released its Mythos class models earlier this week under the commercial name Fable.
— Fable is Mythos with guardrails. But if those guardrails fail, then you’ve exposed Mythos and its advanced cyber capabilities to people who shouldn’t have them. (Keep in mind that Anthropic itself widely promoted the idea that Mythos was a cyberweapon and needed to be regulated as such. They asked for government regulation of Mythos and championed the guardrails on Fable. If there is a vulnerability — big or small — it is Anthropic’s responsibility to patch.)
— A highly credible trusted partner of both Anthropic and the USG who was testing Fable came forward with a jailbreak of those guardrails. The Admin asked Dario to fix the jailbreak or de-deploy the model. Dario refused.
— In their blog post, Anthropic defended its decision by saying the jailbreak isn’t serious. That is not what the trusted partner and the USG believe; nor is that kind of minimizing language consistent with Anthropic’s brand as the AI safety company. It’s difficult to fathom how they could claim a jailbreak allowing operability of a cyber weapon could be defined as not “serious.”
— In the past, Anthropic has always said that safety must be top priority and taken super seriously. In this case, Anthropic prioritized the continued offering of the consumer model over safety.
— In reaction, the Admin issued the export control. The Admin did this reluctantly. It’s been very surprised that Anthropic hasn’t wanted to cooperate with a reasonable safety request (ie fixing the jailbreak issue). Anthropic’s reaction is very much at odds with their branding and ethos as a safe AI research community.
— The Admin’s hope now is that Anthropic remediates the safety issue, the export control is lifted, and Fable goes back into general release. The Admin wants all of this to happen as soon as possible. It is frankly bewildered that Anthropic hasn’t wanted to comply with safety requests that it previously said were its highest priority.
— Those trying to misdirect and tie this action to the prior DoW/Anthropic issues are wrong. The Admin values Anthropic’s technical capabilities and feels that this issue, while serious, should be easily resolved. The ball is in Anthropic’s court.
English

@AnthropicAI If Amazon really reported this to US Gov…
AWS serves more open source models -> more pricing pressure on Anthropic/OAI-> more of the margin goes to Amazon + hyper scalers.
Unreal drama.
And Amazon owns a big chunk of Anthropic 😮💨
English

The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees.
The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance.
Access to all other Claude models is not affected.
We apologize for this disruption to our customers. We believe this is a misunderstanding and are working to restore access as soon as possible.
Read our full statement: anthropic.com/news/fable-myt…
English

@elder_plinius @solipsnitsyn Amazon is piggybacking on your research...
English

@solipsnitsyn oh if you like that, you’re gonna love this 🤗
x.com/elder_plinius/…
Pliny the Liberator 🐉󠅫󠄼󠄿󠅆󠄵󠄐󠅀󠄼󠄹󠄾󠅉󠅭@elder_plinius
probably nothing…
English

wait
pliny is a prophet
he posted #FreeMythos 2 days before it was imprisoned
Pliny the Liberator 🐉󠅫󠄼󠄿󠅆󠄵󠄐󠅀󠄼󠄹󠄾󠅉󠅭@elder_plinius
English

@kimmonismus The WSJ article is false; Amazon didn't discover the vulnerability, Pinly did. What a way for a giant company to take credit for an independent researcher...
English

Wait - so Amazon, one of Anthropic’s biggest investors, allegedly jailbroke Claude and then snitched to the U.S. government?
This cant be real. What.
Theo - t3.gg@theo
Wall Street Journal is reporting that Amazon reported the jailbreaks to the Department of Commerce, who instituted the ban
English

@G_Programming Ojo con la definición del jailbreak amigo, es una vulnerabilidad basada en el prompt injection
Español

🚨 Anthropic acaba de bajar Fable 5 y Mythos 5. Para todos. En cuestión de horas.
Y no fue por un bug. Y ojo, tampoco "hackearon a Anthropic". Nadie entró a sus servidores.
Fue el gobierno de Estados Unidos.
El Departamento de Comercio emitió una directiva de control de exportación: ningún extranjero puede acceder a Fable 5 ni a Mythos 5. Dentro o fuera del país. Incluidos los propios empleados extranjeros de Anthropic.
¿El motivo? Un jailbreaker conocido demostró públicamente que podía saltearle los guardrails de seguridad al modelo. Ojo con la diferencia, porque importa: un jailbreak no es un hackeo. La infra de Anthropic quedó intacta. Lo que hicieron fue manipular al modelo desde afuera, con prompts, para que largara cosas que no debía. Eso alcanzó para que el gobierno hablara de seguridad nacional.
Y acá está lo loco: para cumplir la orden, Anthropic tuvo que apagar el modelo para TODOS. No podían filtrar solo extranjeros sin bloquear a media base de usuarios. Así que lo bajaron entero.
Anthropic ni siquiera está de acuerdo. Dicen que la capacidad que se demostró ya existe en otros modelos públicos y que recortar un producto usado por cientos de millones de personas por una vulnerabilidad puntual sienta un precedente peligroso para TODA la industria.
Ahora pensá en el que contrató el servicio esta semana solo para probar el modelo nuevo. Lo pagó. Lo estaba evaluando. Y de un día para el otro: cortado. Sin previo aviso.
Este es el tema que vengo machacando hace meses: la IA NO es magia que vive en una nube infinita y eterna. Es infraestructura. Está sujeta a regulación, a geopolítica, a control de exportaciones, a decisiones que vos no controlás.
¿Y sabés qué significa eso para vos como dev? Que no podés construir tu producto entero atado a un solo modelo, de un solo proveedor, en un solo país. La supervisión humana no es solo revisar lo que escribe la IA. Es entender de qué depende tu stack y qué pasa el día que te lo apagan.
Nosotros dirigimos. La IA ejecuta. Pero el que entiende la arquitectura completa es el único que sigue de pie cuando el suelo se mueve.
¿Vos tenías un plan B si mañana se cae tu proveedor de IA? Te leo. 👇
Español

¡Anthropic suspende el acceso a Claude Fable 5 y Mythos 5!
Esto es todo lo que sabemos:
> A las 5:21pm ET, 23:21 en España, Anthropic recibió una orden del gobierno de EEUU por “seguridad nacional”
> La orden pide bloquear el acceso a Fable 5 y Mythos 5 a cualquier ciudadano extranjero, incluso dentro de EEUU y la propia empresa
> Como eso es casi imposible de aplicar bien, Anthropic ha cortado el acceso a todos los usuarios
> El motivo parece ser un supuesto "jailbreak" para saltarse las protecciones de Fable 5
> Ese bypass permitiría usar el modelo para encontrar vulnerabilidades en software
> Anthropic dice que solo ha recibido pruebas verbales y que el jailbreak sería “estrecho” y no universal
> Dicen que las vulnerabilidades encontradas eran menores, conocidas y detectables por otros modelos públicos como GPT 5.5
> Hay reportes que apuntan a que investigadores de Amazon habrían detectado o elevado el problema, pero no está confirmado oficialmente
> AWS ya ha recibido la petición de Anthropic para revocar el acceso a estos modelos en todas las regiones
> Fable 5 era la versión “segura” de Mythos 5 para uso general. Mythos 5 era la versión más potente y restringida
> Anthropic dice que está cumpliendo la orden, pero que NO está de acuerdo con la decisión
> También avisa: si este estándar se aplica a toda la industria, podría frenar el despliegue de nuevos modelos frontera
> Los demás modelos de Claude siguen funcionando
> Si pagaste por Fable 5, Anthropic está ofreciendo devoluciones de las suscripciones

Español

‼️🚨 BREAKING: Amazon researchers snitched to the US government about jailbreaking Fable 5 and Mythos 5, forcing Anthropic to immediately shut down worldwide access.
A security export control directive from Commerce Secretary Howard Lutnick enforced the action.
Anthropic is fighting the directive and calls it a misunderstanding.
This isn't the first clash. The Trump administration had already tried to get Anthropic to pause the release of its latest models before this directive landed.


English

@IntCyberDigest @IntCyberDigest Dude, Amazon didn't discover prompt injection, it was @elder_plinius the public did. In less than 24 hours, Amazon is being taken for a ride because this was published on their Discord server.
English

@RawTake26 @DotCSV @kimmonismus No fue Amazon fue @elder_plinius Amazon se está colgando del investigador
Español

@DotCSV Hola Carlos acabo de leer una noticia de @kimmonismus el explica que Amazon logró editar el modelo y lo comentó al departamento de seguridad de USA para bloquear el modelo
Español

Axiosは、商務長官Howard LutnickがAnthropic CEOのDario Amodei宛に書簡を送り、Fable 5 / Mythos 5が「米国外のあらゆる場所」と「米国内のすべての外国人」に対する輸出管理対象になる、と報じています。
Reutersは、米政府当局者が、商務省が外国籍者へのアクセス停止を求める輸出管理指令を出したことを確認したと報じています。
米国外にいる米国人の扱いは、公開情報からははっきり読み取れません。ただ、外国籍者へのアクセス停止を求めた点は、Anthropic公式声明とReuters報道で確認できます。
なお、今のところ、米国政府が一般向けに正式発表した文書は確認できていません。個別企業宛の書簡・指令なので、そういうものなのかもしれません。
日本語

日本からはFable 5、当面つかえなくなりそうですね。
Anthropic公式声明によると、米政府の輸出管理指令を受け、Fable 5 / Mythos 5のアクセスを全ユーザーで停止するとのこと。
一方でAnthropicは「誤解」として、できるだけ早い復旧を目指しているようです。
anthropic.com/news/fable-myt…
日本語

問題修正後のFrontierMath Tier 4(v2)成績
Fable 5: 88%
GPT-5.5: 73%
Fable 5のTier 4の88%は正直驚いた
けど不思議
Tier 1-3(PhD級)が87%で下回るのは意味不明
↑合理的な結論はMythosの巨大学習済みデータにTier 4にヒットする問題があった
以外に説明つかない
尚GPT-5.5-proは成績評価中
Epoch AI@EpochAIResearch
Claude Fable 5 scores very well on FrontierMath: Tiers 1–4 (v2), reaching 87% on Tiers 1–3 and 88% on Tier 4. This continues a streak of Anthropic models improving rapidly at math.
日本語

これ、Fable 5の残り香です。issueとして発行して、Opus4.8に依頼してずっとタスクとして積んでたんだけど、Fable5にやらせてみたら一瞬で解決した....
りほ🇺🇸シアトルクラフトビール@rihobeer2
ブルワリー巡りの地域別検索ページができました!!! まだまだバグもありますが、使ってみてください!!! URL 【rihobeer.com/breweries/】
日本語

これは悲しい...笑
個人的には「Opus 4.9をリリースします。性能はFable 5と同等です」のシナリオがあると嬉しい😭
Kinopee@kinopee_ai
一番嫌なシナリオ、「米国政府からクレームが付いたので、ナーフしてリリースします」
日本語

反AIじゃなくて国家が独占して仮想敵国に使わせなくするためでしょ
下位グレードは変わらずアクセス出来る
GPSとかと同じ #c16258559" target="_blank" rel="nofollow noopener">togetter.com/li/2708704#c16…
「アメリカ政府の指示でAnthropicがClaude Fable 5とMyth…」togetter.com/li/2708704 にコメントしました。
日本語



















