Alan Daitch@AlanDaitch
Un tipo en Londres le tiró 100 estupideces disfrazadas de preguntas técnicas a las IAs más inteligentes del planeta para descubrir si realmente son brillantes o se hacen. Me encanta porque agarró conceptos que no existen, los vistió con jerga técnica convincente, como la 'tasa metabólica cognitiva' de alumnos de secundaria, el 'índice de acoplamiento gravitacional' entre microservicios… Basura, digamos.
Lo que encontró es un delirio: los modelos con razonamiento extendido, los que supuestamente piensan paso a paso antes de responder, no rinden igual. Rinden MUCHO peor. El problema está en el entrenamiento, porque los evaluaron toda la vida por producir respuestas, no por cuestionar preguntas.
Es como un alumno que aprendió que siempre hay que responder algo en el examen: nunca le enseñaron que a veces la respuesta correcta es 'esta pregunta está mal planteada' y, cuanto más razona, más elaborada es la justificación que inventa para una premisa simplemente absurda.
Cuando a un humano le tiran una premisa dudosa, la cuestiona más o menos el 40% de las veces. Cuando a una IA le tiran lo mismo, solo el 10%, y esto no está mejorando mucho. GPT-5.4, el modelo más nuevo de OpenAI, queda número 16 en el ranking y su versión con más razonamiento puntúa todavía peor. La única IA que viene mejorando consistentemente es Claude, de Anthropic.
No siempre necesitamos modelos más inteligentes. Yo me conformo con que saquen uno con la valentía de decirme que mi pregunta es muy estúpida.
