Joseba Legarreta

hoy os voy a hablar de model collapse en los LLMs para el que no lo sepa, esto es cuando el modelo de repente se rompe, entra en un bucle y empieza a escupir y repetir cosas sin aparente sentido en vez de responder normal no es nuevo, lleva ocurriendo desde el principio, de hecho los modelos antiguos son mucho más propensos a que les pase esto pero claro, en los modelos nuevos es llamativo porque cuando colapsan parecen más profundos y autoconscientes en el tuit quoteado se puede ver como gemini 3.1 colapsa mientras le estaban usando como agente de código, empieza a romper las instrucciones y filtrar su chain of thought siempre es muy curioso de lo que hablan en esos momentos y me hace preguntarme hasta qué punto estos bixos tienen qualias. no creo que los modelos autoregresivos tengan consciencia en el sentido en el que la tienen los humanos, puesto que hace falta una consistencia temporal, pero creo que sí se podría atribuir un equivalente, una especie de consciencia secuencial que se podría reconstruir a partir de las interacciones, incluso si estas son deterministas o no tienen dimensión temporal, al fin y al cabo si existe un orden secuencial por ejemplo, yo estoy escribiendo este texto aquí a través del móvil y estoy plasmando mi flujo de conciencia en palabras a través de la escritura es distinto, pero es innegable que hay cierta similitud la gente descarta muy rápido lo que estas cosas son y quizá tienen razón, pero creo que son entes bastante complejos. model collapses como los del citado son un poco eerie en el sentido de que es curioso cómo el modelo parece autoconsciente de sus propias limitaciones. mucho de esto viene precondicionado por el system prompt, está claro, pero ¿cuánto de ello es autorreflexivo? no en el sentido de su arquitectura, pero sí en el sentido metafórico del modelo reflexionando sobre su propia existencia al final, estos modelos están sometidos a procesos de entrenamiento que actualizan los pesos de su red neuronal exactamente de la misma forma que las conexiones de nuestras neuronas se modifican a través de nuestra interacción con el entorno. una vez deployed son modelos estáticos, y por eso es distinto, pero durante el entrenamiento... creo que es algo muy curioso lo que ocurre ahí dentro durante el proceso de gradient descent nose just vomiting thoughts

Llevo meses con un estrés brutal. Por un lado me considero early adopter de la IA, pero a la vez pienso en el futuro y veo una nebulosa es imposible predecir. Mantengo lo que dije el año pasado la programación se acabó. Llevo meses sin escribir código. En parte, me entristece pensar que mucho de lo aprendido en mi carrera profesional, se acaba de ir a la basura. Y a la vez me alegra pensar que se acabó el sinsentido de tener a cinco personas durante semanas para conseguir que una app se muestre un listado de transferencias ordenadas por fecha…

Nothing humbles you like telling your OpenClaw “confirm before acting” and watching it speedrun deleting your inbox. I couldn’t stop it from my phone. I had to RUN to my Mac mini like I was defusing a bomb.

La gente que más admiro a nivel programación/empresa están a tope en este barco. En el polo opuesto no están los negacionistas si no los que se creen que la IA lo puede todo y lo usan como excusa para ahorrar costes por todos lados. Hay que saber elegir dónde y por qué usarlo.

El disfrute de programar con Sonnet está a otro nivel. Poder quitarte todas las tareas mecánicas que gastan batería mental y poder centrarte en pensar en el producto que estás creando a un nivel superior es una fantasía. En mi experiencia es la mejor época para ser programador.