Cristian Córdova 🐧

27.4K posts

Cristian Córdova 🐧 banner
Cristian Córdova 🐧

Cristian Córdova 🐧

@barckcode

🌐 Inferencia de modelos abiertos de IA para empresas https://t.co/wvHCPIoXf5 | 🛠️ Conduciendo la mejor comunidad de Builders: https://t.co/CRR2MOn1Sd

Tenerife, España Joined Ekim 2013
790 Following18.9K Followers
Cristian Córdova 🐧
Soy un noob en lo que es generar contenido y grabar cosas Pero este finde que he estado grabando unas cosillas con loom la verdad que me ha gustado bastante Si tuviese más tiempo intentaría grabar alguna cosilla útil para la comunidad viendo cosas de inferencia, benchmarks, etc
Español
0
0
14
1.1K
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
IA para programar? Si Humano para validar y direccionar? SIN DUDA.
Mitchell Hashimoto@mitchellh

I've got an agent in a loop optimizing a renderer with the goal to minimize frame times (and tests to measure). It got times down from 88ms to 2ms and allocations down from ~150K to 500. Sounds good, right? Wrong. This is exactly why agent psychosis is a big fucking problem. As an experiment, I rewrote the Ghostty core render state in Go, with access to identically laid out data structures as Ghostty and the exact same validation tests. I made a purposely naive renderer (simple, correct, but slow). 88ms per frame with 150,000 allocations (horrendous, lol)! I then kickstarted a Ralph loop to bring the frame times down. I told it it can't modify input data structures or the public API or tests (they're correct), but it can do anything else it wants. It got to work. It has worked for about 4 hours. I've spent around $350 on this experiment so far. The results? 88ms => 1.5ms 150K allocs => ~500 allocs Incredible right? Nope. My hand-written renderer I ported has frame times (same benchmark) of ~20us (0.020ms) and 0 allocations in the update path. This is the problem with psychosis and lacking systems understanding. If you don't understand the system, you're going to accept that this is an incredible result. If you understand the system, you'll see better solutions immediately and can do roughly 75x better on throughput. The people who blindly trust agent output are in the former camp. They're sheeple, overdrinking from a fountain of mediocrity. Standard disclaimer: I use AI all the time. I like AI. The point I'm making is to not blindly accept results. Think. Analyze. Learn.

Español
2
0
22
3.3K
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
Me he hecho una mini app que cada semana y cada mes va a estar sacando métricas del cluster de inferencia de NaN y me va a generar un benchmark para tener un overview de cómo va evolucionando el cluster. La obtención de datos, cálculos y las métricas se hacen de forma deterministica. PERO cuando ya está todo resumido en unas cuantas tablas y gráficas se pasan por el DeepSeek de NaN para que haga un análisis de todo y de paso me haga recomendaciones. Cuando tiene todo genera un informe en PDF y me lo manda a Slack. Estas mini apps son una gozada hacerlas ahora porque en cuestión de un par de minutos tengo algo útil que me ayuda, en este caso, a medir el rendimiento del cluster y verificar si mis optimizaciones y cambios surten el efecto esperado.
Cristian Córdova 🐧 tweet media
Español
2
0
43
2.8K
Cristian Córdova 🐧
@alexperezl @lightseekorg Tenemos que actualizar vLLM primero y tengo que probarlo porque aún está en fase experimental y tengo que ver bien que no tenga incompatibilidades con algún parámetro que tengamos en uso. Lo he postergado para finales de junio seguramente que haya avanzado mas
Español
1
0
1
133
Cristian Córdova 🐧
Oye que clase de brujería es el engine TokenSpeed de @lightseekorg 🤯 Que locura de engine no se como no lo vi antes. Anoche dejé un experimento antes de irme a dormir donde en una misma GPU dejé corriendo un Qwen con el engine de vLLM por defecto y otro con TokenSpeed El experimento no era más que un bucle lanzando diferentes peticiones de diferentes tamaños de tokens en batch. Algunos batches de 200K tokens. Esta mañana he mirado la performance cada uno y el de TokenSpeed ha ido 6x más rápido 😬 Sin hacer nada más, solo cambiando el engine (y bueno instalando un par de paquetes nada raro). Que barbaridad. Tengo que probar bien que no rompa nada, compatibilidades, etc para ver si es factible una migración pero de tener todo okey con esto se viene un upgrade tremendo en NaN y en Helmcode. Esto en NaN sobre todo en horas pico va a ser una ayuda enorme. Lo malo que hoy me toca estar grabando vídeos y no podré seguir con esto pero mañana intento darle caña a todo esto a ver qué resulta.
GIF
Español
4
1
44
5.2K
Cristian Córdova 🐧
@naroh @lightseekorg Yep y no el que tenemos exactamente pero si su versión anterior. De momento está en “beta” aún no está para producción. He dejado más pruebas con coding reales y tiene aún problemas pero tiene pintaza si lo avanzan
Español
0
0
1
259
Cristian Córdova 🐧 retweeted
Bernardo Quintero
Bernardo Quintero@bquintero·
* 10 días en Málaga este verano (6-16 Julio) * Alojamiento y desplazamiento gratis * Formación en ciberseguridad * Organiza la Universidad de Málaga, patrocina Google no hay mucho que pensar 😅 nics.uma.es/cyberbootcamp/
Español
2
20
50
4.7K
DNtizar
DNtizar@DNtizar·
@barckcode muy bien Deepseek, la verdad. Y parece que no come tantos tokens como los primeros 100M.
Español
1
1
4
2.3K
DNtizar
DNtizar@DNtizar·
Bastante bien, la verdad.
DNtizar tweet media
Español
1
0
0
124