Cristian Córdova 🐧

26.6K posts

Cristian Córdova 🐧 banner
Cristian Córdova 🐧

Cristian Córdova 🐧

@barckcode

🌐 Inferencia de modelos abiertos de IA sin límites para empresas https://t.co/wvHCPIoXf5 | 🛠️ Conduciendo la mejor comunidad de Builders: https://t.co/CRR2MOn1Sd

Tenerife, España Katılım Ekim 2013
770 Takip Edilen18.5K Takipçiler
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
12 millones de ventana de contexto y 5% más barato que Opus 😅 12 millones… wtf. En teoría estos siguen otro proceso pero en el que usan los actuales modelos ya una venta de 1 millón no es tan buena porque hace que el modelo “se pierda” con tanta info. Con 12x más pff, habrá que probarlo.
Alexander Whedon@alex_whedon

Introducing SubQ - a major breakthrough in LLM intelligence. It is the first model built on a fully sub-quadratic sparse-attention architecture (SSA), And the first frontier model with a 12 million token context window which is: - 52x faster than FlashAttention at 1MM tokens - Less than 5% the cost of Opus Transformer-based LLMs waste compute by processing every possible relationship between words (standard attention). Only a small fraction actually matter. @subquadratic finds and focuses only on the ones that do. That's nearly 1,000x less compute and a new way for LLMs to scale.

Español
1
0
6
1.2K
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
Un último dato curioso. En ~3 días que lleva el server de inferencia up. Hemos quemado ya +mil millones de tokens 😂 Si esto fuese una API de algún servicio privado, depende de qué provider ya nos habría rentabilizado el coste del servidor incluso jaja Que barbaridad
Cristian Córdova 🐧 tweet media
Cristian Córdova 🐧@barckcode

Por cierto a lo largo de esta semana iré dando acceso a los primeros que estéis en la waitlist Estáis más pero de momento solo daré acceso a ~15 personas ya que son las que necesitamos para poder montar el segundo server Así que mirad el correo y entrad! nan.builders

Español
11
4
93
42.3K
Cristian Córdova 🐧
@danitoszwarc Si consultas en la comunidad en Discord seguramente te sepan contestar mejor porque hace mucho que no uso VSCode ya pero me quiere sonar que alguien en la comunidad contestó que podía configurarse una extensión igual que se hace con Zed aquí: #qwen36-zed" target="_blank" rel="nofollow noopener">nan.builders/docs/examples#…
Español
1
0
0
12
Dani
Dani@danitoszwarc·
@barckcode, tenés alguna recomendación para usar NaN con VS Code? Tal vez ya lo dijiste y me lo perdí?
Español
1
0
0
22
Cristian Córdova 🐧 retweetledi
mannyacboy
mannyacboy@mannyacboy·
Long live NaN! ✊
Cristian Córdova 🐧@barckcode

🙃 Si seguimos dependiendo de los proveedores privados de USA/China siempre va a ser así. ¿Se imaginan si en el boom de internet nadie hubiese tirado de líneas de ADSL y Fibra? ¿Ni se hubiese invertido en generar enormes empresas de Telecomunicaciones esperando a que una potencia venga a darnos colocando todo? Seguramente hoy no sabríamos ni lo que es la fibra óptica y nos tendrían a todos aún con módems que cuando entraba una llamada se iba internet. Pues eso mismo es la IA hoy. Sin infraestructura propia, sin laboratorios propios y sin un mínimo de inversión en poder ser independientes. Lo que pasará es que siempre viviremos relegados a las migajas de los otros. Competir ahora mismo a nivel de laboratorio es casi una utopía pero al menos empezar por construir un sistema de inferencia propio privado y en EU para abastecer a todos los estamentos críticos del estado debería estar en la primera plana de cualquier gobierno. Sea del lado que sea. Teniendo infraestructura y servicios críticos cubiertos se puede empezar a intentar traer talento que empiecen a impulsar laboratorios de entrenamiento aquí. Y con el tiempo, mucho tiempo y dinero después, quizá conseguir incluso independencia de los modelos abiertos. Pero hay que sentar unas bases. Sin infraestructura es imposible hacer nada. Muchos estáis viendo los resultados con NaN y si yo se que esto es un grano de arena en una playa enorme PERO ¿os imagináis algo así pero a nivel estatal? Podría ser perfectamente la base para empezar a construir una independencia de modelos privados. Obviamente no todo es inferencia, habría que impulsar la construcción de más datacenters, una industria de microchips, laboratorios como decía… Pero por algo se puede empezar y ya vamos muy tarde ya que ahora mismo no hay nada. Y bueno, más vale tarde que nunca sino queremos seguir comiendo migajas en forma de modelos de IA.

English
0
1
3
440
Cristian Córdova 🐧
Al ADSL no. Telefonica fue de los primeros en tirar redes a gran escala ya no te digo en España sino en el mundo. Otra cosa es que de nada haya servido para posicionarse luego en nada pero eso es otro tema. Con la IA es aún peor porque con la IA el tiempo ya ni se mide en años. Sino en meses, por lo que ya vamos MUCHO por detrás.
Español
0
0
0
29
👾AI Operator👾
👾AI Operator👾@InfraScaler·
A la fibra y el ADSL llegamos muy tarde también, esto no es nuevo. Joder, si en esas épocas hasta las pelis y videojuegos llegaban meses más tarde aquí... por no hablar de tecnología de la época, que alguna ni llegaba. Igual, estoy de acuerdo, necesitamos invertir a tope en investigación y desarrollo de modelos open source. China va 6-8 meses detrás de modelos SOTA y Mistral (los únicos europeos con modelos grandes) va más de un año por detrás.
Español
1
0
0
53
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
🙃 Si seguimos dependiendo de los proveedores privados de USA/China siempre va a ser así. ¿Se imaginan si en el boom de internet nadie hubiese tirado de líneas de ADSL y Fibra? ¿Ni se hubiese invertido en generar enormes empresas de Telecomunicaciones esperando a que una potencia venga a darnos colocando todo? Seguramente hoy no sabríamos ni lo que es la fibra óptica y nos tendrían a todos aún con módems que cuando entraba una llamada se iba internet. Pues eso mismo es la IA hoy. Sin infraestructura propia, sin laboratorios propios y sin un mínimo de inversión en poder ser independientes. Lo que pasará es que siempre viviremos relegados a las migajas de los otros. Competir ahora mismo a nivel de laboratorio es casi una utopía pero al menos empezar por construir un sistema de inferencia propio privado y en EU para abastecer a todos los estamentos críticos del estado debería estar en la primera plana de cualquier gobierno. Sea del lado que sea. Teniendo infraestructura y servicios críticos cubiertos se puede empezar a intentar traer talento que empiecen a impulsar laboratorios de entrenamiento aquí. Y con el tiempo, mucho tiempo y dinero después, quizá conseguir incluso independencia de los modelos abiertos. Pero hay que sentar unas bases. Sin infraestructura es imposible hacer nada. Muchos estáis viendo los resultados con NaN y si yo se que esto es un grano de arena en una playa enorme PERO ¿os imagináis algo así pero a nivel estatal? Podría ser perfectamente la base para empezar a construir una independencia de modelos privados. Obviamente no todo es inferencia, habría que impulsar la construcción de más datacenters, una industria de microchips, laboratorios como decía… Pero por algo se puede empezar y ya vamos muy tarde ya que ahora mismo no hay nada. Y bueno, más vale tarde que nunca sino queremos seguir comiendo migajas en forma de modelos de IA.
EL MUNDO@elmundoes

Europa sigue sin acceso a Mythos y la Comisión alerta de una desigualdad relevante con EEUU en torno a la IA: "Esto es un problema de largo plazo" #Echobox=1777925375" target="_blank" rel="nofollow noopener">elmundo.es/economia/algor…

Español
8
11
60
6.5K
jdej
jdej@jdej21·
@barckcode Tengo ganas de quemar token pero no me llega la invitación 😔
Español
1
0
0
26
Cristian Córdova 🐧 retweetledi
Hardware 360º
Hardware 360º@360_Hardware·
Pero la IA era una burbuja y no tenía sentido invertir eso. Había incluso quien decía que no tenía ningún misterio y que Europa podía entrenar un modelo bueno cuando quisiera Sorpresa, Europa la ha vuelto a cagar. Los modelos siguen mejorando, pero Europa no tiene acceso a ellos
EL MUNDO@elmundoes

Europa sigue sin acceso a Mythos y la Comisión alerta de una desigualdad relevante con EEUU en torno a la IA: "Esto es un problema de largo plazo" #Echobox=1777925375" target="_blank" rel="nofollow noopener">elmundo.es/economia/algor…

Español
15
71
479
37K
Cristian Córdova 🐧
@TeflonGr No sé si has estado en algun datacenter alguna vez pero te aseguro que a ningún datacenter le desconectan de la red por falta de energía. Es mas, estos tienen capacidad propia para suministrarse energia durante un tiempo en caso de apagones y cosas por el estilo.
Español
1
0
1
30
Teflon Gr
Teflon Gr@TeflonGr·
@barckcode La cosa es que tal como estamos ni inferencia. Quien va a montar un servidor si de repente te lo desconectan de la red para que no se caiga porque no hay capacidad para industria
Español
1
0
1
26
Cristian Córdova 🐧
@elashera_ @root_rat Yo encantado de poder montar algo así. A nivel de infraestructura montar algo como NaN a gran escala es MUY factible. Pero pues mis recursos son limitados. Tendré que llegar a las personas adecuadas para poder conseguir algo así.
Español
0
0
3
117
Cristian Córdova 🐧
Si ya vamos tarde y empiezas por ahí, no vas a llegar nunca. Ojo, tienes razón que nos faltan bases pero hay que atraer talento para que vean esto como algo factible donde invertir. Con lo que hay ya se puede construir algo. No top tier pero si algo. Por eso empezar por inferencia y modelos. Así sea con algo básico es importante. Mientras se va a haciendo en paralelo lo demás. Si no se hace nada y se espera a tener mejor energía y una industria de microchips, ya te digo que no llegará nunca.
Español
1
0
3
108
Teflon Gr
Teflon Gr@TeflonGr·
@barckcode Antes de eso tenemos que empezar a abrir centrales nucleares y a producir nuestros chips. No es que nos falte inferencia o datacenters, es que nos falta todo desde abajo en esta industria. Ni fabs, ni diseño de chips, ni energía. Una vez tengamos eso ya hablamos de IA.
Español
2
0
3
127
Jaime 🎒🕊💬
Jaime 🎒🕊💬@LibertyPrimer·
@barckcode Menos mal que al menos los franceses son responsables con la soberanía y estan apoyando a Mistral para tener modelos europeos para asuntos industriales Incluso crearon un manifesto que viene al dedo con lo que esta ocurriendo europe.mistral.ai
Español
2
0
1
208
Cristian Córdova 🐧
Cristian Córdova 🐧@barckcode·
@joselcs 100%! Gracias por compartir el artículo. Ahí va mi reflexión
Cristian Córdova 🐧@barckcode

🙃 Si seguimos dependiendo de los proveedores privados de USA/China siempre va a ser así. ¿Se imaginan si en el boom de internet nadie hubiese tirado de líneas de ADSL y Fibra? ¿Ni se hubiese invertido en generar enormes empresas de Telecomunicaciones esperando a que una potencia venga a darnos colocando todo? Seguramente hoy no sabríamos ni lo que es la fibra óptica y nos tendrían a todos aún con módems que cuando entraba una llamada se iba internet. Pues eso mismo es la IA hoy. Sin infraestructura propia, sin laboratorios propios y sin un mínimo de inversión en poder ser independientes. Lo que pasará es que siempre viviremos relegados a las migajas de los otros. Competir ahora mismo a nivel de laboratorio es casi una utopía pero al menos empezar por construir un sistema de inferencia propio privado y en EU para abastecer a todos los estamentos críticos del estado debería estar en la primera plana de cualquier gobierno. Sea del lado que sea. Teniendo infraestructura y servicios críticos cubiertos se puede empezar a intentar traer talento que empiecen a impulsar laboratorios de entrenamiento aquí. Y con el tiempo, mucho tiempo y dinero después, quizá conseguir incluso independencia de los modelos abiertos. Pero hay que sentar unas bases. Sin infraestructura es imposible hacer nada. Muchos estáis viendo los resultados con NaN y si yo se que esto es un grano de arena en una playa enorme PERO ¿os imagináis algo así pero a nivel estatal? Podría ser perfectamente la base para empezar a construir una independencia de modelos privados. Obviamente no todo es inferencia, habría que impulsar la construcción de más datacenters, una industria de microchips, laboratorios como decía… Pero por algo se puede empezar y ya vamos muy tarde ya que ahora mismo no hay nada. Y bueno, más vale tarde que nunca sino queremos seguir comiendo migajas en forma de modelos de IA.

Español
0
0
3
597
Jose Luis Calvo
Jose Luis Calvo@joselcs·
El problema de no haber desarrollado una tecnología que se acaba convirtiendo en un tema de seguridad nacional. Pero los modelos de 10²⁵ FLOPs son de alto riesgo porque patatas. Personalmente creo que es tarde para la UE, pero mejor intentarlo.
EL MUNDO@elmundoes

Europa sigue sin acceso a Mythos y la Comisión alerta de una desigualdad relevante con EEUU en torno a la IA: "Esto es un problema de largo plazo" #Echobox=1777925375" target="_blank" rel="nofollow noopener">elmundo.es/economia/algor…

Español
4
1
16
2.8K
Borja Perez Ⓜ️
Borja Perez Ⓜ️@borjaperfra·
Por qué nadie me ha dicho que hay una pestaña de mensajes "hidden" en los DM's de Tw? 😭😭😭 Tenía decenas de mensajes ahí, joder. Soy un boomerazo 🥲
Español
7
0
8
1.7K