César Mendoza

Crea historias con AI, escribe sobre qué quieres que cree una historia y elige cómo continuar: thenonreal.com.ar

I gave two MoE models the same vibe coding challenge Qwen3.6 35B A3B (31.8GB) vs Gemma4 26B A4B (23.3GB) Stack: > Unsloth Q6_K_XL > llama.cpp > Model-card recommended sampling for each 4 prompts, side-by-side. Which one do you think wins?

Os voy a dar un pequeño “truco” que es más viejo que nada para que veáis un modelo y sepáis cuantos recursos necesita el modelo para correrlo en local. Antes de nada hay que entender estas siglas que seguro habéis visto: - BF16 - FP8 - INT4/FP4 - etc Todas estas siglas están relacionadas con la cuantizacion de un modelo, bueno BF16 es la forma “nativa” de cómo se entrega un modelo pero por no hacer el tweet infinito digamos que es algo así como la precisión en la que un modelo rinde. Los grandes modelos suelen servirse (en teoría) en su “máxima precisión” (BF16) lo cual requiere una cantidad absurda de recursos. Sin embargo, los modelos locales dado que no todos en casa tenemos un datacenter 😂 pues nos tenemos que conformar con modelos que quepan hasta en una tostadora. Entonces, después de esta brasa “el truco” es ver cuántos billones de parámetros tiene el modelo. Por ejemplo: QWEN3.6-35B-A3B Este modelo tiene 35B de parámetros. Por lo que un cálculo a vuela pluma y posiblemente hiriendo la sensibilidad de los más puristas es hacer lo siguiente: - Parámetros x Cuantizacion = GB RAM - 35B x 2 (BF16) = ~70 GB RAM - 35B x 1 (FP8) = ~35 GB RAM - 35B x 0,5 (FP4) = ~17,5 GB RAM De esta forma es una forma muy fácil de ver un modelo y saber cuanta RAM necesitas en tu GPU para correr un modelo. Al igual que los modelos este tweet está cuantizado para no ser un tostón así que ahorraros los detalles, excepciones y cosas puntuales.

@MManjarin @GordoDan_ voy a verla de nuevo pq me habré perdido esa parte

@CMendozaDev @GordoDan_ Spoiler! Se da cuenta. Por eso tiene la cápsula transparente que lo rodea siempre en la nave de Grace. En la novela explican que respira amoníaco y por sus "venas" circula mercurio líquido para refrigeración ya que en su planeta la temperatura es de 200 grados

HERMANO QUÉ ACABO DE VER

@_nasch_ hasta me respondió la pregunta en la que siempre falla jajaaja

@_nasch_ es rapidísimo parece, me hice mi propio ollama para probar estas cosas.

Qwen3 coder 30B A3B es impresionantemente bueno!

@MManjarin @GordoDan_ no entendí algo, claramente el alien no es una vida basada en carbono, nunca se da cuenta el tipo?

@GordoDan_ Si podés leelo... no deja duda sin resolver. Cierra todo. La peli a veces en 2 horas no puede explicar todo

@fabiomb gracias loco por el aviso!!!

Boludo, qué baratos están los pasajes a Europa durante el mundial (comparativamente con el resto de año, claro), lástima que nunca viajo en esa época 😁

un diff que compara directorios completos github.com/cesjavi/diffco…

@maxifirtman yo empecé con el hola mundo de las llm que es el reconocedor de gatitos.

El 99% de los que dicen en público que entrenaron a una IA lo hacen para sonar especiales. No entrenaron nada. Usaron una herramienta ya entrenada con alguna característica de personalización.

Me mostraron un LLM con MILLONES de token de ventana de contexto. Este LLM es suficientemente poderoso como para meter tu repo completo, incluso hasta los más grandes, sin descuidar ni una sola coma en cada una de tus sesiones. Es una bestia. Sale este mes :)

@CodeByNZ messi

You can literally search for OPENAI_API_KEY on github and find Tons of exposed API keys Thanks, vibe coders 🙏

@fabiomb acá está! gulfnews.com/world/gulf/sau…

@fabiomb ojo lo del canal por EAU la deben estar pensando, no tenés que pasar cerca de Irán y te ahorrás camino.

la respuesta estaba allí afuera

@babybeluga__ yo estaba con un proyecto de ayuda de navegación para ciegos, pero demanda mucha conexión a red y el lag es fatal para navegación pero para describir una habitación funca.

estoy obsesionada.

@Fereze @porqueTTarg mirá capusotto el audi que se mandó, nunca un fiat jejejeje

"HDP" Por esta mujer que dejó el auto estacionado en medio de la calle con balizas, se fue 15 minutos y el tránsito colapsó por su culpa en Avellaneda.

@RogdonFreeman @maxifirtman @PoliciaCiudadBA @jorgemacri Si. Yo tengo mi vecina que también hace lo mismo, ya me queje al consorcio. Se piensan que a todos les gusta sentir su droguita rancia

@maxifirtman @PoliciaCiudadBA @jorgemacri Yo tengo un vecino en el piso de arriba que se la pasa llevando putas, fumando marihuana, consumiendo y vendiendo cocaína, imposible dormir y vivir. Llamas al 911 y los hijos de puta no vienen nunca. Haces la denuncia al MPF y no hacen nada. Se olvidaron de los vecinos...

Un ejemplo del desastre en la @PoliciaCiudadBA de @jorgemacri y de la justicia en CABA. Un conocido está siento hostigado y amenazado por una persona. Ya le mandó audios sobre "cometer una locura" y esta persona le manda fotos de la puerta de su casa anunciando que está ahí. La denuncia en la comisaría fue tomada después de que quisieron despacharlo con pocas ganas (tipo "mirá que tenés dos o tres horas de demora") donde finalmente le tomaron la denuncia (con una oficial con muy buena predisposición) y, además de la copia de la denuncia, le dieron un papel impreso escaneado de una fotocopia poco legible con algo de información para la víctima de este delito. Un papel patético, con cosas que tachan a mano porque es información vieja y el teléfono del jefe de servicio. Le avisan que si llama a ese número avise quién se lo dio porque sino no lo van a querer atender. La oficial le dijo que podía ir a la OVD (Oficina de Violencia Doméstica) a pedir una restricción sobre esta persona. ¿Estás segura -le dice a la oficial- porque este caso no es violencia doméstica? Sí, es ahí, acá le decimos VD a todo. El teléfono y dirección en el centro de esa oficina están en ese papel que imprimen escaneado de una fotocopia. Mientras tanto la persona cometiendo el delito aparece de nuevo en el domicilio y ante el llamado de la víctima para avisar al teléfono del "jefe de servicio", no lo tratan muy bien al ritmo de "estamos muy ocupados acá". Finalmente, en la OVD, y como era lógico, le dicen "acá no es, tiene que ir a la fiscalía donde está la denuncia para pedir una orden de restricción". De ahí entonces fue a la fiscalía y allí no tienen noticia de la denuncia (van 3 días desde que se formuló). Le dijeron: "y, capaz este viernes llega acá, mientras tanto llame al 911". Un desastre todo.

gemma4-26b의 완벽한 파인튜닝을 성공했습니다. - 0/100 refusal 완벽 무검열 - 툴콜/토크나이저 모델 태생 이슈 해결 - 벤치기준 기존 대비 성능 10% 향상 - 출력토큰 속도 10% 향상 - 프롬프트 처리속도 약 90% 향상 완벽한 모델이 완성되었다고 생각합니다. gguf / mlx 두개 버전 ⬇️

@Negocios_Arg ahora le tiro el prompt a la AI "Dame la opinión pesimista sobre x aplicación que desarrollé ..." y te tira, la mayor de las veces, la posta.

Imaginate que te estás matando para armar tu startup… publicás en las redes con la mejor onda… y viene un NN y te responde con ese baldazo de agua helada, honestidad tan brutal que te duele leerlo jajaj Yo hubiera pagado por esa franqueza en múltiples ocasiones.

@GroqInc Supports Ollama-compatible endpoints, safe background downloads, and a scratch-built Glassmorphism UI. It's the perfect environment to experiment with LLMs without the headaches. Any feedback or PRs are highly appreciated! #MachineLearning #LLM #HuggingFace #OpenSource

🔥 Why use it? ✨ Semantic Model Search accelerated by Llama-3 via @GroqInc (Just ask naturally). ⚡ Native Quantization Calculator (No more "Out of memory" errors when loading 14GB PyTorch weights!). 🌍 Millisecond i18n auto-translation (UI and Base Prompts 🇺🇸/🇪🇸).

Tired of dealing with slow UIs and models crashing my PC, I built LLMFront 💻🤖: An Open Source hub (FastAPI + JS) to explore, download, and run any Hugging Face weights Locally (Native) or in the Cloud, all in 1 place. #AI #llm #IA github.com/cesjavi/llmfro…