Cryptolinea

Si vieseis la cantidad de empresas que me estoy encontrando quemando ENORMES cantidades de dinero en GPUs obsoletas o "viejas" de la generación Ampere os caéis al suelo. Luego cuando ven que esos nodos gigantescos que han comprado no sirven mas que para consumir luz, entonces los que se caen al suelo son ellos y no es de risa precisamente... Por favor, si vais a hacer una compra de GPUs para la empresa y encima necesitáis concurrencia. Buscad GPUs de la generación Blackwell como mínimo o preguntad o no sé pero no os dejéis estafar 🙃

HiveOS is down the past 4 hours?

Siempre que se habla de inferencia de modelos la gente en su mayoría habla de tokens/s. Lo cual para algo que vas a usar tu mismo esta bien pero cuando se construye inferencia a escala hay dos cosas que son mucho mas importantes - TTFT: tiempo en el que se genera el primer token - Concurrencia: el número de procesos concurrentes que bajo carga son capaces de soportar las GPUs Me soléis compartir muchos posts de gente metiendo GLM u otros modelos grandes en GPUs "de andar por casa" que generan muchos tokens por segundo. Y eso esta guay como digo pero si su throughput apenas soporta 4 procesos concurrentes no sirve a escala. Por poneros un ejemplo visible. Esta tabla son los resultados de benchmarks de 4 GPUs B200 corriendo GLM 5.2 comparando dos motores de inferencia distintos y diferentes setups buscando la configuración más óptima para correrlo. Aquí si solo midiera Tokens por segundo con el baseline/básico de cada motor iría de lujo porque apenas se nota la diferencia. Sin embargo, cuando empiezas a tocar otras partes para "tunear" el motor, es cuando empiezas a ver una diferencia grande en las 2 métricas que digo que son aun más importantes de atender cuando haces inferencia a escala.