Dicer.CTO

2.7K posts

Dicer.CTO

Dicer.CTO

@Cryptomerca

To cero or valhalla.

Buenos Aires, Argentina Se unió Ekim 2021
468 Siguiendo29 Seguidores
PLP DINAMARCA
PLP DINAMARCA@PLPDinamarca·
100% de acuerdo pero de nuevo, cuando se trata de una lucha de poder poco importa el dinero en corto plazo. Mi opinión es la misma, no valen ni en pedo hoy lo que están valuadas y probablemente se adelantaron mucho a apostar tan fuerte. Pero también hay que entender el riesgo en no ser los primeros en alcanzar la AGI y probablemente vale mucho más que lo que están quemando.
Español
1
0
1
130
ae^((-(x-b)^2)/(2c^2))
ae^((-(x-b)^2)/(2c^2))@JohnGalt_is_www·
Hace menos de 3 años, la inferencia local era totalmente inviable con el hardware retail, el mejor modelo que teniamos era llama2 70B, que tenia 1/10 de la capacidad que tiene gemma4 o qwen3.5, o sea no servia para mucho Ademas por las pocas optimizaciones que habia aun, necesitabas un hardware de 10k usd de ese entonces o mas para que mas o menos ande a una velocidad "aceptable" tipo que te tarde 1 minuto en responder algo simple con un contexto de 10 paginas. Hoy estos modelos open source pueden andar en una compu de 2k usd o menos, y a una velocidad impresionante, 162 t/s decode y 8400 t/s prefill, significa en castellano que le podes mandar un libro de +200 paginas para que te resuma el libro en 4 paginas y completa la tarea en ~12 segundos Yo sinceramente no entiendo como siguen tan voladas las empresas que apuestan a los giga datacenters de IA, no tengo dudas que el futuro de la inferencia va a ser local, quiero decir, se van a procesar los tokens en las computadoras de cada uno, y no en monstruosos datacenters
Base Camp Bernie@basecampbernie

Gemma 4 26B MoE (4B active) on a single RTX 4090: - 162 t/s decode - 8,400 t/s prefill - Full 262K native context — 19.5 GB VRAM - Only 10 Elo below the 31B dense Q8_0 on dual 4090+3090: 9,024 t/s prefill at 10K. 2,537 t/s at full 262K — that's a novel in about 100 seconds. Q4_K_M + q8_0 K / turbo3 V using @no_stp_on_snek 's TurboQuant fork (github.com/TheTom/turboqu…). KV quant saves 1.8 GB, costs nothing. 3.7x faster decode than the dense. Single 4090 (262K): llama-server -m gemma-4-26B-A4B-it-UD-Q4_K_M.gguf -c 262144 -np 1 -ctk q8_0 -ctv turbo3 -fa on --fit off --cache-ram 0 -dev CUDA0 Dual GPU (Q8_0, 262K): llama-server -m gemma-4-26B-A4B-it-Q8_0.gguf -c 262144 -np 1 -fa on --fit off --cache-ram 0 llama.cpp b8635 + turboquant fork #Gemma4 #LocalLLM #llama_cpp #TurboQuant #RTX4090 #MoE #AI #OpenSource #GGUF #LocalAI

Español
33
32
461
33.5K
Cinema Paradigma
Cinema Paradigma@cinemaparadigma·
Necesito ver una película de esas que te cambian la vida. Pero que no sea de las que a todos se nos vienen a la cabeza de una. Alguna recomendación? Abierto a todo tipo de sugerencias
Español
593
75
1.7K
234.2K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@aleprietoo_ Que alguien ponga el meme de: "se dió cuenta!!!"
Español
0
0
0
117
Ale Prieto
Ale Prieto@aleprietoo_·
Me haces pagar IIBB, créditos-débitos, tasas municipales insólitas, los servicios funcionan como el ojete, el transporte en su mayoría también las tasas bancarias son delirantes, ¿y encima me queres arancelar las universidades? Te garchaban menos en la URSS
Español
19
8
214
5.8K
Ale Prieto
Ale Prieto@aleprietoo_·
La universidad pública argentina acaba de meter un satélite en el primer proyecto para llegar a la Luna en +50 años. No hay que arancelar un carajo, es más, hay que aumentarle el presupuesto todo lo que se pueda. Dejen de pedir boludeces por estar sobreideologizados.
Carajo@CarajoStream

Hay que arancelar la universidad publica YA

Español
161
659
4.7K
79.7K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@ival79 Es exactamente al revelés salame, en estos casos en general se juzga de manera demencial y desproporcionada a "los chetos" pero de forma condescendiente a los de "condición humilde".
Español
0
0
0
27
Pablo c☕️n P 🇦🇷☀️
Espero que sean juzgados y condenados por la justicia y por los medios, como si fueran personas pobres, de piel marrón y del conurbano.
Pablo c☕️n P 🇦🇷☀️ tweet mediaPablo c☕️n P 🇦🇷☀️ tweet mediaPablo c☕️n P 🇦🇷☀️ tweet media
Español
212
745
4.5K
515.3K
Nicolas
Nicolas@jnico17·
@gringonomas Esto es todo la tengo para decir o mostrar
Español
5
1
41
2.3K
Diego
Diego@gringonomas·
Veo los posteos de conocidos y ver AC/DC desde una platea es como chupar una teta con corpiño. Campo o nada
Español
54
46
554
71.3K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@JohnGalt_is_www Estás equivocado aún teniendo razón. Esto es un negocio acá no hay racionalidad, uso eficiente de los recursos, y demás idealismos. El modelo que quieren es "Te vas a suscribir y me vas a pagar todo lo que quieras hacer con IA", punto. Localmente va a correr el 1% con suerte.
Español
0
0
0
17
ae^((-(x-b)^2)/(2c^2))
ae^((-(x-b)^2)/(2c^2))@JohnGalt_is_www·
Vayan acostumbrandose a este concepto, de "inteligencia útil x Gb" En vez de medir los LLMs por que tanto aciertan en preguntas cada vez mas rebuscadas de PhD y coso (para lo que se puede overfitear el RL) Se mide por el contrario, que tanto le pifian en preguntas o razonamientos tipicos del dia a dia, normalizando por Gb de memoria RAM utilizado para realizar la tarea Creo que el futuro de la inferencia va a ser local, privada y costo-eficiente y que va a seguir siendo cuello de botella cada vez mas la memoria RAM, mas aun porque "la utilidad" de los modelos va a depender cada vez mas del contexto que del modelo Una cosa es escalar la parte fisica/infra de toda la insutria al 50% anual cuando es algo chico y otra cuando es el monstruo que son hoy los datacenters y su infra Se puede seguir escalando esos bichos a estas tasas? si, pero cada vez con menor costo-eficiencia, eso se ve en la industria en el precio del token como commodity que al empezar a subir muchas startups son una bomba de tiempo de quemar guita Asi q mas alla de la necesidad de modelos chicos por el tema inferencia local y privacidad, se suma la necesidad de eficiencia energetica y de costo por token si esto sigue escalando Asi que sigo con mi tesis que vamos a ir a modelos cada vez mas chicos que requeriran cada vez menos computo y mas RAM
PrismML@PrismML

Intelligence density = how much useful intelligence a model delivers per GB. By this measure, 1-bit Bonsai 8B scores 1.06/GB, while the closest nearby full-precision 8B model scores 0.10/GB. This isn’t a small efficiency gain — it’s a new paradigm of intelligence compression: advanced capability in a radically smaller deployment footprint.

Español
18
33
293
28.6K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@Carisbu @odiadisimaaa Que miserable que sos, los hijos y menos aún los nietos no tienen ninguna responsabilidad por los actos de sus antepasados.
Español
1
0
8
686
Cari*
Cari*@Carisbu·
@odiadisimaaa yyy esa ya nació rota con ese apellido y familia, ella solita se arruinó 😅
Español
1
0
66
15K
Cari*
Cari*@Carisbu·
Acá tienen a Fini Lanusse, la que se robaba los propofol y fentanilo del hospital italiano,para hacer fiestas con otros anestesiólogos y drogarse, esta piba es de familia de Muchísima guita y apellido político, que no se la coma la impunidad.
Cari* tweet mediaCari* tweet media
Español
96
1K
6.9K
467.1K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@os0buc0 @chiniescobar Por favor boludo es por ahi, corten calles, molesten al ciudadano común, muchas pancartas, carteles, porro. No paren un segundo. Muchas gracias.
Español
0
0
0
72
agustina
agustina@chiniescobar·
En este momento estoy en una clase pública en Sociales UBA. Los vecinos nos tiran bombuchas con lavandina. País completamente roto.
Español
1.3K
1K
17.1K
693.3K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@mariaroad_ Dios mío, que importante. No sé como voy a seguir viviendo.
Español
0
0
0
11
Acervo Mery the Roadie
Acervo Mery the Roadie@mariaroad_·
Javier Milei, Manuel Adorni, Patricia Bullrich, Luis Caputo, Sandra Pettovello, Mariano Cuneo Libarona, Santiago Caputo y Karina Milei habrían intervenido para que el ciudadano argentino NO tenga esto en la Parroquia Niñito Jesus de Lugano Por favor RT
Español
1
9
69
2.6K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@sixtocristiani Sixto te hago una pregunta. Llegás a juntar el dinero para comprar un departamento. En la ciudad A hay antecedentes de que la Intendencia ha expropiado varias propiedades. En la ciudad B no hay ningún antecente de lo anterior. Dónde ponés la guita?
Español
2
1
4
155
Sixto
Sixto@sixtocristiani·
Hay varios referentes libertarios diciendo que la expropiación de YPF senta un mal precedente para la Argentina por inseguridad jurídica en la propiedad privada. Es una estupidez. Si el fallo es a favor nuestro la norma cumplió todos los procedimientos. ¿En todo caso la constitución sería la que brinda inseguridad jurídica? La argentina no puede renunciar a la expropiación como instrumento. Todos los que operan en el país saben que se le puede expropiar. Esas son las reglas del juego.
Español
6
7
85
3.6K
Emiliano Balaguer
Emiliano Balaguer@BalaguerEmi·
@sixtocristiani Además repsol es un caso testigo de que se los expropió porque era un sector clave en el que ellos no estaban invirtiendo para desarrollar a futuro, era puro saqueo nomás. Si alguien quiere venir a saquear me importa tres carajos que le asuste la inseguridad jurídica y no venga.
Español
1
0
11
235
Dicer.CTO
Dicer.CTO@Cryptomerca·
@TugoNews Uffff fondo de olla total. Usar una tragedia así para salir a pegarle al gobierno. Cuán miserable tenés que ser?
Español
0
0
0
25
TUGO News
TUGO News@TugoNews·
“Salió con la escopeta, gritó SORPRESA y empezó a disparar, y cuando lo agarró la policía se empieza a reír y decir que quería matar a toda la escuela” Esto pasa en la sociedad cuando estamos gobernados por PSICÓTICOS como el presidente, absolutamente todo roto
Español
697
1.9K
13.1K
682.8K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@MauroFdz Imaginate ser tan miserable de enterarte de una tragedia así y que lo primero que te nazca es salir a twitear usándola para pegarle al Gobierno. Que tipo resentido debés ser hermano.
Español
0
0
0
22
Dicer.CTO
Dicer.CTO@Cryptomerca·
@AgustinLaje Cerrá el orto Agustín, hay que organizar este desastre primero, no podemos seguir abriendo frentes de batalla en este momento.
Español
0
0
0
1
Agustín Laje
Agustín Laje@AgustinLaje·
Derogar el aborto es una obligación moral: sin respeto irrestricto al derecho a vivir no hay libertad que valga.
Español
1.3K
1.2K
5.6K
572.5K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@ragazzissimo Contame por favor quee quiero cagar de la risa un rato.
Español
0
0
1
3.1K
Dicer.CTO
Dicer.CTO@Cryptomerca·
@UlisesDavid__ Es exactamente lo que diría alguien que piensa que la pelota rebota porque tiene un sapo adentro.
Español
0
0
0
1
Dicer.CTO
Dicer.CTO@Cryptomerca·
@3Cebolla Si es bait, ok. Si es en serio, sos mogólico. No hay tercera opción.
Español
0
0
0
13
Triple Cebolla 🇦🇷
El año que viene hay que tirar 5 puntos del PBI en obra pública, metés desempleo 0, hacés campaña y después vemos como se paga. Si da déficit será malo pero que gane el peronismo es una bomba atómica fiscal y va a ser peor, el mercado tiene que entender.
Español
163
107
2.2K
110K