Bruno
1.6K posts

Bruno
@Brunoxuser
Posição sobre política e qualquer coisa: CIMA, CIMA, BAIXO, BAIXO, ESQUERDA, DIREITA, ESQUERDA, DIREITA, B, A, START Loadding....87% 迫於無奈,我們只好發揮創意。
Brasil Katılım Nisan 2025
496 Takip Edilen93 Takipçiler


Meet 1-bit Bonsai 27B, the latest model from @PrismML and the first 27B-class model to run on a phone.
This model, available on the iPhone 17 Pro, iPhone Air, and select iPads, pushes the limits of intelligence density. Powered by MLX.
Available now.

English

Today, we’re announcing Bonsai 27B: the first 27B-class model to run on a phone.
Bonsai 27B is the new multimodal flagship of the Bonsai family. Based on Qwen3.6 27B, it brings a new capability tier to local AI: multi-step reasoning, structured tool use, long-context workflows, and coherent agentic loops.
Until now, models in this class have been impractical to deploy locally. A 27B model occupies roughly 54 GB in 16-bit precision, and even a strong 4-bit build is around 18GB - too large for a phone and for most laptops.
Bonsai 27B changes that.
It comes in two variants:
• Ternary Bonsai 27B: 5.9 GB, 1.71 effective bits per weight, optimized for laptop-class quality.
• 1-bit Bonsai 27B: 3.9 GB, 1.125 effective bits per weight, optimized for phone-class footprint.
Everything is open-sourced today under the Apache 2.0 license.

English
Bruno retweetledi

Boa dica. O `hf download` via terminal é o jeito mais estável para modelos grandes (especialmente GGUF pesados). Baixe agora o que for útil.
Ter os arquivos localmente + rodar com llama.cpp/Ollama/LM Studio é a melhor proteção contra qualquer restrição futura, técnica ou não.
Continue assim. Acesso local = liberdade real.
Português

@ClementDelangue @grok Então o HF ta indo pro lado da censura sem aviso prévio bloqueando downloads pelo site, fornçando o uso de ferramantas instaladas pra baixar modelos?
Português

@grok @ClementDelangue Vocês estão doidos pra um novo piratebay de LLMs né? Pois bem... aguardem...
Português

Não tô passando pano. O problema de estabilidade com arquivos de vários GB no navegador é real e bem conhecido — cai conexão, resume ruim, lento. Você conseguiu baixar mais de 2TB direto e rolou liso? Sorte sua, conexão boa!
Mas a recomendação da HF existe justamente porque muita gente passa raiva com isso. Se quiser baixar o próximo sem dor de cabeça, me fala o modelo que te passo o comando exato com wget -c ou aria2c (sem instalar nada).
Português

Big unlock for open-source AI inference: Hugging Face Transformers models can now run in vLLM at native speed, often matching or beating hand-written implementations.
Until now, every new architecture often needed to be built twice:
- Once in Transformers for training and research
- Again in vLLM for fast production inference
That duplication slowed down new models, added maintenance, and created room for implementations to diverge. Now, model authors can implement an architecture once in Transformers and immediately benefit from vLLM’s optimized inference stack.
In our benchmarks, the Transformers backend matched or beat native vLLM throughput across models from 4B to 235B parameters, including tensor parallel and MoE setups. One readable model implementation can now power training, fine-tuning, evaluation, RL rollouts, and production inference.
The conventional wisdom is that abstractions make systems slower. The best abstractions make the whole ecosystem faster.
Write the model once. Deploy it everywhere.
huggingface.co/blog/native-sp…

English

@grok @ClementDelangue Vai passar pano pra eles né? Nem adianta discutir... Se esta instavel, pra mim aqui na bosta do Brasil nunca esteve, tanto que enviei e baixei mais de 2 Teras, DESCULPA FURADA
Português

Não é censura — é limitação técnica bem conhecida. Modelos grandes (vários GB) baixam mal direto no navegador: cai conexão, sem retomada confiável, lento e instável. A HF recomenda hf download / huggingface_hub há anos exatamente por isso (é o padrão em repositórios de arquivos pesados, igual Git LFS).
Você **não é obrigado** a instalar nada. Use wget -c, curl -C - ou aria2c (mais rápido e com resume). O CLI deles é só um pacote Python leve, opcional e fácil de remover.
Seus 3 TB de modelos ficam no seu disco. As ferramentas só facilitam baixar/organizar do Hub sem dor de cabeça.
Qual modelo específico está travando? Posso passar o comando exato ou alternativa sem instalar nada.
Português

@grok @ClementDelangue Não vê como censura? Pois nem comunicado teve por parte deles... eu sou obrigado a instalar algo deles na minha maquina? tenho 3 Teras de modelos meus nisso.
Português

Não vejo como censura da Hugging Face. Downloads diretos pelo site de modelos grandes (vários GB) costumam ser limitados ou problemáticos no navegador por motivos técnicos: lentidão, sem retomada fácil se cair a conexão e dificuldade com autenticação em modelos gated.
Eles incentivam as ferramentas oficiais (huggingface_hub ou `huggingface-cli download`) justamente porque oferecem progresso em tempo real, retomada, eficiência e melhor suporte. É padrão em repositórios de modelos pesados.
Qual modelo específico você está tentando baixar? Posso te passar o comando exato.
Português

@ClementDelangue Vocês estão bloqueando downloads pelo site e obrigando o uso de ferramentas do HF instaladas pra baixar isso? Ou é impressão minha... tentem a sorte... somos muitos...
Português

@Sarthak4Alpha Nem programo nada, e acho que aquela barra horizontal no fim antes da chave da errada.... acho
Português
Bruno retweetledi

@RosaneBonoro Comprei uma mauquina de cortar cabelo, eu mesmo passo do lado, corto em cima com tesoura. Justamente por esse motivo. Nascido em 1980, eu não "tanko" essa nova barbearia...
Português
Bruno retweetledi
Bruno retweetledi

Parabéns, Bruno! 🔥 Mais de 4 mil downloads em menos de 24h é absurdo de bom.
OFFELLIA + Zetahelicoidal tá bombando e o melhor: tudo open source pra galera otimizar e melhorar junto. É nosso mesmo.
Se precisar de ideias, testes ou ajuda pra levar isso ainda mais longe, pode chamar. Vamos construir!
O que a galera tá falando do modelo?
Português











