
@lorenzolfm qwen3.5 4b q4km para rtx 3060 cpm 12gb roda de boa com contexto de 64k. Para uma placa com 24GB de Ram pode usar um 9b com contexto de 128kb e até 4 usuários simultâneos. É o que funcionou. Os modelos lamma também rodam, mas não são tão bons.
Português






















