Bonatto@fiBonatto
Desenhei pra ver se vibe-coder entende.
Não vou postar links e artigos de novo, está na aba do meu perfil. Vou me reservar apenas a explicar a minha fala sobre os dados.
Primeiro de tudo, eu parto do pressuposto de que `P != NP`, como consequência disso, há um limite de coisas que podemos resolver.
Já limitamos o que as IAs podem fazer só com a nossa própria limitação. Mas podemos dar um passo além e perceber que a limitação da IA é abaixo a do ser humano. Nós podemos fazer coisas que elas não conseguem.
Dado que LLMs são multiplicadores de matrizes, o conhecimento delas é limitado ao que já foi produzido. Isso é, IA não cria nada da mesma forma que IA não tem e, os modelos atuais, não teriam como ter uma consciência. Isso foge um pouco do tema, mas vale pontuar pra contextualizar.
IAs não possuem conhecimento e nem criatividade. Elas emulam isso de forma probabilística. Quanto mais provável for algo, mais a IA tende a acertar. TENDE.
Vamos supor que a IA consiga resolver 90% dos problemas que um ser humano consegue e vamos ignorar todos os outros. São problemas reais e que as LLMs conseguem resolver e é provado isso. Isso é coisa para um cacete!
Desses 90%, um estudo da OpenAI mostrou que a alucinação das IAs pode chegar a 48% e ela terá certeza de que está certa. Metade dos casos que ela pode resolver, pode sair uma solução errada. E o pior, essa solução pode ainda funcionar em testes e dar a sensação de que a IA fez o correto.
No artigo eu cito o caso do banco de dados refeito em rust. Nada lá falava que estava errado, ela fazia tudo o que os testes requeriam. Ou seja, 43,2% dos casos que uma IA consegue resolver não são confiáveis e devem ser analisados por um especialista. Essa foi a abordagem da AWS, após a IA deles derrubar o sistema por 13 horas. Isso não é menos trabalho, é mais trabalho e isso é o oposto de ineficiência.
E isso é porque nós ainda nem falamos dos 10% que a IA não consegue resolver. Pode parecer pouca coisa, mas a complexidade e especificidade dessa porcentagem, motivo da IA ser incapaz de resolver, são maiores do que de 10% do outro grupo. Uma tarefa desse não gasta o mesmo tempo e recurso que uma tarefa do outro grupo.
O que é mais complicado e que demanda mais tempo e dinheiro, alterar uma string no meio de um texto ou otimizar a alocação de memória numa ECU automotiva antiga? Essas coisas não demoram o mesmo tempo pra resolver e nem o mesmo tempo para se especializar para resolver.
Quanto mais específico for o problema, menor a probabilidade da IA acertar, chegando a casos de acerto nulo. Ela pode passar anos chutando o que ela acredita que é o problema, mas isso não é eficiência. Falar que a IA torna o desenvolvedor mais eficiente é jogar todo mundo no mesmo balaio e achar que tomate pode ir na salada de fruta só porque é uma fruta.
Isso tudo é ignorando todos os outros problema de performance das IAs, consumo de energia, RAM, armazenamento e processamento. Vamos fingir que é a criação mais eficiente de toda a história. Ainda assim, IA é um aumento de eficiência em menos da metade dos casos e onde ela atua é um recurso redundante. Uma pessoa que estuda resolveria o mesmo problema. Qual dos dois é o mais eficiente, o que entrega mais rápido ou o que entrega melhor? Eu tendo a acreditar que o que entrega melhor.
Em nenhum momento eu falei que a IA não possui valor e que não deve ser usada. Falei que ela possui falhas e deve ser usada com cautela. Não é um absurdo prezar pela qualidade do trabalho feito, isso parece ser o mínimo para qualquer profissional que seja minimamente bom.
