CLL
828 posts
Existe um conceito nas LLMs chamado context window. Esses modelos funcionam com uma "janela de contexto", ou seja, eles só enxergam e utilizam as informações que estão dentro daquele trecho de conversa naquele momento. Porém, em alguns casos, dependendo da plataforma, também pode existir memória de sessão ou histórico, que influencia respostas futuras (Gemini tem isso). O que provavelmente aconteceu (chutando) ocorreu essa memória de chat. Numa outra oportunidade ele já teve ter pesquisado algo sobre tech, ou sobre você e o chat absorveu isso, respondendo dessa forma. Também pode fazer sentido uma mistura de contexto + inferência do modelo. Pode ser que, em algum momento anterior (até fora desse trecho visível), tenham surgido pistas, como nome, área, região, e o modelo acabou completando essas lacunas com informações plausíveis. Quando ele perguntou "quem é Julia?", ele entrou em um comportamento clássico de LLM. Ao invés de dizer "não sei", ele tentou gerar uma identidade coerente, combinando padrões comuns (nome brasileiro, universidade, área técnica, etc.). Isso dá a impressão de que ele "sabia quem você era", mas na prática é uma alucinação contextualizada, não um vazamento ou algo do tipo.
Eu quero saber quem sao os brabo que rodam LLM local. Qual o estado da arte dessa porra?
