Por que eu não posso confiar cegamente na resposta do ChatGPT?

Entendo alucinações artificiais, seus sintomas, tipos e causas

Me siga no X | Me siga no LinkedIn | Apoie a Newsletter | Solicite uma consultoria

---

Nos últimos anos, o problema de geração de textos em linguagem natural teve um salto de melhoria, graças a ao avanço de técnicas de deep learning, popularizadas por modelos como Transformer, BERT, BART, ou GPT. Esses avanços levaram a construção de textos mais fluentes e coerentes, tornando possível a sua utilização para tarefas como sumarização de conteúdo e geração de diálogo.

Dados estes avanços, é difícil de questionar as habilidades dos Large Language models (LLMs), como o ChatGPT, em gerar conteúdo em linguagem natural. Parte dessas capabilidades advém, notoriamente, da abundância de bases de dados que estes modelos são treinados, além da capacidade que esses modelos tem de generalizar este conhecimento.

Alucinações artificiais

No entanto, o processo de codificação de dados em um LLM pode incorrer em perdas de informação, o que faz com que o processo de generalização tenha “distorções de memória”. Como resultado, estes modelos tendem a alucinar, ou seja, fornecer percepções falsas ou distorcidas geradas pelo próprio modelo.

Essas alucinações —termo técnico utilizado para descrever essa limitação—, é caracterizado pela geração de conteúdo que não é representativo (ou sem sentido, ou até mesmo incorreto). Isto ocorre principalmente devido a erros no processo de codificação ou decodificação entre textos e representações intermediárias.

Alucinações, no entanto, não se restrigem somente a dados incorretos gerados pelos modelos. Em um estudo recente, foi observado que LLMs podem ser consultados de forma a recuperar dados pessoais sensíveis, como email, telefone, endereço) utilizados no processo de treino. A recuperação destes dados também é considerado como uma alucinação, uma vez que o modelo pode gerar textos com dados sensíveis, potencialmente expondo informações privadas.

Do ponto de vista do usuário, alucinações degradam a qualidade e utilizada das respostas, levantando questionamentos sobre a veracidade, confiança e segurança da informação produzida, limitando sua aplicação para diversas aplicações do mundo real.

Tipos de alucinações

Segundo a literatura científica, há basicamente dois tipos de alucinações artificiais:

1. Alucinações intrínsecas: Ocorre quando a saída do modelo contradiz com a fonte de dados. Por exemplo, o ChatGPT indicar que a primeira vacina do Ebola foi aprovada em 2021 contradiziria com os dados de treino que indicam que a primeira vacina foi aprovada em 2019.

2. Alucinações extrínsecas: Este caso ocorre quando não se é possível verificar a saída do LLM na fonte de dados. Por exemplo, o ChatGPT indicar que a China iniciou a testagem para Covid19 em 2021 não pode ser encontrada na fonte. Logo, não se é possível encontrar evidencias para refutar ou confirmar a sentença.

Ingenuamente, é possível imaginar que o problema de alucinações poderia ser resolvido pela introdução de um conjunto ainda maior de dados no processo de treino. No entanto, mesmo com o crescimento exponencial dos tamanhos dos modelos, LLMs dificilmente poderão codificar todas as informações necessárias para diversos tipos de problemas e contextos. Por exemplo, mudanças constantes em ambientes reais tornam rapidamente um LLM obsoleto para tarefas que são sensíveis ao tempo. Ademais, por questões de privacidade, LLMs dificilmente poderão ser treinados em bases de dados proprietárias.

Causas das alucinações

Embora o entendimento das alucinações artificiais ainda seja uma área de aprofundamento de estudo e pesquisa, há algumas causas conhecidas.

Uma das causas é conhecida como “divergência fonte-referência”. Durante o processo de treinamento, o LLM é exposto a uma grande quantidade de texto para aprender os padrões e relações linguísticas. No entanto, a natureza vasta dos dados textuais pode conter inconsistências e contradições. Quando isso acontece, o modelo pode ser encorajado a gerar texto que não é necessariamente fundamentado.

Outra causa ocorre devido a dados duplicados do conjunto de treino não são corretamente filtrados. Infelizmente, por conta da escala (facilmente acima dos Gigabytes), realizar verificação manual dos dados é uma tarefa árdua e proibitiva. No entanto, é sabido que exemplos duplicados do corpus de pré-treinamento podem influenciar o modelo a favorecer a geração de repetições das frases memorizadas a partir dos exemplos duplicados.

O tipo de conversação também pode influenciar na probabilidade do LLM gerar alucinações. Por exemplo, é aceitável que um LLM responsa de maneira subjetiva a diálogos abertos, em que se valoriza a diversidade da saída gerada. No entanto, essa característica de conversação tende a levar a alucinações.

Ademais, a “temperatura” de um LLM pode também afetar a qualidade da resposta (e sua chance de incorrer em alucinações). A temperatura é um parâmetro (que varia de zero até 1) utilizado no processo de amostragem das respostas geradas pelo modelo. Ela controla a aleatoriedade das saídas do modelo. Uma temperatura alta, como 0.9, aumenta a aleatoriedade e a diversidade das respostas, tornando-as mais criativas, porém menos confiáveis. Isso ocorre porque o modelo é indicado a explorar possibilidades mais remotas, podendo gerar informações incorretas. Por outro lado, uma temperatura baixa, como 0,2, diminui a aleatoriedade e tende a gerar respostas mais confiantes e previsíveis.

Há várias outras fontes de alucinações, como por exemplo nas etapas de codificação e decodificação dos dados. Um codificador é responsável por compreender e, obviamente, representar os dados de entrada em um determinado tipo de representação. No entanto, caso o codificador com uma capacidade limitado de compreensão dos dados pode influenciar o grau de alucinação. Um decodificador, por outro lado, recebe a entrada codificada e gera a sequencia de saída. De maneira similar, decodificadores podem não ter uma boa compreensão dos dados codificador de entrada, gerando saídas errôneas.

O que se tem feito para reduzir as alucinações em LLMs?

Reduzir as alucinações em LLMs é um problema complexo que a comunidade cientifica bem se debruçando ativamente nos últimos anos. Dentre as abordagens que podem ser exploradas para mitigar esse problema, podemos destacar:

1. Melhoria do treinamento: Uma possível estratégia é aprimorar o processo de treinamento dos LLMs, utilizando técnicas como filtragem de dados ou validação mais rigorosa das fontes. Isso ajudaria a reduzir a presença de informações incorretas ou inconsistentes nos dados utilizados para o treinamento, minimizando assim as alucinações.

2. Desenvolvimento de mecanismos de verificação: Introduzir métodos de verificação ou validação de informações durante a geração de respostas pode ajudar a minimizar a ocorrência de alucinações. Isso pode envolver a identificação de informações conflitantes ou a solicitação de fontes para respaldar afirmações específicas.

3. Maior conscientização e transparência: Aumentar a conscientização sobre as limitações dos LLMs pode ajudar os usuários a avaliar criticamente as respostas recebidas. Informar e educar os usuários sobre a necessidade de verificar informações e buscar fontes confiáveis é fundamental.

Tu te tornas eternamente responsável pelo prompt que utilizas

O entusiasmo que ferramentas como ChatGPT não deve ser capaz de ofuscar os riscos que podem ser introduzidos.

Reduzir ou eliminar completamente as alucinações em futuras versões de LLMs é um desafio complexo, e a comunidade científica parece ainda estar longe de alcançá-lo.

Nos resta reconhecer que, embora sejamos usuários destas ferramentas, somos responsáveis pela acurácia da informação que fornecemos; independente do mecanismo que utilizamos para coletar essa informação.