Chatbot inteligente para acesso a regulamentos acadêmicos: um sistema de recuperação de informações baseado em RAG

Lima, Jean Mario Moreira de

Universidade Federal do Rio Grande do Norte

2025-01-21

Chatbot

Normas

Modelos de linguagem de grande escala

Acesso à informação

O mercado de chatbots no Brasil encontra-se em franca expansão, evidenciado pelo aumento expressivo tanto no número de bots em atividade quanto no volume de mensagens processadas. Esses sistemas apresentam grande potencial para modernizar serviços, sobretudo no setor público, ao facilitar a disseminação de regulamentações complexas e ampliar a acessibilidade para cidadãos e servidores. Em paralelo, cresce o interesse acadêmico por modelos de linguagem de grande escala, refletido na quantidade de publicações científicas que destacam sua capacidade de compreender e gerar linguagem natural de forma mais contextualizada e confiável. Diante desse cenário, este trabalho tem como objetivo desenvolver um chatbot inteligente baseado em modelos de linguagem de grande escala para facilitar o acesso às normas acadêmicas da UFRN, promovendo maior acessibilidade e precisão na obtenção de informações. Para contornar limitações como necessidade de dados atualizados e respostas mais contextualizadas, emprega-se o método Retrieval-Augmented Generation, que integra geração de texto e recuperação de fontes externas. Ao longo do desenvolvimento, a estruturação do dataset com o framework RAGAS e a escolha criteriosa da segmentação semântica dos regulamentos mostraram-se cruciais para a consistência das respostas. Os testes realizados evidenciaram que a abordagem de recuperação tradicional combinada com reranking proporcionou os melhores resultados, enquanto métodos como consultas múltiplas e geração de documentos hipotéticos não apresentaram desempenho satisfatório. O modelo Rerank 1.0 da Amazon foi determinante para filtrar documentos irrelevantes, garantindo maior precisão e confiabilidade. Em ambiente de produção, o chatbot atingiu bom desempenho, com consumo médio de memória de 241 MB e tempo de resposta aproximado de 4,5 segundos, indicando escalabilidade e robustez da solução. Apesar desses avanços, desafios como custo computacional e ajustes contínuos permanecem, reforçando a necessidade de aperfeiçoamento. Em síntese, a proposta apresentada fornece uma abordagem sólida e replicável para implementação de chatbots baseados em Retrieval-Augmented Generation, com aplicações em contextos acadêmicos e administrativos que exijam alta precisão e contextualização das informações.

The Brazilian chatbot market is experiencing rapid growth, marked by a notable increase in both the number of active bots and the volume of processed messages. These systems hold significant potential for modernizing services, particularly in the public sector, by streamlining the dissemination of complex regulations and enhancing accessibility for citizens and public servants. In parallel, there has been a surge in academic interest in large language models, evidenced by the growing volume of scientific publications that highlight their ability to understand and generate natural language with greater contextual accuracy. Against this backdrop, the present study aims to develop an intelligent chatbot based on large language models to facilitate access to the academic regulations of UFRN, thereby promoting improved accessibility and information accuracy. To address challenges such as the need for up-to-date data and more contextualized responses, we adopt the Retrieval-Augmented Generation approach, which combines text generation with external data retrieval. During the development phase, the structured dataset created with the RAGAS framework, alongside a well-considered semantic segmentation of the regulations, proved essential for ensuring consistent responses. Test results indicated that a traditional retrieval method enhanced by reranking yielded the most satisfactory outcomes, while techniques such as multiple queries and hypothetical document generation did not demonstrate satisfactory performance. The Rerank 1.0 model from Amazon played a key role in filtering irrelevant documents, thereby improving the precision and reliability of the responses. In a production environment, the chatbot showed robust scalability, consuming an average of 241 MB of memory and achieving a response time of approximately 4.5 seconds. Nevertheless, challenges remain, including computational costs and the need for continual adjustments. Overall, this study provides a solid and replicable approach to implementing Retrieval-Augmented Generation chatbots, with potential applications in both academic and administrative contexts that demand high precision and contextualization of information.