Uma metodologia baseada em agentes com avaliação autônoma para extração de conhecimento em textos técnicos

Silva, Ivanovitch Medeiros Dantas da

Universidade Federal do Rio Grande do Norte

2025-12-19

Geração Aumentada por Recuperação (RAG)

Modelos de linguagem de grande escala

Sistemas multiagente

Redes industriais

Recuperação de conhecimento

Documentação técnica

No cenário atual de convergência Operational Technology (OT), Information Technology (IT), e Indústria 5.0, a manutenção e resiliência de sistemas de OT dependem da continuidade do conhecimento. A dificuldade e ineficiência em acessar o conhecimento técnico disperso em documentação não estruturada de sistemas legados, como o protocolo PROFIBUS (Process Field Bus), impactam criticamente a manutenção e a tomada de decisão. Diante disso, este trabalho investiga o uso de arquiteturas de Inteligência Artificial Generativa para recuperar e sintetizar esse conhecimento industrial legada. O estudo compara o desempenho de três configurações distintas: (i) um LLM autônomo (Baseline), (ii) um modelo RAG de agente único, e (iii) uma arquitetura RAG Multiagente. Por meio de um experimento baseado em textos técnicos do PROFIBUS, o desempenho foi avaliado usando métricas quantitativas (ROUGE, BERTScore) e avaliação qualitativa (LLM-as-a-Judge). Os resultados demonstram que a orquestração Multi-Agent estabelece uma hierarquia de desempenho superior. A colaboração e especialização entre agentes aumentam a precisão contextual e a acurácia factual das respostas, ao mesmo tempo em que reduzem a alucinação em 80% de fidelidade ao contexto. O estudo valida a RAG Multi-Agent como um padrão arquitetônico para garantir a confiabilidade na transferência de conhecimento de engenharia, fornecendo um caminho para a automação centrada no ser humano na Indústria 5.0.

In the current scenario of Operational Technology (OT) and Information Technology (IT) convergence and Industry 5.0, the maintenance and resilience of OT systems depend on knowledge continuity. The difficulty and inefficiency in accessing the dispersed technical knowledge within unstructured documentation of legacy systems, such as the PROFIBUS (Process Field Bus) protocol, critically impact maintenance and decision-making. Therefore, this work investigates the use of Generative Artificial Intelligence architectures to retrieve and synthesize this legacy industrial knowledge. The study compares the performance of three distinct configurations: (i) a standalone LLM (Baseline), (ii) a Single-Agent RAG (Retrieval-Augmented Generation) model, and (iii) a Multi-Agent RAG architecture. Through an experiment based on PROFIBUS technical texts, performance was evaluated using quantitative metrics (ROUGE, BERTScore) and qualitative assessment (LLM-as-a-Judge). The results demonstrate that Multi-Agent orchestration establishes a superior performance hierarchy. The collaboration and specialization among agents significantly increase the contextual precision and factual accuracy of the responses, while simultaneously reducing hallucination to 80% faithfulness to the context. The study validates the Multi-Agent RAG as a necessary architectural pattern to guarantee reliability in the transfer of engineering knowledge, providing a pathway for human-centric automation in Industry 5.0.