Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo

Gonçalves, Luiz Marcos Garcia

2019-11-28

Acessibilidade

Audiodescrição

Descrição de vídeo

Aprendizado profundo

Geração automática

A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real.

Audio description is an accessibility feature designed to make visual information accessible to blind or low vision people. To increase the range of audio description tracks in digital video applications, we propose a system for automatic audio description generation of videos. The system can use as source of information about the film the original script or the video itself. As a proof of concept, we developed a prototype that automatically generates audio description based on actions taken from the script and objects recognized in the video. The experiments contemplated the application of the solution in fiction films and surveillance videos. For fiction films, an evaluation was made with blind people. The results indicated that through the automatic audio description generated by the solution, it was possible to provide contextual information that can help the user in the general understanding of the story. For surveillance videos, a performance evaluation was made using the delay time of each component. Results indicate that a solution has the potential to be used in contexts that require real-time AD.