GamesTudo · 16/11/2026 16:04

Cientistas concebem AI que lê lábios em silêncio absoluto e bate recorde de precisão

Cientistas concebem AI que lê lábios em silêncio absoluto e bate recorde de precisão

Os pesquisadores do Instituto Avançado de Ciencia e Tecnologia da Coreia (KAIST) desenvolveram uma inteligência artificial que consegue identificar palavras apartir dos movimentos dos lábios em vídeos sem audio. Batizado de DLLM-VSR, o sistema atingiu um novo recorde de precisão em testes de leitura labial por AI. A tecnologia ainda está em etapa de desenvolvimento e nao chegou ao público ou ao setor.

O principal desafio desse tipo de ferramenta é diferenciar palavras que produzem movimentos labiais mt similares. É o caso das consoantes “p”, “b” e “m”, que podem ter aparências quase idênticas ao longo da declaração. Pra lidar com essa limitação, o DLLM-VSR utiliza um modelo de linguagem baseado em difusão (DLLM), que adota uma abordagem diferente das IAs tradicionais.

Os sistemas convencionais interpretam as palavras em sequência, da esquerda pra a direita, o que pode influenciar o que vem depois. O DLLM-VSR continua outro caminho: identifica primeiro os termos a respeito de os quais tem maior confiança e usa essas palavras como referência pra preencher as lacunas com informacoes das partes anteriores e posteriores da frase. O sistema igualmente estima diferentes comprimentos possiveis pra a frase com base na duracao do vídeo, provoca uma transcrição pra cada opcao e escolhe a edição mais plausível.

Nos testes, o DLLM-VSR registrou uma taxa de bug de palavras (WER) de 19,4% no benchmark LRS3, com treinamento baseado em 433 horas de vídeos rotulados. O resultado representa o melhor desempenho registrado entre os métodos treinados com o msm conjunto de dados. A métrica contabiliza palavras admitidas incorretamente, omitidas ou acrescentadas ao longo da transcrição, mas nao representa a porcentagem de entrevistas completas compreendidas corretamente.

AI pode ser útil pra aprimorar a acessibilidade A leitura labial automatizada pode abrir caminho pra novos features de acessibilidade destinados a pessoas surdas ou com deficiência auditiva. Com a tecnologia, aparelhos poderiam converter entrevistas em texto apartir de capturas, msm quando nao há gravação de audio. A ferramenta igualmente pode ser útil em cenarios industriais e situações cotidianas com mt ruído, como restaurantes barulhentos ou locais com música alta, nos quais a comunicação por voz fica prejudicada.

O DLLM-VSR ainda precisa de ajustes antes de chegar ao setor, principalmente pra reduzir o consumo de processamento e funcionar em tempo real, sem conexao com a internet, em robôs e aparelhos ves

Continue lendo

Codigos Call of Duty: Mobile: confira lista completa de novembro de 2026 e como resgatar GamesTudo · 16/11/2026 Codigos Call of Duty: Mobile: confira lista completa de novembro de 2026 e como resgatar Codigos Call of Duty: Mobile de novembro foram divulgados pela Acti e pela Garena, com verificação nesta segunda-feira (16). Esta é chance de diversif... Brasil entra na lista de paises com restrições dos EUA pra aquisicao de chips da NVIDIA GamesTudo · 16/11/2026 Brasil entra na lista de paises com restrições dos EUA pra aquisicao de chips da NVIDIA Semicondutores de alta performance desenvolvidos com engenharia norte-americana produzidos data centers passam a demandar autorização prévia de export... GamesTudo · 16/11/2026 Discord libera tema grátis de Grand Theft Auto VI inspirado em Vice City O Discord entrou no clima de Grand Theft Auto VI com um tema grátis inspirado nas luzes de neon de Vice City, possibilitando que os usuários personali...

Você também vai gostar

Ver todas →