Início Modelos Open ASR Leaderboard amplia avaliação de sotaques com dados do Egito e...

Open ASR Leaderboard amplia avaliação de sotaques com dados do Egito e da Nigéria

0
68
Open ASR Leaderboard amplia avaliação de sotaques com dados do Egito e da Nigéria

O Open ASR Leaderboard passou a incluir dados privados de inglês com sotaques egípcio e nigeriano, ampliando a análise de desempenho de modelos de reconhecimento automático de fala e a representação de variedades linguísticas fora dos Estados Unidos e da Europa.

O Open ASR Leaderboard, da Hugging Face, passou a incluir duas novas divisões privadas para avaliar inglês com sotaques egípcio e nigeriano. A atualização foi anunciada em colaboração com a Liva AI e busca ampliar a representação geográfica nos testes de reconhecimento automático de fala.

Segundo a publicação, a mudança complementa uma iniciativa iniciada meses antes, quando o ranking incorporou 11 divisões privadas fornecidas pela Appen e pela DataOceanAI. Esses conjuntos cobriam fala roteirizada e conversacional de cinco sotaques.

Mais diversidade na avaliação de fala

Depois da primeira expansão, o leaderboard também recebeu uma divisão privada para inglês com sotaque indiano, em parceria com a Voice Arena. A nova etapa adiciona variedades associadas ao Egito e à Nigéria.

A Hugging Face afirma que o objetivo é melhorar a representação de sotaques e idiomas nas avaliações de reconhecimento de fala. A empresa também relaciona o uso de dados privados à tentativa de reduzir o chamado benchmaxxing, prática de otimizar modelos especificamente para conjuntos públicos conhecidos.

Com os novos dados, o ranking passará a oferecer uma separação mais detalhada entre variedades do inglês. A publicação cita a classificação dos Três Círculos de Kachru, uma estrutura usada para organizar diferentes contextos de uso da língua inglesa.

  • Estados Unidos contra outros sotaques avaliados, incluindo Reino Unido, Austrália, Canadá, Índia, Nigéria e Egito.
  • Inner Circle, formado por Estados Unidos, Reino Unido, Austrália e Canadá, contra Outer e Expanding Circles, que incluem Índia, Nigéria e Egito.
  • Possível divisão futura entre os grupos Outer e Expanding à medida que novos sotaques forem adicionados.

O papel dos dados privados

A publicação descreve os conjuntos privados como uma forma de criar avaliações mantidas fora do alcance direto dos desenvolvedores. A intenção é oferecer uma medida mais resistente à adaptação excessiva aos benchmarks públicos.

A Liva AI é apresentada como uma empresa que coleta dados multimodais por meio de produtos voltados ao uso por pessoas reais. De acordo com a Hugging Face, esse controle sobre coleta e distribuição permite desenvolver produtos direcionados a lacunas específicas de modelos.

A empresa também afirma que esse tipo de coleta pode registrar comportamentos de uso mais naturais e contextualizados do que tarefas criadas exclusivamente para uma avaliação. A publicação, porém, não detalha os métodos de amostragem, a quantidade de falantes ou os critérios de anonimização dos novos conjuntos.

O que a atualização ainda não responde

A expansão melhora a segmentação anunciada do leaderboard, mas não permite concluir, com base apenas no material divulgado, quais modelos tiveram ganhos ou perdas em cada sotaque. Também não há números apresentados sobre acurácia, taxa de erro ou desempenho comparativo.

A inclusão de egípcio e nigeriano amplia a cobertura de inglês além dos principais sotaques usados em muitos benchmarks. Ainda assim, a representatividade final dependerá da composição dos dados e da continuidade da inclusão de novos países, falantes e contextos de uso.

A atualização reforça uma tendência de tornar benchmarks de fala mais segmentados e menos dependentes de uma única média global. O impacto prático sobre a qualidade dos modelos só poderá ser avaliado quando o leaderboard apresentar resultados detalhados para essas divisões.

Fonte original: Hugging Face: Egyptian and Nigerian English join the Open ASR Leaderboard.

Receba o Jornal da IA todos os dias

As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.

Sem spam. Cancele quando quiser.

LEAVE A REPLY

Please enter your comment!
Please enter your name here