← Vissza a bloghoz

Apple kutatók új módszere a többnyelvű beszéd felismerésében

Az Apple kutatói egy olyan módszert publikáltak, amely képes felismerni, ha egy beszélő mondat közben vált nyelvet, anélkül hogy előtte átiratot készítene a beszédről. Ez a technika különösen hasznos lehet a többnyelvű környezetekben, ahol a nyelvek közötti váltás gyakori, de az ilyen jellegű beszéd alulreprezentált a tanító adathalmazokban. A kutatás során az Apple tudósai 14 különböző nyelvpárra tesztelték a módszert, és a legjobb változat 0,798-as F1 pontszámot ért el.

Ezzel megelőzte a hagyományos módszereket, amelyek monolingvális nyelvazonosításra voltak optimalizálva. A tesztelés során a Whisper-small nevű beszédmodellel dolgoztak, amely körülbelül 100 nyelvet képes kezelni. A módszer lényege, hogy a beszédmodellek kódolóit elemezve azonosítja azokat a belső dimenziókat, amelyek értékei két nyelv között a legnagyobb eltérést mutatják.

A rendszer ezek alapján képes megjelölni a nyelvváltásokat, anélkül hogy költséges átiratokat vagy további nyelvi modellek bevonását igényelné. A kutatók azt is megjegyezték, hogy bár a módszer ígéretes eredményeket mutatott a benchmark adathalmazokon, további tesztelés szükséges, hogy kiderüljön, hogyan teljesít a való életből származó, címkézetlen adatokon. A papír szerint a módszer a kódoló réteg körülbelül 1%-át használja fel, ami jelentős erőforrás-megtakarítást jelenthet.

Ez a kutatás nem kapcsolódik közvetlenül egyetlen Apple termékhez sem, de jelentős hatással lehet a jövőbeli többnyelvű mesterséges intelligencia rendszerek fejlesztésére. Az Apple számára kulcsfontosságú, hogy a többnyelvű háztartások igényeire is megfelelően reagáljanak ezek a fejlesztések.

A lényeg röviden:

  • Apple kutatók új módszert fejlesztettek a többnyelvű beszéd felismerésére.
  • A módszer 0,798-as F1 pontszámot ért el 14 nyelvpár tesztelése során.
  • A technika nem igényel átiratokat a beszéd elemzéséhez.
  • A módszer a beszédmodellek kódolóinak belső dimenzióit elemzi.
  • A kutatás nem kapcsolódik konkrét Apple termékhez, de fontos lehet a jövőben.

Forrás: The Mac Observer

Facebook X

Kapcsolódó cikkek