I komplekse miljøer kan mennesker forstå betydningen av tale bedre enn AI, fordi vi ikke bare bruker ørene våre, men også øynene våre.
For eksempel ser vi noens munn bevege seg, og vi kan intuitivt vite at lyden vi hører må komme fra den personen.
Meta AI jobber med et nytt AI-dialogsystem, som skal lære AI å også lære å gjenkjenne subtile korrelasjoner mellom det den ser og hører i en samtale.
VisualVoice lærer på en lignende måte som mennesker lærer å mestre nye ferdigheter, og muliggjør audiovisuell taleseparasjon ved å lære visuelle og auditive signaler fra umerkede videoer.
For maskiner skaper dette bedre persepsjon, mens menneskelig persepsjon forbedres.
Tenk deg å kunne delta i gruppemøter i metaverset med kolleger fra hele verden, bli med i mindre gruppemøter mens de beveger seg gjennom det virtuelle rommet, der lydens etterklang og klangfarger i scenen tilpasser seg omgivelsene.
Det vil si at den kan hente lyd-, video- og tekstinformasjon samtidig, og har en rikere modell for miljøforståelse, slik at brukerne får en "veldig wow"-lydopplevelse.
Publisert: 20. juli 2022
