I komplekse miljøer kan mennesker forstå betydningen av tale bedre enn AI, fordi vi ikke bare bruker ørene våre, men også øynene våre.
For eksempel ser vi noens munn bevege seg og kan intuitivt vite at lyden vi hører må komme fra den personen.
Meta AI jobber med et nytt AI -dialogsystem, som er å lære AI å også lære å gjenkjenne subtile korrelasjoner mellom hva det ser og hører i en samtale.
VisualVoice lærer på en lignende måte som hvordan mennesker lærer å mestre nye ferdigheter, noe som muliggjør audiovisuell taleseparasjon ved å lære visuelle og auditive signaler fra umerkede videoer.
For maskiner skaper dette bedre oppfatning, mens menneskets oppfatning forbedres.
Se for deg å kunne delta i gruppemøter i Metaverse med kolleger fra hele verden, bli med på mindre gruppemøter når de beveger seg gjennom det virtuelle rommet, hvor lydklangene og timbres i scenen gjør i henhold til miljøet justeres deretter.
Det vil si at den kan skaffe lyd-, video- og tekstinformasjon på samme tid, og har en rikere miljøforståelsesmodell, slik at brukerne får en "veldig wow" lydopplevelse.
Post Time: Jul-20-2022
