Технология Pixel 11 смартфондарындағы Gboard және Live Transcribe сервистеріне біріктірілген.
Бұған дейін жасанды интеллект технологиялары негізінен ауызша сөйлеуді тануға бағытталып келді. Ал әлем бойынша 70 млн-ға жуық саңырау және нашар еститін адам қолданатын 200-ден астам ым тілі мұндай технологиялармен айтарлықтай аз қамтылған.
SL2T көмегімен пайдаланушылар ым арқылы мәтін «теріп», интернеттен ақпарат іздей алады, хабарламалар мен құжаттар жазады, сондай-ақ Gemini жасанды интеллект ассистентіне сұрау жібере алады. Live Transcribe сервисінде әңгімелесушіге мәтін терудің орнына ыммен жауап беру мүмкіндігі қарастырылған.
Әзірге технология тек америкалық ым тілін (ASL) қолдап, оны ағылшын тіліне аударады. Google алдағы уақытта тілдер мен құрылғылар тізімін біртіндеп кеңейтуді жоспарлап отыр.
Ым тілдерінің өзіндік грамматикасы бар және оларда қол қимылдарымен қатар бет әлпеті, бас пен дененің қозғалысы да маңызды рөл атқарады. Сондықтан оларды автоматты түрде аудару жекелеген ымдарды танудан әлдеқайда күрделі.
SL2T моделі 50-ден астам ым тілін қамтитын 100 мың сағаттан астам бейнедерек негізінде оқытылған. Жүйе жұмыс кезінде бейненің өзін емес, адам денесіндегі негізгі нүктелердің координаттарын талдайды. Соның арқасында серверге бастапқы бейнежазба емес, тек қозғалыс туралы деректер жіберіледі.
Модель қимылдар тізбегін аралық ым белгілерін, яғни глоссаларды қолданбай-ақ тікелей мәтінге айналдырады. Әзірлеушілердің мәліметінше, FLEURS-ASL тестінде жүйе BLEURT шкаласы бойынша 70 балл жинаған.
Дегенмен технологияның әзірге бірқатар шектеуі бар. Жүйе сирек кездесетін ымдарды, жылдам орындалатын саусақ әліпбиін және кейбір күрделі құрылымдарды тану кезінде қателесуі мүмкін. Сондай-ақ қосымша контекст болмаса, іс-әрекеттің қай уақытта болғанын анықтауда қиындық туындайды.
Жобаны әзірлеуге саңыраулар қауымдастығының өкілдері де қатысқан. Жоба идеясының авторы – Google қызметкері Сэм Сепа, оның өзі де саңырау. Қауымдастық өкілдері деректер жинауға және модельді сынақтан өткізуге атсалысты.
Еске сала кетсек, бұған дейін Google резервтік көшірмелерді сақтау ережесін өзгертетінін жаздық.