Жаңа функцияның көмегімен Gemini алдыңғы бағытқа орнатылған камерадан алынған кескінді талдап, жол бойындағы ғимараттар, көрікті орындар мен басқа да нысандар туралы сұрақтарға жауап бере алады. Осылайша, алғаш рет тілдік жасанды интеллект моделі автокөліктің қоршаған ортаны көру жүйесімен біріктірілді.
Технология Google компаниясының Маунтин-Вью қаласындағы кампусында таныстырылды. Сынақ кезінде Gemini бірнеше нысанды, соның ішінде The Orb арт-объектісін, Gradient Canopy ғимаратының күн панельдері орнатылған шатырын және Shoreline Amphitheatre концерт алаңын танып, олардың тарихы мен ерекшеліктері туралы мәлімет берді.
Жүйе тұрақты түрде бейнежазба жүргізбейді. Камера жүргізуші сұрақ қойған кезде ғана іске қосылады, ал жауап берілген соң кескінге қолжетімділік автоматты түрде тоқтатылады. Бұл пайдаланушылардың жеке деректерінің құпиялылығын қорғауға бағытталған.
Әзірге технология әзірлеудің бастапқы кезеңінде тұр. Көрсетілім барысында деректердің серверге жіберілуіне байланысты жауап беру кезінде аздаған кідіріс байқалды. Сонымен қатар мультимедиялық жүйенің экранында камерадағы көрініс көрсетілмейді, жүргізуші тек дауыстық жауап алады.
Google бұл мүмкіндіктің ең пайдалы қолданылу бағыттарының бірі ретінде шетелде көлік жүргізуді атайды. Мәселен, жүргізуші жолдан көз алмай-ақ Gemini-ден бөтен тілдегі жол белгісін оқып, оны аударып беруді сұрай алады. Бұл смартфонға алаңдамай, қауіпсіз қозғалысты сақтауға мүмкіндік береді.