Қазақ тілін ChatGPT-ге үйрету үшін 14 млрд токендік дерек қоры жиналды

АСТАНА. KAZINFORM – Қазақ тілінің цифрлық кеңістіктегі мүмкіндігін кеңейту үшін ауқымды жұмыс қолға алынды. Енді ChatGPT моделінің қазақ тілінде терең әрі сауатты жұмыс істеуі үшін 14 миллиардтан астам токенді қамтитын мәтін қоры мен 12 мың сағаттық аудиодерек пайдаланылмақ. Бұл туралы Халықаралық «Қазақ тілі» қоғамының төрағасы Рауан Кенжеханұлы қоғамның Х құрылтайында мәлімдеді.

Фото: Kazinform/AI

Оның айтуынша, 2023 жылы мемлекеттік тілді дамыту мен қолдау үшін құрылған «Қазақ тілі» қоғамының эндаумент қорының көлемі 100 есе өсті. Соның арқасында ірі ғаламдық орталықтармен тығыз байланыс орнап, ана тілімізді әдістемелік, мазмұндық және технологиялық тұрғыдан күшейтуге жол ашқан бірқатар нақты бастамалар мен жобалар іске асып жатыр.

Соның ішінде жасанды интеллект саласында көш бастап тұрған OpenAI компаниясымен ресми келісімге келіп, ең кең қолданылатын ChatGPT моделінің қазақ тілінде қатесіз, терең жұмыс істеуі үшін, оны жаңадан оқыту жобасы іске асып жатыр.

Фото: Kazinform

– Жоба аясында қазақ тіліндегі кеңейтілген жаңа деректер қоры жинақталды. Атап айтсақ, 14 миллиард токеннен асатын мәтін қоры мен 12 мың сағаттан тұратын дыбыс қоры, соның ішінде текст пен дауысты толық сәйкестендірген алтын стандарт деректер қоры жинақталды. Жасанды интеллект арқылы құжат тану, текст тану, дауыс тану модульдері едәуір жақсарды, – деді Р.Кенжеханұлы.

Бұл жұмыстың басты мақсаты – қазақ тілін қазіргі әлем телдерінің цифрлық классификациясындағы Low-Resource lamguages, яғни төмен ресурсты тілдер қатарынан Mid-Resoure Languages – орта ресурсты тілдер дәрежесіне көтеру.

– Ол үшін бізге сапасы жоғары, цифрланған ауқымды ашық деректер қоры, ол деректі өңдеу құралдары мен бағалау өлшемдері қажет. Осы жұмыстар орындалған жағдайда, біз тілімізді жасанды интеллект заманына бейімдеп, келесі технологиялық кезеңге дайындай аламыз, – деді «Қазақ тілі» қоғамының төрағасы.

Сонымен бірге, балалардың қазақ тілін үйренуіне және ана тілінде сөйлеп өсуіне ықпал ету үшін әлемге әйгілі киностудиялардың фильмдері қазақша дубляждалып жүр. Атап айтқанда, Disney, Pixar, Sony және Marvel студияларының балаларға арналған фильмдері қазақ тіліне кәсіби деңгейде аударылып, әлемнің 40-қа жуық тіліндегі нұсқаларымен бір уақытта кинотеатрларға шығады.

Р.Кенжеханұлының мәліметінше, соңғы екі жылда осындай 13 фильмнің тұсаукесері өткен. Оларды кинотеатрларда миллионнан астам адам тамашалаған. Ал қазақ тіліндегі сеанстардан түскен табыс үш есе өскен. 

Айта кетейік, бүгін Мемлекет басшысы Қасым-Жомарт Тоқаев Халықаралық «Қазақ тілі» қоғамының Х құрылтайында сөз сөйледі.

Президент мемлекеттік тілді меңгергісі келетін адамдарға барынша жағдай жасау қажеттігін айтты.