Ол Kazinform тілшісіне Qadam-ға қадам қалай басталғанын айтып берді.
— Жобаны әзірлеу идеясы інімнің бала кезінде «р» мен «л» дыбыстарын айта алмауынан басталды. Ата-анамның логопед кезегін ұзақ күтіп, баласының сөйлеуіне алаңдағаны әлі есімде. Кейін бұл мәселенің көптеген отбасыға ортақ екенін түсіндім. Елімізде логопед мамандар жетіспейді, әсіресе, ауылдық жерлерде тапшы. Мен көптен бері бағдарламалаумен айналысамын. Бірде «ата-ана диагноз қою үшін емес, жай ғана логопедке бару керек пе, жоқ па, соны үйде өзі тексере алса ше?» деген ой келді. Qadam осылай пайда болды. Маған ғылыми жетекшілерім, мұғалімдерім Гүлназ Абдукамалова мен Анар Кенесары көп көмектесті. Алғашында кәдімгі сөйлеуді тану технологиясын қолдануды жоспарладым. Алайда оның баланың қате айтқан сөзін автоматты түрде түзетіп жіберетінін байқадым. Сондықтан Qadam сөзді тұтас емес, әр дыбысты жеке талдап, айту кезіндегі қателерді анықтауға бағытталды, — деді жоба авторы.
Аделина Финансова қазақ тілінің дыбыстық ерекшеліктерін ескере алуы жобаның тағы бір ерекшелігі екенін атап өтті. Атап айтқанда, ол орыс әліпбиінде кездеспейтін дыбыстарды да талдай алады. Жүйе ата-ананы негізсіз алаңдатпау үшін әр сөзді екі рет тыңдайды. Екі әрекеттен кейін ғана қате белгіленеді. Ал жазба сапасы нашар немесе нәтиже күмәнді болса, «тексеру қажет» деген мәртебе беріледі. Балалар үшін тестілеу ойын түрінде ұйымдастырылған. Куми маскотының көмегімен бала суреттерді атап, тапсырмаларды қызығушылықпен орындайды. Жүйенің негізгі қызметі — сөздегі әр дыбыстың дұрыс айтылуын талдау. Бала сөзді айтқаннан кейін жасанды интеллект естілген дыбыстарды анықтап, оларды дұрыс нұсқамен салыстырады.
— 5-7 жастағы балаларға сурет бойынша әңгіме құрастыру тапсырмасы беріледі. Бұл кезде жүйе баланың сөздік қорын, сөйлем құрау және ойын байланыстырып жеткізу қабілетін 100 балл негізінде бағалайды. Qadam диагноз қоймайды. Ол — ата-аналарға арналған бастапқы бағалау құралы ғана. Жүйенің бағалау өлшемдері әзірге бастапқы деңгейде, сондықтан оларды логопед мамандар тексеруі қажет. Тестілеу алдында ата-ана баланың жасы мен сөйлеу деңгейі туралы бірнеше сұраққа жауап береді. Соның негізінде жүйе баланың мүмкіндігіне сай тапсырмаларды таңдайды. Әлі сөйлемейтін балалар тестілеуге қатыстырылмайды, олардың ата-аналарына пайдалы ақпараттық материалдар ұсынылады. Ал бала атын атап шақырғанға жауап бермесе, жүйе есту қабілетін тексеріп, маманға қаралуға кеңес береді, — деді Аделина Финансова.
Тестілеу соңында ата-аналар үй жағдайында орындауға болатын жаттығулар мен сөздік қорды дамытуға арналған карточкаларды алады. Нәтижелер сақталады, бұл кейін баланың даму барысын салыстыруға мүмкіндік береді.
Аделина Финансова жобаны әзірлеу барысында кездескен бірнеше кедергіні айтып берді.
— Ең бастысы — қазақ тілінде сөйлейтін балалардың дауыс жазбалары мен олардың дұрыс немесе қате айтылғанын көрсететін дайын материалдардың болмауы. Сондықтан ата-аналардың келісімімен аудиожазбалар жинап, әрқайсысын жеке белгілеуге тура келді. Екінші қиындық — сөйлеуді тану модельдерінің негізінен ересектердің дауысына бейімделуі. Балалардың анық емес сөйлеуін ескере отырып, жүйеге бір сөзді екі рет тексеру ережесі енгізілді. Сонымен қатар дыбысты талдау мен нәтижені бағалау процестері бөлінді. Ендігі мәселе — қазақтың «ғ» дыбысын модельдің дәл тани алмауы. Сондықтан жүйе қате қорытынды шығармай, мұндай жағдайда «тексеру қажет» мәртебесін береді. Сондай-ақ қазақ және орыс тілдерінің ерекшеліктеріне байланысты әр тілге арналған тапсырмалар жеке әзірленді. Дыбыстарды талдау үшін 53 тілде оқытылған wav2vec2 XLSR-53 моделі таңдалды. Ал ата-аналарға арналған ақпараттық материалдар логопедия әдебиеттері мен сөйлеуді дамыту жөніндегі халықаралық ұсынымдар негізінде дайындалды, — деді оқушы.
Сынақ кезеңіне қатысқан балалардың ата-аналарының келісімімен қазақ және орыс тілдерінде 150-ге жуық аудиожазба жиналған. Мектеп оқушысы нәтижені логопедтің қорытындысымен салыстырған.
— Жүйе «р» орнына «л», «ш» орнына «с» айту сияқты жиі кездесетін қателерді анықтай алды. Алайда «ғ» дыбысын тану мен бағалау шектерін жетілдіру қажеттігі байқалды. Келесі кезеңде тестілеуді Қызылордадағы «Мерейім» орталығымен бірлесіп жалғастырмақпыз, — деді Аделина Финансова.
Qadam Speech AI қазақ және орыс тілдерінің ерекшеліктерін ескерген. Автордың айтуынша, ол логопедті алмастырмайды, керісінше, маманға жүгінуге дейінгі алғашқы көмекші құрал деуге болады.
Ал бұған дейін Қорқыт ата атындағы Қызылорда университетінің жас зерттеушілері жылу электр орталығының күл-қалдығы мен Тасбөгет кен орнының шағыл құмын пайдаланып, төсеніш тақтайшаларын өндіру технологиясын әзірледі.