Automatic Speech Recognition For Ukrainian Broadcast Media Transcribing

Abstract

A set of speech recognition techniques that allow for Ukrainian broadcast monitoring are covered: speech-to-text conversion; speaker diarization and recognition; text perception enhancement; multilingual aspects. The experimental results are presented and discussed.

Методи. При автоматичному перетворенні на текст застосовується метод, основні складові якого засновані на підходах генеративної моделі (НММ), апроксимації областей спостереження сигналу з використанням сумішей нормального закону (GMM) та покращення якості цієї апроксимації засобами глибокого навчання (DNN). Для моделювання акустичних особливостей людини застосовується підхід i-vector, що також дає змогу визначати моменти зміни мовця. Скінченні автомати та рекурентні нейромережі застосовано для поліпшення сприйняття тексту людиною та для подальшого його автоматичного оброблення. Злиття моделей двох мов дало змогу ефективно обробляти спонтанне перемикання з однієї мови на іншу. Результати та висновки. Реалізована схема перетворення мовлення на текст дала змогу отримати результат розпізнавання фонограм телерадіомовлення у формі, зручній і для користувача-людини, і для подальшої автоматичної обробки. А саме, за отриманим текстом зрозуміло, про що йдеться, відстежується фактичний матеріал (власні назви, числа, дати тощо), розділові знаки полегшують сприйняття тексту, і загалом зменшуються затрати на ручне редагування для отримання кінцевої стенограми.

Методы. При автоматическом преобразовании в текст применяется метод, основные составляющие которого основаны на подходах генеративной модели (НММ), аппроксимации областей наблюдения сигнала с использованием смесей нормального закона (GMM) и улучшения качества этой аппроксимации средствами глубокого обучения (DNN). Для моделирования акустических особенностей человека применяется подход i-vector, что также позволяет определять моменты смены говорящего. Конечные автоматы и рекуррентные нейросети примененеы для улучшения восприятия текста человеком и для дальнейшей его автоматической обработки. Слияние моделей двух языков позволило эффективно обрабатывать спонтанное переключение с одного языка на другой. Результаты и выводы. Реализованная схема преобразования речи в текст дала возможность получить результат распознавания фонограмм телерадиообщения в удобном виде, как для пользователя-человека, так и для дальнейшей автоматической обработки. А именно: по полученному тексту понятно, о чем идет речь, отслеживается фактический материал (собственные названия, числа, даты и т.д.), разделительные знаки облегчают восприятие текста, и вообще уменьшаются затраты на ручное редактирование для получения конечной стенограммы.