Описание программы
Программа реализуется в партнерстве с высокотехнологичным предприятием ООО «Центр речевых технологий» (http://www.speechpro.ru/) — ведущим мировым разработчиком инновационных систем в сфере распознавания лиц, голосовой биометрии, распознавания и синтеза речи, многоканальной записи, обработки и анализа аудио- и видеоинформации.
Программа включает подготовку по базовым и продвинутым курсам по машинному обучению, многомодальной биометрии, распознаванию речи и акустических событий, синтезу речи и естественной обработке языка.
Изучаются инструментальное (математическое, информационное, техническое, лингвистическое, программное) обеспечение речевых и биометрических информационных систем; методы машинного обучения; архитектуры глубоких нейронных сетей для задач верификации и идентификации диктора, детектирования и распознавания лиц, распознавания и синтеза речи, создания диалоговых систем (голосовых помощников, чат-ботов); современные языки программирования и фреймворки для глубокого обучения; способы и методы проектирования, отладки, информационных технологий и систем в областях обработки, распознавания, синтеза, компрессии и декомпрессии речевых и биометрических сигналов. Обучение ведется по двум специализациям:
Специализация 1. Биометрические информационные системы
Основная задача — подготовка профессионалов высокого уровня, ориентированных на ведение исследовательской и проектной работы в области мультимодальной биометрии. В специализацию входят дисциплины, позволяющие ближе ознакомиться с предметной областью, например, многомодальные биометрические системы, цифровая обработка речевых сигналов, анализ акустических событий.
Специализация 2. Речевые информационные системы
Базовые курсы (цифровая обработка сигналов, машинное обучение, проектирование информационных систем и другие) дополнены специализированными предметами (распознавание диктора, аудиоаналитика, синтез речи), которые представляют современные подходы к решению задач IT-индустрии.
Разделение по направлениям происходит после первого семестра.
Актуальность и значимость программы
Биометрические и речевые технологии являются одним из наиболее актуальных направлений развития современных информационных систем. Такие системы, через развитые средства человеко-машинного взаимодействия, делают жизнь людей в глобальном информационном сообществе эффективнее и безопаснее. Содержание дисциплин программы постоянно модифицируются с учетом последних достижений в науке и промышленности. Благодаря этому выпускники обладают актуальными компетенциями и квалификациями, востребованными на рынке труда и готовы работать в компаниях мирового уровня или продолжать научную карьеру в аспирантуре.
Цель программы
Целью программы обучения является подготовка магистров, ориентированных на ведение исследовательской и проектной работы в областях технологий человеко-машинного взаимодействия: распознавание и синтез речи, распознавание личности по голосу, мультимодальная биометрия, аудиоаналитика, проектирование и разработка информационных систем и программного обеспечения.
Компетенции
В процессе обучения по данной программе студенты приобретают знания в области:
- способности к формальной постановки и решению задачи построения речевых и биометрических информационных систем различного назначения;
- способность выбирать и анализировать показатели и критерии качества таких систем;
- навыки экспериментальных исследований на основе моделирования и тестирования речевых и биометрических информационных систем;
- готовность применять полученные знания в ходе научных исследований.
Разработки в области речевых и биометрических технологий пользуются все большим спросом во многих отраслях: государственный сектор, финансы, здравоохранение, правовая и судебная системы, медиакоммуникации, военная промышленность. Выпускники данной программы будут обладать актуальными компетенциями и квалификациями, востребованными на рынке труда, а также в ведущих научно-исследовательских центрах по направлению информационных технологий.
Трудоустройство и востребованность профессии
Студенты программы приобретают аналитические и научно-исследовательские знания в областях проектирования и разработки программного обеспечения, машинного обучения, искусственного интеллекта и алгоритмов.
Сочетание теории и практики позволяет выпускникам программы получить чёткое понимание основ, а также методов и инструментов, характерных для конкретных практических областей.
В результате обучения, выпускники изучают современные технологии, получают знания и навыки, позволяющие стать разработчиками и исследователями в различных областях информационных технологий.
Выпускники являются востребованными специалистами не только в Санкт-Петербурге и России, но и за рубежом. Студенты приобретают компетенции в области информационных технологий путем участия в исследованиях, проводимых в рамках международной научной лаборатории «Компьютерные технологии». Знания и опыт, полученные в результате обучения, позволяют выпускникам становиться ведущими исследователями в таких областях, как программная инженерия и машинное обучение. Многие выпускники через несколько лет становятся ведущими специалистами и руководителями в области разработки программного обеспечения, в том числе, открывают собственные стартапы, фирмы и предприятия. Выпускники направления, выбравшие научную карьеру, продолжают своё обучение в аспирантурах российских и зарубежных университетов. А те, кто решил реализовать себя в индустрии, работают в известных IT-компаниях.
Дисциплины
Введение в машинное обучение
В дисциплине рассматриваются теоретические основы и фреймворки машинного обучения. Основное внимание уделяется реализации методов обучения «с учителем», обучения «без учителя», обучения «с подкреплением», метрикам качества моделей и визуальному анализу данных.
Введение в интеллектуальный анализ данных
В рамках дисциплины студенты изучают этапы обработки данных в системах интеллектуального анализа данных, методы и алгоритмы интеллектуального анализа данных, решающие задачи поиска ассоциативных правил, кластеризации, классификации, регрессии, снижения размерности, в том числе современные архитектуры нейронных сетей. Рассматриваются подходы к построению ансамблей моделей, оценке эффективности и сравнению моделей.
Машинное обучение
В рамках дисциплины рассматриваются продвинутые методы машинного обучения, глубокие нейронные сети, их применение при решении реальных задач. В результате освоения дисциплины студенты получают практические навыки, позволяющие применять методы глубокого обучения для задач обработки текстовой информации, изображений, звуков.
Обработка и анализ данных
В период освоения дисциплины студенты получают знания теоретических основ в области: методов хранения и первичной обработки данных, визуализации данных, видов баз данных, реляционных СУБД, большие данные, методов статистического и машинного обучения.
Прикладной искусственный интеллект
В рамках дисциплины студенты изучают приложения и теоретические основы искусственного интеллекта включая: основные понятия искусственного интеллекта, методы машинного обучения, области применения искусственного интеллекта, методы и технологии инженерии знаний, базы знаний, интеллектуальные технологии цифрового производства, здравоохранения, безопасности, транспорта будущего, телекоммуникационные, сенсорики и робототехники, квантовые, обучающие, креативные, автоматизированной обработки и анализа текстовой информации, обработки звуков и изображений, когнитивные технологии, методы онтологического моделирования, разговорный интеллект.
Цифровая обработка сигналов
Основные разделы дисциплины: основные понятия теории цифровой обработки сигналов, цифровая фильтрация сигналов в пространственно-временной и частотной области, методы нелинейной фильтрации сигналов.
Основы речевых технологий
Современное состояние речевых технологий. Речеобразование, речь и информация. Восприятие и распознавание речи. Особенности речевой деятельности.
Распознавание речи
Основные разделы дисциплины: физиологические методы обработки сигналов, распознавание команд методом динамического программирования, скрытые марковские модели, алгоритмы обучения и распознавания (Витерби, Баума-Уэлша), распознавание естественной речи, проблема OOV слов, речевые декодеры.
Синтез речи
В дисциплине рассматриваются основные этапы построения систем TTS (Text To Speech): лингвистика, просодика, фонетика и акустика. На каждом этапе применяются методы машинного обучения.
Обработка естественного языка
В рамках дисциплины студенты знакомятся с теоретическими основами и программным обеспечением анализа текстов на естественном языке. Рассматриваются этапы обработки текстов (графематический, морфологический, фрагментационный, синтаксический и семантический анализ). В результате освоения дисциплины студенты получают практические навыки применения методов машинного обучения в решении задач информационного поиска, реферирования, классификации и рубрицирования документов, анализа тональности текстов, автоматической генерации текста и поддержки диалога на естественном языке.
«Специализация 1» Биометрические информационные системы:
Многомодальные биометрические системы
Основные разделы дисциплины: основные понятия биометрии, поведенческие биометрические модальности, физиологические биометрические модальности, многомодальные биометрические системы.
Цифровая обработка речевых сигналов
В дисциплине рассматриваются основы теории цифровой обработки аудио сигналов, а также вопросы реализации методов цифровой обработки аудио сигналов. Основное внимание уделяется методам описания и анализа речевых сигналов и помех и оценке их характеристик.
Анализ акустических событий
В курсе рассматривается актуальность, современное состояние, существующие и развивающиеся подходы, проблемы извлечения признаков (спектрограммы, Mell, MFCC, специализированные признаки), общие подходы в построении архитектуры систем по детектированию событий, использование алгоритмов классификации на основе GMM (EM/MAP), архитектуры нейронных сетей для типовых задач, вопросы фузирования результатов, вопросы интеграции с близкими технологиями (видео события, ПКС, биометрия + признаки).
«Специализация 2» Речевые информационные системы:
Распознавание диктора
В дисциплине рассматриваются следующие основные вопросы: основные понятия теории распознавания дикторов, идентификационные признаки голоса диктора, экспертные, полуавтоматические методы распознавания дикторов, модели диктора в задачах автоматического распознавания диктора, методы принятия идентификационного решения
Методы адаптивной обработки речевых сигналов
В дисциплине рассматриваются основы теории цифровой обработки аудио сигналов, а также вопросы реализации методов адаптивной цифровой обработки аудио сигналов. Основное внимание уделяется методам адаптивной фильтрации речевых сигналов на этапе предварительной обработки в целях компенсации шумов и искажений различной природы.
Аудиоаналитика.
В курсе рассматривается актуальность, современное состояние, существующие и развивающиеся подходы к решению, задачи извлечения признаков (спектрограммы, Mell, MFCC, специализированные признаки), общие подходы в построении архитектуры систем по детектированию событий, сравнение двух подходов — классификация потом детектирование или детектирование потом классификация, задачи связанные с поиском ключевых слов, задачи связанные с оценкой эмоционального состояния, использование алгоритмов классификации на основе GMM (EM/MAP), архитектуры нейронных сетей для типовых задач.