О программе магистратуры

Описание программы

Программа реализуется в партнерстве с высокотехнологичным предприятием ООО «Центр речевых технологий» (http://www.speechpro.ru/) — ведущим мировым разработчиком инновационных систем в сфере распознавания лиц, голосовой биометрии, распознавания и синтеза речи, многоканальной записи, обработки и анализа аудио- и видеоинформации.

Программа включает подготовку по базовым и продвинутым курсам по машинному обучению, многомодальной биометрии, распознаванию речи и акустических событий, синтезу речи и естественной обработке языка.

Изучаются инструментальное (математическое, информационное, техническое, лингвистическое, программное) обеспечение речевых и биометрических информационных систем; методы машинного обучения; архитектуры глубоких нейронных сетей для задач верификации и идентификации диктора, детектирования и распознавания лиц, распознавания и синтеза речи, создания диалоговых систем (голосовых помощников, чат-ботов); современные языки программирования  и фреймворки для глубокого обучения; способы и методы проектирования, отладки, информационных технологий и систем в областях обработки, распознавания, синтеза, компрессии и декомпрессии речевых и биометрических сигналов. Обучение ведется по двум специализациям:

Специализация 1. Биометрические информационные системы

Основная задача — подготовка профессионалов высокого уровня, ориентированных на ведение исследовательской и проектной работы в области мультимодальной биометрии. В специализацию входят дисциплины, позволяющие ближе ознакомиться с предметной областью, например, многомодальные биометрические системы, цифровая обработка речевых сигналов, анализ акустических событий.

Специализация 2. Речевые информационные системы

Базовые курсы (цифровая обработка сигналов, машинное обучение, проектирование информационных систем и другие) дополнены специализированными предметами (распознавание диктора, аудиоаналитика, синтез речи), которые представляют современные подходы к решению задач IT-индустрии.

Разделение по направлениям происходит после первого семестра.

Актуальность и значимость программы

Биометрические и речевые технологии являются одним из наиболее актуальных направлений развития современных информационных систем. Такие системы, через развитые средства человеко-машинного взаимодействия, делают жизнь людей в глобальном информационном сообществе эффективнее и безопаснее. Содержание дисциплин программы постоянно модифицируются с учетом последних достижений в науке и промышленности. Благодаря этому выпускники обладают актуальными компетенциями и квалификациями, востребованными на рынке труда и готовы работать в компаниях мирового уровня или продолжать научную карьеру в аспирантуре.

Цель программы

Целью программы обучения является подготовка магистров, ориентированных на ведение исследовательской и проектной работы в областях технологий человеко-машинного взаимодействия: распознавание и синтез речи, распознавание личности по голосу, мультимодальная биометрия, аудиоаналитика, проектирование и разработка информационных систем и программного обеспечения.

Компетенции

В процессе обучения по данной программе студенты приобретают знания в области:

  • способности к формальной постановки и решению задачи построения речевых и биометрических информационных систем различного назначения;
  • способность выбирать и анализировать показатели и критерии качества таких систем;
  • навыки экспериментальных исследований на основе моделирования и тестирования речевых и биометрических информационных систем;
  • готовность применять полученные знания в ходе научных исследований.

Разработки в области речевых и биометрических технологий пользуются все большим спросом во многих отраслях: государственный сектор, финансы, здравоохранение, правовая и судебная системы, медиакоммуникации, военная промышленность. Выпускники данной программы будут обладать актуальными компетенциями и квалификациями, востребованными на рынке труда, а также в ведущих научно-исследовательских центрах по направлению информационных технологий.

Трудоустройство и востребованность профессии

Студенты программы приобретают аналитические и научно-исследовательские знания в областях проектирования и разработки программного обеспечения, машинного обучения, искусственного интеллекта и алгоритмов.

Сочетание теории и практики позволяет выпускникам программы получить чёткое понимание основ, а также методов и инструментов, характерных для конкретных практических областей.

В результате обучения, выпускники изучают современные технологии, получают знания и навыки, позволяющие стать разработчиками и исследователями в различных областях информационных технологий.

Выпускники являются востребованными специалистами не только в Санкт-Петербурге и России, но и за рубежом. Студенты приобретают компетенции в области информационных технологий путем участия в исследованиях, проводимых в рамках международной научной лаборатории «Компьютерные технологии». Знания и опыт, полученные в результате обучения, позволяют выпускникам становиться ведущими исследователями в таких областях, как программная инженерия и машинное обучение. Многие выпускники через несколько лет становятся ведущими специалистами и руководителями в области разработки программного обеспечения, в том числе, открывают собственные стартапы, фирмы и предприятия. Выпускники направления, выбравшие научную карьеру, продолжают своё обучение в аспирантурах российских и зарубежных университетов. А те, кто решил реализовать себя в индустрии, работают в известных IT-компаниях.

Дисциплины

Введение в машинное обучение

В дисциплине рассматриваются теоретические основы и фреймворки машинного обучения. Основное внимание уделяется реализации методов обучения «с учителем», обучения «без учителя», обучения «с подкреплением», метрикам качества моделей и визуальному анализу данных.

Введение в интеллектуальный анализ данных

В рамках дисциплины студенты изучают этапы обработки данных в системах интеллектуального анализа данных, методы и алгоритмы интеллектуального анализа данных, решающие задачи поиска ассоциативных правил, кластеризации, классификации, регрессии, снижения размерности, в том числе современные архитектуры нейронных сетей. Рассматриваются подходы к построению ансамблей моделей, оценке эффективности и сравнению моделей.

Машинное обучение

В рамках дисциплины рассматриваются продвинутые методы машинного обучения, глубокие нейронные сети, их применение при решении реальных задач. В результате освоения дисциплины студенты получают практические навыки, позволяющие применять методы глубокого обучения для задач обработки текстовой информации, изображений, звуков.

Обработка и анализ данных

В период освоения дисциплины студенты получают знания теоретических основ в области: методов хранения и первичной обработки данных, визуализации данных, видов баз данных, реляционных СУБД, большие данные, методов статистического и машинного обучения.

Прикладной искусственный интеллект

В рамках дисциплины студенты изучают приложения и теоретические основы искусственного интеллекта включая: основные понятия искусственного интеллекта, методы машинного обучения, области применения искусственного интеллекта, методы и технологии инженерии знаний, базы знаний, интеллектуальные технологии цифрового производства, здравоохранения, безопасности, транспорта будущего, телекоммуникационные, сенсорики и робототехники, квантовые, обучающие, креативные, автоматизированной обработки и анализа текстовой информации, обработки звуков и изображений, когнитивные технологии, методы онтологического моделирования, разговорный интеллект.

Цифровая обработка сигналов

Основные разделы дисциплины: основные понятия теории цифровой обработки сигналов, цифровая фильтрация сигналов в пространственно-временной и частотной области, методы нелинейной фильтрации сигналов.

Основы речевых технологий

Современное состояние речевых технологий. Речеобразование, речь и информация. Восприятие и распознавание речи. Особенности речевой деятельности.

Распознавание речи

Основные разделы дисциплины: физиологические методы обработки сигналов, распознавание команд методом динамического программирования, скрытые марковские модели, алгоритмы обучения и распознавания (Витерби, Баума-Уэлша), распознавание естественной речи, проблема OOV слов, речевые декодеры.

Синтез речи

В дисциплине рассматриваются основные этапы построения систем TTS (Text To Speech): лингвистика, просодика, фонетика и акустика. На каждом этапе применяются методы машинного обучения.

Обработка естественного языка

В рамках дисциплины студенты знакомятся с теоретическими основами и программным обеспечением анализа текстов на естественном языке. Рассматриваются этапы обработки текстов (графематический, морфологический, фрагментационный, синтаксический и семантический анализ). В результате освоения дисциплины студенты получают практические навыки применения методов машинного обучения в решении задач информационного поиска, реферирования, классификации и рубрицирования документов, анализа тональности текстов, автоматической генерации текста и поддержки диалога на естественном языке.

«Специализация 1» Биометрические информационные системы:

Многомодальные биометрические системы

Основные разделы дисциплины: основные понятия биометрии, поведенческие биометрические модальности, физиологические биометрические модальности, многомодальные биометрические системы.

Цифровая обработка речевых сигналов

В дисциплине рассматриваются основы теории цифровой обработки аудио сигналов, а также вопросы реализации методов цифровой обработки аудио сигналов. Основное внимание уделяется методам описания и анализа речевых сигналов и помех и оценке их характеристик.

Анализ акустических событий

В курсе рассматривается актуальность, современное состояние, существующие и развивающиеся подходы, проблемы извлечения признаков  (спектрограммы, Mell, MFCC, специализированные признаки), общие подходы в построении архитектуры систем по детектированию событий, использование алгоритмов классификации на основе GMM (EM/MAP), архитектуры нейронных сетей для типовых задач, вопросы фузирования результатов, вопросы интеграции с близкими технологиями (видео события, ПКС, биометрия + признаки).

«Специализация 2» Речевые информационные системы:

Распознавание диктора

В дисциплине рассматриваются следующие основные вопросы: основные понятия теории распознавания дикторов, идентификационные признаки голоса диктора, экспертные, полуавтоматические методы распознавания дикторов, модели диктора в задачах автоматического распознавания диктора, методы принятия идентификационного решения

Методы адаптивной обработки речевых сигналов

В дисциплине рассматриваются основы теории цифровой обработки аудио сигналов, а также вопросы реализации методов адаптивной цифровой обработки аудио сигналов. Основное внимание уделяется методам адаптивной фильтрации речевых сигналов на этапе предварительной обработки в целях компенсации шумов и искажений различной природы.

Аудиоаналитика.

В курсе рассматривается актуальность, современное состояние, существующие и развивающиеся подходы к решению, задачи извлечения признаков  (спектрограммы, Mell, MFCC,  специализированные признаки), общие подходы в построении архитектуры систем по детектированию событий, сравнение двух подходов — классификация потом детектирование или  детектирование потом классификация, задачи связанные с поиском ключевых слов, задачи связанные с оценкой эмоционального состояния, использование алгоритмов классификации на основе GMM (EM/MAP),  архитектуры нейронных сетей для типовых задач.