Цифровая обработка речевых сигналов

Целью дисциплины является освоение студентом современных методов и алгоритмов цифровой обработки речевых и аудиосигналов, изучение способов, повышающих качественные показатели современных систем анализа и обработки РС, привитие навыков самостоятельного проектирования цифровой техники, вовлечение студента в творческий процесс решения сложных научно-технических проблем.

Курс основывается на знаниях, полученных студентами при изучении дисциплины «Цифровая обработка сигналов». Знания и навыки, полученные при изучении дисциплины «Цифровая обработка речевых сигналов», используются студентами при подготовке выпускной работы и в дальнейшей профессиональной деятельности.


Компетенции курса

Знание:

  • математических основ современных методов цифровой обработки речевых и аудиосигналов;

  • методов построения эффективных алгоритмов цифровой обработки сигналов и способов их математического представления;

Умение:

  • оценивать и сравнивать основные характеристики алгоритмов цифровой обработки речевых и аудиосигналов;

  • выбирать соответствующий алгоритм, эффективный в конкретном приложении;

Владение:

  • навыками самостоятельного проектирования эффективных алгоритмов кодирования, декодирования и обработки информации, минимизирующих аппаратурные, вычислительные и временные затраты.

Общая трудоемкость дисциплины составляет 4 зачетные единицы, 144 часа.


Структура лекционного курса

Вводная лекция: сферы деятельности в области речевых технологий.

Модуль I Анализ и обработка временных рядов

  • Характеристики временных рядов (ВР)
  • Анализ (оценка характеристик) ВР
  • Обработка ВР

Модуль II Анализ речевых сигналов

  • Речь и слух
  • Кратковременный анализ сигналов
  • Кратковременный спектральный анализ сигналов

Модуль III Методы обработка речевых сигналов

  • Шумоочистка, вводная лекция
  • Алгоритмы обработки во временной области
  • Алгоритмы обработки в спектральной области
  • Гомоморфная фильтрация
  • Фильтрация широкополосного шума
  • Алгоритмы компенсации реверберации и эха
  • Алгоритмы двухканальной фильтрации
  • Перспективные методы обработки аудиосигналов

Параллельно с чтением лекций студентами выполняются лабораторные работы.

Перечень цикла лабораторных работ

Часть 1. МЕТОДЫ АНАЛИЗА РЕЧЕВЫХ СИГНАЛОВ

ЛАБОРАТОРНАЯ РАБОТА 1. Основы работы с программой «SIS II». Инструменты оценки характеристик сигналов

ЛАБОРАТОРНАЯ РАБОТА 2. Спектральные характеристики сигналов, параметры спектральных оценок, обнаружение гармоник

ЛАБОРАТОРНАЯ РАБОТА 3. Автокорреляционная функция и её свойства

ЛАБОРАТОРНАЯ РАБОТА 4. Спектральный отклик модели линейного предсказания, форманты, широкополосная спектрограмма речевого сигнала

ЛАБОРАТОРНАЯ РАБОТА 5. Кепстр: оценка основного тона периодических импульсных сигналов

ЛАБОРАТОРНАЯ РАБОТА 6. Гистограмма и частота пересечения нуля

ЛАБОРАТОРНАЯ РАБОТА 7. Оценка величины отношения сигнал-шум речевых сигналов и времени реверберации импульсного сигнала, записанного в помещении по огибающим мощности сигналов

Часть 2. АЛГОРИТМЫ КОМПЕНСАЦИИ ИСКАЖЕНИЙ РЕЧЕВЫХ СИГНАЛОВ

ЛАБОРАТОРНАЯ РАБОТА 1. Работа с системой “Sound Cleaner II”. Инструменты обработки цифровых сигналов

ЛАБОРАТОРНАЯ РАБОТА 2. Импульсные помехи и динамическая обработка сигналов (импульсный фильтр и динамический фильтр)

ЛАБОРАТОРНАЯ РАБОТА 3. Частотная фильтрация (эквалайзеры и фильтр темброкоррекции)

ЛАБОРАТОРНАЯ РАБОТА 4. Широкополосный шум, выделение речи на фоне широкополосного шума (фильтр широкополосного шума)

ЛАБОРАТОРНАЯ РАБОТА 5. Выделение речи на фоне тональных помех (фильтр тональных помех)

ЛАБОРАТОРНАЯ РАБОТА 6. Восстановление перегруженных фрагментов аудиозаписи, снижение уровня реверберации (фильтр деклиппирования, дереверберационный фильтр)

ЛАБОРАТОРНАЯ РАБОТА 7. Выравнивание спектра (инверсный фильтр)

ЛАБОРАТОРНАЯ РАБОТА 8. Подавление помех (GSM-наводки DTMF-сигналы), вызванных работой аппаратов связи (GSM-фильтр, подавитель DTMF-сигналов)

ЛАБОРАТОРНАЯ РАБОТА 9. Выделение речи с использованием алгоритмов стереофильтрации (стерео-фильтр)

ЛАБОРАТОРНАЯ РАБОТА 10. Комплексное применение фильтров (построение цепочек фильтров)


Соотношение структур лекционного и лабораторного циклов

Лекционный цикл Часть 1. МЕТОДЫ АНАЛИЗА СИГНАЛОВ Часть 2. МЕТОДЫ ОБРАБОТКИ СИГНАЛОВ
Анализ временных рядов Анализ речевых сигналов Методы обработки речевых сигналов
Лабораторный цикл Лабораторные работы с программой SIS Лабораторные работы с программой Sound Cleaner