5 семестр

1

Название дисциплины

Теория информации

2

Курс обучения, специальность

3, специальность «Механика»

3

Семестр обучения

5

4

Количество кредитов

3

5

Ф.И.О. лектора

Д-р техн. н., доцент А.В.Богданович

6

Цели изучения дисциплины

Формирование социальных знаний по вопросам количественной оценки информационных характеристик источников информации и каналов связи, эффектов и помехоустойчивого кодирования информации; усвоение основных определений и понятий; изучение принципов действия информационно-измерительных систем, подходов к их анализу и синтезу; освоение методов преобразования сигналов; изучение вопросов количественной оценки информации применительно к различным типам источников сообщений и каналов связи.

В результате изучения студент должен уметь:

—           применять полученные знания для оценки эффективности систем обработки информации;

—           решать задачи по всем разделам курса.

7

Пререквизиты

Теория вероятности

8

Содержание дисциплины

Философский аспект понятия «информация». Информация и сообщение. Предмет теории информации. Классификация сигналов. Кодирование сигналов.

Определение и классификация информационных и информационно-измерительных систем (ИИС). Статистический подход к анализу и синтезу ИИС. Конкретные системы на примере РЛС. Основные энергетические соотношения. Роль информации в повышении эффективности функционирования ИИС.

Разложение произвольного сигнала по заданной системе функций. Ортогональные и ортонормированные системы. Обобщенный ряд Фурье. Неравенство Бесселя для произвольной ортогональной системы. Гармонический анализ периодических колебаний. Комплексная и тригонометрическая форма ряда Фурье. Гармонический анализ непериодических колебаний. Спектральная характеристика функции. Прямое и обратное преобразование Фурье. Дискретизация. Теорема Котельникова и особенности ее практического использования. Квантование по уровню. Погрешности. Импульсная модуляция и дельта-модуляция.

Опыт как характеристика факта получения произвольной информации. Априорная и апостериорная неопределенности. Требования, предъявляемые к оценке количества информации. Мера информации по Хартли. Единица количества информации. Средняя априорная неопределенность.

Понятие информационной энтропии. Формула Шеннона. Основные понятия энтропии. Количество информации от опыта в общем случае. Основные свойства количества информации. Относительная энтропия. Независимость относительной энтропии от конкретных значений случайной величины. Определение плотности вероятности, доставляющей максимум энтропии.

Эргодические источники произвольного порядка. Эргодические случайные функции и последовательности. Энтропия эргодических источников. Фундаментальное свойство энтропии дискретных эргодических источников. Избыточность и поток информации источника сообщений.

Структурная схема системы связи. Классификация каналов связи. Модель информационной системы передачи дискретных сообщений в отсутствие шумов. Скорость передачи информации. Пропускная способность дискретного канала связи. Эффективное кодирование. Теорема Крафта. Теорема Шеннона о кодировании сообщений. Построение эффективного кода при независимых символах источника. Методика Шеннона – Фано и методика Хаффмана.

Модель канала связи, в котором действуют шумы. Первая, вторая и третья теоремы Шеннона о кодировании в присутствии шумов.

Пропускная способность непрерывных каналов связи. Пропускная способность стационарной Гауссовой линии связи. Зависимость скорости передачи информации от распределения сигнала и шума по спектру частот.

9

Рекомендуемая литература

Лидовский, В.В.Теория информации: Учеб. пособие/ В.В. Лидовский.-М.: Физматлит, 2004. – 111 с.

Фурсов, В.А. Лекции по теории информации: Учеб.пособие под ред. Н.А. Кузнецова / В.А. Фурсов. – Самара, 2006. – 148 с.

Дмитриев, В.И. Прикладная теория информации. Учебник / В.И. Дмитриев. – М., 1989. – 332 с.

Стратонович, Р.Л. Теория информации / Р.Л. Стратонович. – М., 1975. – 424 с.

Голдман, С. Теория информации / С. Голдман. – М., 1957. – 446 с.

10

Методы преподавания

Лекции с презентациями, практические занятия с решением задач

11

Язык обучения

Русский

12

Условия (требования), текущий контроль

— контрольная работа;

— выполнение заданий на практических занятиях.

Отметка на экзамене выставляется с учетом:

45% — контрольная работа; 5% — выполнение заданий на практических работах; 50% — устный ответ на экзамене.

13

Форма текущей аттестации

Экзамен