Избыточность информации

Теория информации как наука. Информация, сообщения, сигналы (понятия). Передача информации в информационной системе. Случайные модели в задачах теории информации. Случайная величина. Случайные модели в задачах теории информации. Случайное событие. Измерение информации (меры информации) Синтаксическая мера информации Семантическая мера информации.Структурные меры информации: структурная, геометрическая и др. меры информации. Информационная мера Шеннона. Энтропия. Условная энтропия. Свойства энтропии дискретного и непрерывного источников информации Это выражение называется формулой Хартли.Энтропия непрерывных сообщений Избыточность информации. Взаимная информация.Мерой количественной оценки избыточности является коэффициент избыточности. Обобщенные характеристики сигналов и каналов Величинаназывается емкостью канала. Характеристика канала связи без помех. Теорема Шеннона для канала без помех.Теорема Шеннона для канала без помех Характеристика канала связи с помехами. Теорема Шеннона для канала с помехами.Методы повышения помехоустойчивости Современные технические средства обмена данными и каналообразующая аппаратура Теорема Шеннона для канала с помехами Значение результатов Шеннона.Теорема Шеннона и передача информации. Сжатие данных Сжатие на основе смыслового содержания данных Экономное кодирование Вероятностная модель кодируемых сообщений.Коды с переменной длиной кодового слова.Минимизация средней длины кодового слова. Процедуры Шеннона-Фано и Хаффмена Процедура Шеннона-Фано. Кодовое дерево, построенное процедурой Шеннона-Фано Процедура Хафмена. Кодовое дерево, построенное процедурой Хаффмана. Помехоустойчивое кодирование. Основные принципы помехоустойчивого кодирования.Основные принципы помехоустойчивого кодирования.Связь исправляющей способности кода с кодовым расстоянием. Помехоустойчивое кодирование. Помехоустойчивость кода. Корректирующие коды.Помехоустойчивость кода.Это есть так называемая граница Хэмминга для числа разрешенных кодовых слов.Классификация корректирующих кодов. Помехоустойчивое кодирование. Методы помехоустойчивого кодирования. Дискретизация информации. Теорема Котельникова. Квантование по уровню. Дискретизация по времени.