Экономное кодирование

Рассмотрим сжатие на основе статистических свойств данных.

Этот подход называется также теорией экономного или эффективного кодирования. Он представляет собой универсальный метод, позволяющий сжимать данные, отвлекаясь от их смысла (семантики). А основываясь только на их статистических свойствах.

Вероятностная модель кодируемых сообщений.

Будем считать, что последовательность, которую нужно закодировать. Составлена из сообщений, принадлежащих некоторому конечному множеству с известным числом элементов N. Появление сообщений в последовательности носит вероятностный характер, т.е. каждомуi-му сообщению (I=1,2…N) можно поставить в соответствие вероятностьp_iего появления () – условие нормировки. Сообщения кодируются последовательности двоичных знаков (0 и 1). В качестве критерия экономности кода выступает средняя длина кодового слова, необходимая для кодирования одного сообщения.

Экономное кодирование основано на использовании кодов с переменной длиной кодового слова, которые мы и рассмотрим.