Содержание
3 отношения: Префиксный код, Алгоритм Шеннона — Фано, Информационная энтропия.
Префиксный код
Пре́фиксный код в теории кодирования — код со словом переменной длины, имеющий такое свойство (выполнение условия Фано): если в код входит слово a, то для любой непустой строки b слова ab в коде не существует.
Посмотреть Теоремы Шеннона для источника общего вида и Префиксный код
Алгоритм Шеннона — Фано
Алгоритм Шеннона — Фано — один из первых алгоритмов сжатия, который впервые сформулировали американские учёные Шеннон и Роберт Фано.
Посмотреть Теоремы Шеннона для источника общего вида и Алгоритм Шеннона — Фано
Информационная энтропия
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости некоторой системы (в статистической физике или теории информации), в частности неопределённость появления какого-либо символа первичного алфавита.
Посмотреть Теоремы Шеннона для источника общего вида и Информационная энтропия
Также известен как Прямая теорема Шеннона для источника общего вида, Прямая теорема Шеннона для канала без помех.