СУЭБ ИВТ СО РАН

А.М.Федотов

Словарные статьи в коллекции: (public_cat = Thesaurus of Information Technology: Dictionary Articles )

Теория информации

Теория информации (математическая теория связи) — раздел радиотехники (теория обработки сигналов), информатики, прикладной математики, аксиоматически определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Термин «Теория информации» веден в употребление в первой половине двадцатого века с подачи Клода Шеннона. Он ввел этот термин в узком техническом смысле, применительно к теории связи или передачи кодов.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

В рамках теории информации существуют энтропийный - вероятностный (Шенноновский) и алгоритмический (Колмогоровский) подходы.

Понятие количества информации совершенно естественно связывается с классическим понятием статистической механики - понятием энтропии. Как количество информации в системе есть мера организованности системы, точно также энтропия системы есть мера дезорганизованности системы.
Н.Винер

"Не видно, почему теория информации должна столь существенно основываться на теории вероятностей, как это представляется по большинству руководств ... Теория информации должна предшествовать теории вероятностей, а не опираться на нее."
Колмогоров А.Н.

Ключевые термины, связанные с термином : "Теория информации":

1. информация [ru]
2. Искусственный интеллект [ru]
3. Энтропия [ru]

Литература

Основная

1. Ляпунов А.А. О математических проблемах кибернетики // Изв. вузов. Матем., 1958, № 5, с. 166–174

Факультативная

1. Колмогоров А. Н., Три подхода к определению понятия "количество информации" // Проблемы передачи информации. - 1965. - Том 1, - Выпуск № 1. - С. 3 - 11.
2. Колмогоров А.Н. Предисловие к русскому изданию книги У. Росс Эшби «Введение в кибернетику» / А.Н. Колмогоров // Очерки истории информатики / Редакторы-составители Д.А. Поспелов, Я.И. Фет. - Новосибирск: Научно-издательский центр ОИГГМ СО РАН, 1998.
3. Колмогоров А. Н. Теория информации и теория алгоритмов / А. Н. Колмогоров – М. Наука. 1987. – 304 с.
4. Ляпунов А. А., О математических проблемах кибернетики // Изв. вузов. Матем. - 1958. - Том 5, - Выпуск № 6. - С. 166–174.
5. Пирс Дж. Символы, сигналы, шумы. Закономерности и процессы передачи информации // М.: "Мир", 1967. - 337 с.

Ссылка на персон:

1. Винер Норберт
2. Колмогоров Андрей Николаевич
3. Фано Роберт Марио
4. Хэмминг Ричард Уэсли
5. Шеннон Клод Эльвуд

Контекстный поиск: Задайте образец для поиска:
    

© 2013-2024, Евразийский национальный университет им. Л.Н.Гумилева, Астана © 2007-2024, Новосибирский государственный университет, Новосибирск © 1998-2024, Институт вычислительных технологий СО РАН, Новосибирск © 1998-2024, Федотов А.М.

ФИТ НГУ       НГУ ЕНУ им.Гумилева ИВТ СО РАН