Информации теория - definição. O que é Информации теория. Significado, conceito
Diclib.com
Dicionário ChatGPT
Digite uma palavra ou frase em qualquer idioma 👆
Idioma:

Tradução e análise de palavras por inteligência artificial ChatGPT

Nesta página você pode obter uma análise detalhada de uma palavra ou frase, produzida usando a melhor tecnologia de inteligência artificial até o momento:

  • como a palavra é usada
  • frequência de uso
  • é usado com mais frequência na fala oral ou escrita
  • opções de tradução de palavras
  • exemplos de uso (várias frases com tradução)
  • etimologia

O que (quem) é Информации теория - definição

РАЗДЕЛ ПРИКЛАДНОЙ МАТЕМАТИКИ, РАДИОТЕХНИКИ И ИНФОРМАТИКИ, ОТНОСЯЩИЙСЯ К ИЗУЧЕНИЮ СВОЙСТВ ИНФОРМАЦИИ
Информации теория; Математическая теория связи; Теория передачи информации
  • Схема системы связи

Теория информации         
Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи).
Информации теория         

математическая дисциплина, исследующая процессы хранения, преобразования и передачи информации (См. Информация). И. т. - существенная часть кибернетики (См. Кибернетика). В основе И. т. лежит определённый способ измерения количества информации, содержащейся в каких-либо данных ("сообщениях"). И. т. исходит из представления о том, что сообщения, предназначенные для сохранения в запоминающем устройстве (См. Запоминающее устройство) или для передачи по каналу связи, не известны заранее с полной определённостью. Заранее известно лишь множество, из которого могут быть выбраны эти сообщения, и в лучшем случае - то, как часто выбирается то или иное из этих сообщений (т. е. вероятность сообщений). В И. т. показывается, что "неопределённость", с которой сталкиваются в подобной обстановке, допускает количественное выражение и что именно это выражение (а не конкретная природа самих сообщений) определяет возможность их хранения и передачи. В качестве такой "меры неопределённости" в И. т. принимается число двоичных знаков, необходимое для фиксирования (записи) произвольного сообщения данного источника. Более точно - рассматриваются все возможные способы обозначения сообщений цепочками символов 0 и 1 (двоичные коды), удовлетворяющие условиям: а) различным сообщениям соответствуют различные цепочки и б) по записи некоторой последовательности сообщений в кодированной форме эта последовательность должна однозначно восстанавливаться. Тогда в качестве меры неопределённости принимают среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования (См. Кодирование); один двоичный знак служит единицей измерения (см. Двоичные единицы).

Пример. Пусть некоторые сообщения x1, x2, x3 появляются с вероятностями, равными соответственно 1/2, 3/8, 1/8. Какой-либо слишком короткий код, скажем

x1 = 0, x2 = 1, x3 = 01,

непригоден, так как нарушается вышеупомянутое условие б). Так, цепочка 01 может означать x1, x2 или x3. Код

x1 = 0, x2 = 10, x3 = 11,

удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное

Нетрудно понять, что никакой другой код не может дать меньшего значения, т. е. указанный код - самый экономный. В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.

Здесь уместно подчеркнуть, что термины "сообщение", "канал связи" и т. п. понимают в И. т. очень широко. Так, с точки зрения И. т., источник сообщений описывается перечислением множества x1, x2,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p1, p2,...

Нет никакой простой формулы, выражающей точный минимум H' среднего числа двоичных знаков, необходимого для кодирования сообщении x1, x2,..., xn через вероятности p1, p2,..., pn этих сообщений. Однако указанный минимум не меньше величины

(где log2a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов И. т., которые носят асимптотический характер, соответствуя случаю H' → ∞, разница между H и H' абсолютно несущественна. Поэтому именно энтропия принимается в качестве меры неопределённости сообщений данного источника. В приведённом выше примере энтропия равна

С изложенной точки зрения, энтропия бесконечной совокупности оказывается, как правило, бесконечной. Поэтому в применении к бесконечным совокупностям поступают иначе. Именно, задаются определённым уровнем точности и вводят понятие ε - энтропии, как энтропии сообщения, записываемого с точностью до ε, если сообщение представляет собой непрерывную величину или функцию (например, времени); подробнее см. в ст. Энтропия.

Так же как и понятие энтропии, понятие количества информации, содержащейся в одном случайном объекте (случайной величине, случайном векторе, случайной функции и т. д.) относительно другого, вводится сначала для объектов с конечным числом возможных значений. Затем общий случай изучается при помощи предельного перехода. В отличие от энтропии, количество информации, например, в одной непрерывно распределённой случайной величине относительно другой непрерывно распределённой величины очень часто оказывается конечным.

Понятие канала связи (см. Канал) в И. т. носит весьма общий характер. По сути дела, канал связи задаётся указанием множества "допустимых сообщений" на "входе канала", множеством "сообщений на выходе" и набором условных вероятностей получения того или иного сообщения на выходе при данном входном сообщении. Эти условные вероятности описывают влияние "помех", искажающих передаваемые сообщения, "Присоединяя" к каналу какой-либо источник сообщений, можно рассчитать количество информации относительно сообщения на входе, содержащееся в сообщении на выходе. Верхняя грань таких количеств информации, взятая по всем допустимым источникам, называется пропускной способностью (ёмкостью) канала. Ёмкость канала - его основная информационная характеристика несмотря на влияние (возможно сильное) помех в канале, при определённом соотношении между энтропией поступающих сообщений и пропускной способностью канала возможна почти безошибочная передача (при надлежащем кодировании, см. Шеннона теорема).

И. т. отыскивает оптимальные, в смысле скорости и надежности, способы передачи информации, устанавливая теоретические пределы достижимого качества. Как видно из предыдущего, И. т. носит существенно статистический характер, и поэтому значительная часть ее математических методов заимствуется из теории вероятностей.

Основы И. т. были заложены в 1948-49 американским ученым К. Шенноном. В ее теоретические разделы внесен вклад советским учеными А. Н. Колмогоровым и А. Я. Хинчиным, а в разделы, соприкасающиеся с применениями, - В. А. Котельниковым, А. А. Харкевичем и др.

Лит.: Яглом А. М., Яглом И. М., Вероятность и информация, 2 изд., М., 1960; Шэннон К., Статистическая теория передачи электрических сигналов, в кн.: Теория передачи электрических сигналов при наличии помех. Сб. переводов, М., 1953; Голдман С., Теория информации, пер. с англ., М., 1957; Теория информации и её приложения. Сб. переводов, М., 1959; Хинчин А. Я., Понятие энтропии в теории вероятностей, "Успехи математических наук", 1953, т. 8, в. 3; Колмогоров А. Н., Теория передачи информации, М., 1956, (АН СССР. Сессия по научным проблемам автоматизации производства. Пленарное заседание); Питерсон У. У., Коды, исправляющие ошибки, пер. с англ., М., 1964.

Ю. В. Прохоров.

ИНФОРМАЦИИ ТЕОРИЯ         
(иногда - сообщений теория) , раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких-либо сообщениях, и ее передачи.

Wikipédia

Теория информации

Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами.

Область находится на пересечении математики, статистики, информатики, физики, нейробиологии, информационной инженерии и электротехники. Теория также нашла применение в других областях, включая статистический вывод, обработку естественного языка, криптографию, нейробиологию, человеческое зрение, эволюцию и функцию молекулярных кодов (биоинформатика), выбор статистической модели, теплофизику, квантовые вычисления, лингвистику, выявление плагиата, распознавание образов и выявление аномалий. Важные подразделы теории информации включают в себя сжатие данных, канальное кодирование, алгоритмическую теорию сложности, алгоритмическую теорию информации, информационно-теоретическую безопасность, реляционный анализ Грея и измерение информации.

O que é Теория информации - definição, significado, conceito