Основные понятия теории информации (курсовая)


СОДЕРЖАНИЕ

ВВЕДЕНИЕ    3
1. ОБЩАЯ ХАРАКТЕРИСТИКА ИНФОРМАЦИИ    5
1.1. Виды информации    5
1.2. Хранение, измерение, обработка и передача информации    7
2. КОМБИНАТОРНЫЙ ПОДХОД К КОЛИЧЕСТВЕННОМУ  ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ    11
3. ВЕРОЯТНОСТНЫЙ ПОДХОД К КОЛИЧЕСТВЕННОМУ ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ    17
4. АЛГОРИТМИЧЕСКИЙ ПОДХОД К КОЛИЧЕСТВЕННОМУ ОПРЕДЕЛЕНИЮ ИНФОРМАЦИИ    26
ЗАКЛЮЧЕНИЕ    30
СПИСОК  ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ    31

 

ВВЕДЕНИЕ

 

В настоящее время теория информации занимает важное место среди технических наук. Появившись на свет в качестве специального метода в теории связи, она заняла выдающееся место, как в популярной, так и в научной литературе. Это можно объяснить отчасти ее связью с такими модными областями науки и техники, как кибернетика, теория автоматов, теория вычислительных машин, а отчасти новизной ее тематики.

В результате всего этого значение теории информации было преувеличено. Ученые различных специальностей используют идеи теории информации при решении своих частных задач. Так, теория информации нашла применение в биологии, психологии, лингвистике, теоретической физике, экономике, теории организации производства и во многих других областях науки и техники.

Однако сознавая, что теория информации является сильным средством решения проблем теории связи (и в этом отношении ее значение будет возрастать), нельзя забывать, что она не является панацеей для инженера-связиста и тем более для представителей всех других специальностей. Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключем. Здание искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи нескольких магических слов, таких, как информация, энтропия и избыточность нельзя решить всех нерешенных проблем.

Что можно сделать, чтобы внести в сложившуюся ситуацию ноту умеренности? Представителям различных наук следует ясно понимать, что основные положения теории информации касаются очень специфического направления исследования, направления, которое совершенно не обязательно должно оказаться плодотворным в психологии, экономике и в других социальных науках.

В самом деле, основу теории информации составляет одна из ветвей математики, то есть строго дедуктивная система. Поэтому глубокое понимание математической стороны теории информации и ее практических приложений к вопросам общей теории связи является обязательным условием использования теории информации в других областях науки.

Клод Шэннон (1916-2001) называется «отцом теории информации. Его теория изначально понималась, как строго математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

Таким образом, тема данной работы является актуальной, так как теория информации имеет большое значение в различных областях человеческого знания, но требует внимательного изучения с целью возможности ее применения в различных ситуациях.

Целью данной работы является изучение основных понятий теории информации.

В соответствии с целью, в работе были поставлены следующие задачи:

- дать общую характеристику информации;

- изучить комбинаторный подход к количественному определению информации;

- изучить вероятностный подход к количественному определению информации;

- исследовать алгоритмический подход к количественному определению информации.

1. ОБЩАЯ ХАРАКТЕРИСТИКА ИНФОРМАЦИИ

1.1. Виды информации

 

Информация может быть двух видов: дискретная (цифровая) и не­прерывная (аналоговая). Дискретная информация характеризуется по­следовательными точными значениями некоторой величины, а непре­рывная — непрерывным процессом изменения некоторой величины. Не­прерывную информацию может, например, выдавать датчик атмосфер­ного давления или датчик скорости автомашины. Дискретную инфор­мацию можно получить от любого цифрового индикатора: электронных часов, счетчика магнитофона и т.п.

Дискретная информация удобнее для обработки человеком, но не­прерывная информация часто встречается в практической работе, по­этому необходимо уметь переводить непрерывную информацию в дис­кретную (дискретизация) и наоборот. Модем (это слово происходит от слов модуляция и демодуляция) представляет собой устройство для та­кого перевода: он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот.

При переводе непрерывной информации в дискретную важна так называемая частота дискретизации ν, определяющая период (T = 1/ν) между измерениями значений непрерывной величины (рис. 1).

Чем выше частота дискретизации, тем точнее происходит перевод непрерывной информации в дискретную. Но с ростом этой частоты рас­тет и размер дискретных данных, получаемых при таком переводе, и, следовательно, сложность их обработки, передачи и хранения. Однако для повышения точности дискретизации необязательно безграничное увеличение ее частоты.

Эту частоту разумно увеличивать только до предела, определяемого теоремой о выборках, называемой также теоре­мой Котельникова или законом Найквиста.

 

Рис. 1. Дискретизация сигнала

 

Любая непрерывная величина описывается множеством наложен­ных друг на друга волновых процессов, называемых гармониками, определяемых функциями вида

Asin(ωt + ф)                    (1)

где A — это амплитуда, ω — частота, t — время и  ф — фаза.

Теорема о выборках утверждает, что для точной дискретизации ее частота должна быть не менее чем в два разы выше наибольшей частоты гармоники, входящей в дискретизируемую величину [17].

Примером использования этой теоремы являются лазерные ком­пакт-диски, звуковая информация на которых хранится в цифровой форме. Чем выше будет частота дискретизации, тем точнее будут вос­производиться звуки и тем меньше их можно будет записать на один диск, но ухо обычного человека способно различать звуки с частотой до 20 КГц, поэтому точно записывать звуки с большей частотой бессмыс­ленно. Согласно теореме о выборках частоту дискретизации нужно вы­брать не меньшей 40 КГц (в промышленном стандарте на компакт-диске используется частота 44.1 КГц).

При преобразовании дискретной информации в непрерывную, опре­деляющей является скорость этого преобразования: чем она выше, с тем более высокочастотными гармониками получится непрерывная величи­на. Но чем большие частоты встречаются в этой величине, тем сложнее с ней

 

Заказать курсовую

 

Добавить комментарий


Защитный код
Обновить