Об информации. Е. А. Седов.

О сайте Главная Гипотезы

..."теория информации в кибернетике напоминает болото, поверх которого заботливыми руками математиков и техников настланы достаточно твердые доски. Ниже, Шенноном и Винером насыпан плотный слой теорий и постулатов. Еще ниже находится мох догадок. И, наконец, там, совсем глубоко, - трясина гипотез, где все абсолютно шатко и сверкает ледяная вода таких широких обобщений и глубоких абстракций, которые еще не известны современной науке". Еще Маркс говорил о том, что наука в отличие от обычного архитектора может сначала создать крышу (или "положить твердые доски" на поверхность "зыбкого болота") и лишь потом подвести под нее стены и фундамент.

Нет, информацию не удержишь даже в волшебной бутылке!

Об информации

Е. А. Седов

Глава из книги: Е. Седов. Одна формула и весь мир. Изд-во "Знание" (Наука и прогресс), М., 1982, с. 25-37.

НЕСПРАВЕДЛИВОСТЬ.
ОТ БОЛЬЦМАНА ДО ШЕННОНА.
БАНДВАГОН ОТ НАУКИ.
ДВИЖЕНИЕ БЕЗ ТРЕНИЯ И ИНФОРМАЦИЯ БЕЗ СМЫСЛА.
ДЖИНН ПОКИДАЕТ БУТЫЛКУ.
ЗАПРЕТИТЕ РАДИОСВЯЗЬ!

Современный ученый произносит имя Больцмана с глубоким почтением. Работы Больцмана послужили фундаментом современной статистической физики. На них опирался Клод Шеннон, предложивший использовать для измерения информации введенную в науку Больцманом функцию Σр_i log p_i. В этой связи Шеннон вспоминает о Больцмане в своих первых работах по теории информации, которые (редчайший случай в науке!) стали классическими, едва успев выйти в свет.
___________
* Создавая вероятностную теорию энтропии, Больцман рассматривал не только реальное пространство, но и условное "пространство скоростей". Он показал, что скорости молекул (так же как и сами молекулы) стремятся равномерно "заполнить предоставленное им пространство". Когда газ достигает состояния равновесия, распределение вероятностей скоростей подчиняется нормальному закону, описываемому формулой и кривой Максвелла.

Но при жизни Больцмана все складывалось совершенно иначе. Опубликование работ Больцмана, сыгравших такую огромную роль в последующем развитии науки, не принесло автору ничего, кроме горького разочарования и чувства глубокой обиды, подогреваемого пренебрежительным отношением и откровенными насмешками. Увлеченные успехами классической физики современники считали разрабатываемую Максвеллом и Больцманом молекулярную теорию "излишней гипотезой", якобы уводящей науку в сторону от решения актуальных задач. "Кинетическая теория, как известно, так же ошибочна, как и различные механические теории тяготения... Но если кто-нибудь обязательно хочет с ней познакомиться, пусть возьмет в руки произведение Больцмана", – в таком вот развязно-пренебрежительном тоне откликнулся на опубликование работы Больцмана один научный журнал.
Подобных откликов появилось в то время немало. Мнение их авторов сводилось к тому, что понятные и доступные непосредственным наблюдениям физические явления незачем объяснять взаимодействиями никому не ведомых гипотетических молекул. Больцман неоднократно вступал в полемику, отстаивал свои взгляды. Но на всех научных конгрессах и съездах он был одинок. Против его теории выступали Лошмидт и Цермело, Мах и Оствальд, Пуанкаре и Планк.
Можно себе представить, с каким чувством Больцман читал или слушал неодобрительные и иронические отзывы о труде, которому он посвятил лучшие свои творческие годы. И не нам теперь осуждать выдающегося ученого за проявленную им человеческую слабость, за то, что он не нашел в себе мужества пережить несправедливость и в период расцвета творческих сил по собственной воле прервал свою плодотворную жизнь.
Идеи Больцмана были подхвачены, развиты и углублены. Они нашли отражение в трудах американца Дж. Гиббса, поляка М. Смолуховского, русских ученых Н. Н. Пирогова и Т. А. Афанасьевой-Эренфест.
В более поздние годы, во время бурного развития квантовой физики, идеи Больцмана использовали в своих исследованиях такие выдающиеся физики, как Ферми, Дирак, Эйнштейн. Больше того, классическая работа Планка, положившая начало всей квантовой физике, не могла бы появиться на свет, если бы Планк не пересмотрел своих взглядов на теорию Больцмана и не стал бы горячим сторонником тех его идей, которые он раньше не признавал.
А в середине нашего века была создана теория информации, с ее появлением введенная Больцманом функция пережила как бы второе рождение: с этих пор она начала применяться для исследования не только хаотичных, но и обладающих определенным порядком систем. Для таких систем появление разных элементов (букв, яркостей и т. п.) имеет не одинаковую, а различную вероятность. Именно поэтому вместо напоминающего снежный буран танца светлых и темных пятен мы видим на телеэкранах изображение разных предметов, лиц и событий. Именно поэтому мы находим в газетах, журналах и книгах не беспорядочное чередование букв, а осмысленный текст.
Рождение теории информации заставило еще раз переосмыслить сущность понятия "энтропия".
В 1948 году в реферативном журнале американской телефонной компании "Белл систем" появилась статья 32-летнего инженера-связиста Клода Шеннона "Математическая теория связи".
Она начиналась так: "Современное развитие различных методов модуляции... повысило интерес к общей теории связи. Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале".
Скромная постановка сугубо технической, прикладной задачи. Скромные ссылки на работы предшественников Хартли и Найквиста, появившиеся в том же журнале около 20 лет назад. Как же случилось, что спустя несколько лет эта статья была единодушно признана одним из самых значительных фундаментальных научных трудов нашей эпохи? Что нового внесла она в теорию по сравнению с тем, что сделали Найквист и Хартли?
Главным принципиально новым явилась введенная Шенноном мера количества информации. Измерять информацию предлагал до Шеннона Хартли. Однако его мера имела весьма частный характер по сравнению с шенноновской, основанной на методе измерения информации с помощью выведенной за 70 лет до Шеннона Больцманом статистической формулы энтропии.
Вот эта связь между количеством информации и энтропией и послужила сначала причиной горячих дискуссий, а затем – ключом к решению ряда научных проблем.
Впрочем, спор разгорелся не сразу, и проблемы решались не за один месяц и не за один год.
В предисловии к русскому переводу сборника статей К. Шеннона под названием "Работы по теории информации и кибернетике" известный советский математик академик А. Н. Колмогоров писал: "...Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика".
Но прошло еще несколько лет, и формула Больцмана – Шеннона стала мелькать не только в технических и математических журналах, но и в трудах биологов, психологов, лингвистов, физиков, искусствоведов, геологов, философов... В общем, повторюсь, сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить.
Казалось бы, популярность новой теории должна была принести ее создателю удовлетворение и радость. На самом же деле все обстояло совсем не так. "Теория информации, как модный опьяняющий напиток, кружит голову всем вокруг... За последние несколько лет теория информации превратилась в своего рода бандвагон от науки", – писал Шеннон в своей статье "Бандвагон". Бандвагоном в Америке называют специальный автобус с джазом, на котором победитель очередных выборов совершает перед избирателями своего рода парад-алле.
Шеннон не нуждается в бандвагоне, его не привлекает быстрое признание и легкий успех. Как человек науки Шеннон предпочитает политическим акциям и кампаниям поиски изящных инженерных решений, громким овациям – тишину лаборатории, признанию публики – уединенный творческий кабинет. Чрезмерно широкий и часто слишком поверхностный интерес к новой теории со временем стал его раздражать. Он написал статью о бандвагоне и оказался в роли героя "Тысяча и одной ночи": откупорил бутылку и остановился поодаль, наблюдая, как из нее стал вырастать огромный джинн.
Прямо-таки парадоксально выглядит несходство этой истории с тем, что пережил в свое время Больцман. Больцман страдал от того, что предложенное им толкование энтропии не нашло поддержки среди современников. А Шеннон, напротив, был крайне обеспокоен чересчур живым откликом, тем, что новые взгляды на энтропию сразу же вышли за пределы узкого круга специалистов по технике связи и были подхвачены представителями совсем неожиданных для самого Шеннона научных областей. И все же нельзя не разделить некоторых опасений Шеннона, связанных с тем, что на теорию информации возник, как выразился Шеннон, "очень большой, даже, может быть, слишком большой спрос".
Действительно, специфика задач теории и техники связи требует весьма строгого подхода к использованию как математического аппарата теории информации, так и выдвинутых новой теорией общих идей. Однако нельзя, к сожалению, утверждать, что при переносе этих идей в такие области, как биология, психология, семиотика, искусствоведение, всегда соблюдается та же научная строгость. Здесь понятия теории информации часто внедряются на основе весьма поверхностных аналогий в качестве «модных» терминов, без глубокого проникновения в их суть. И тут можно полностью согласиться с Шенноном: если не пресечь этой тенденции в корне, теория информации и близкие к ней области могут легко превратиться в теории для болтунов. Подобного рода опасения и побудили основоположника теории информации обратиться к своим коллегам с призывом "поддерживать образцовый порядок в своем собственном доме", "обратить внимание на то, чтобы исследовательская работа велась на самом высоком научном уровне", "больше исследовать и меньше демонстрировать свои достижения, повысить требования к себе".
Обобщая эти высказывания, академик А. Н. Колмогоров приходит к заключению, что в целом статья "Бандвагон" демонстрирует типичный для Шеннона "скромный и деловой подход".
"Модный напиток" не вскружил голову Клоду Шеннону. Ему раньше всех было дано понять, что теория его не универсальна, что предложенные им для измерения количества информации новая мера и новые единицы измерения (биты) не учитывают таких важных свойств информации, как ее ценность и смысл.
Шеннон предложил измерять информацию по степени ее неожиданности.
Отправив жену в родильный дом, гражданин Б. может с равной вероятностью ожидать рождения дочери или сына. Сообщение о рождении сына или дочери дает ему информацию, количество которой составляет 1 бит (о способах вычисления количества информации мы поговорим подробнее в следующей главе).
В очередном турнире на первенство мира по шахматам первую партию белыми могут начать с равной вероятностью оба претендента. После жеребьевки стало известно, кто из соперников начнет турнир белыми. Сообщение об этом даст получателю информацию в количестве 1 бита.
Теперь представим себе, что один и тот же гражданин Б. ожидает рождения ребенка и следит за ходом шахматного турнира. Вполне очевидно, что сообщения "У вас родился сын" и "Карпов начнет первую партию белыми" имеют для него совершенно различную ценность. А теория информации оценивает их одинаково.
Есть ли смысл измерять информацию без учета содержащегося в ней смысла? Оказывается, в этом отказе от конкретного содержания ради сопоставимости количества информации разнообразных сообщений и заключается самый глубокий теоретический смысл.
Существует ли на земле механическое движение без трения? Не существует. Об этом прекрасно знали и современники Галилея, и, конечно же, сам Галилей. И тем не менее Галилей задал себе вопрос: что было бы, если бы не было трения?
Ответ получился парадоксальным: тогда телеги могли бы ездить без лошадей! Так был открыт закон инерции, ставший затем фундаментом законов механики, управляющих движением всех земных и небесных физических тел.
Таков один из главных методологических принципов науки: чтобы выявить какие-то общие закономерности, надо абстрагироваться от некоторых конкретных свойств реальных объектов. Именно так и поступил с содержащимся в сообщениях смыслом основоположник теории информации Клод Шеннон. Предложенные им для измерения количества информации единицы (биты) пригодны для оценки любых сообщений, будь то известие о рождении сына, звуки симфонии или телевизионный спектакль. Точно так же с помощью одних и тех же чисел можно определять количество овец, деревьев, шагов, дней, вес, скорость, плотность, вязкость, прочность, освещенность, напряжение, притяжение, силу тока и все прочее, о чем написано великое множество всевозможных справочников и книг.
А ведь на земле и по сей день есть племена, у которых число "пять" звучит по-разному в выражениях "пять быков" и "пять пальцев". Не сумев абстрагировать понятие "число" от конкретных объектов счета, эти племена ни на один шаг не продвинулись в области создания и освоения точных наук.
Галилей абстрагировался от неотделимого от движения трения, чтобы сформулировать законы механики. Клод Шеннон абстрагировался от смысла передаваемой информации, чтобы научиться ее (информацию) измерять.
Опираясь на созданную Шенноном теорию, многие ученые пытались найти такие меры количества информации, которые учитывали бы ее ценность и смысл. Для многих конкретных исследований такие оценки безусловно нужны и полезны. Просто необходимы. Однако ни одна из вновь предложенных мер информации не смогла стать такой же универсальной, как мера Шеннона. И это естественно: для разных процессов различными будут критерии ценности или смысла, не говоря уже о том, что эти критерии зависят и от того, кто ими желает воспользоваться. Короче: измерения смысла и ценности информации всегда субъективны, в то время как мера, предложенная Шенноном, позволяет исследовать информационные процессы, исключив из них всякий субъективизм.
Оценка информации по смыслу – это один из способов ее сортировки (селекции) в принципе не отличающейся от сортировки сигналов по их физическому носителю, диапазону частот и т. п. Запах, несущий огромное количество информации тигру или собаке, неуловим для человека. Ухо человека не воспринимает ультразвуковые сигналы, которыми обмениваются дельфины, а то, что слышит человек, безразлично дельфину.
Все эти частные различия игнорируются мерой, предложенной Шенноном, и потому она в равной мере пригодна для исследования всех видов информационных процессов независимо от "вкусов" потребителей информации, ими могут быть и человек, и живая клетка, и тигр, и дельфин, и ЭВМ, и еще множество других систем.
Отказавшись (абстрагировавшись) от смысла и ценности сообщений, Шеннон исключил тем самым и навязчивые мнения всевозможных субъектов и сосредоточил внимание на объективных свойствах информации, описываемых математическим (вероятностным) языком. На первый план выступили некие общие свойства информации, не зависящие от субъективных оценок. Благодаря этому и случилось неожиданное даже для самого Клода Шеннона великое чудо: наука приобрела инструмент для исследований информационно-энтропийных соотношений, справедливых для всех форм информации, существующих в мире, будь то информация книг, радио, телевидения, газет и журналов или информация, циркулирующая по нервным тканям и по цепям электронных машин.
"Джинн информации" день ото дня продолжает увеличиваться в размерах и теперь стал уже огромным, как целый мир. К счастью, джинн этот в отличие от многих своих прототипов из "Тысячи и одной ночи" по натуре очень миролюбив. Его могущество может приносить людям только добро. И все-таки Шеннон рекомендует не слишком уж уповать на его всемогущество, поскольку "здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только окажется, что при помощи нескольких магических слов, таких, как информация, энтропия, избыточность, нельзя решать всех нерешенных проблем".
По поводу всех "нерешенных проблем" спорить, конечно, бесмысленно: было бы странно и удивительно, если бы все проблемы вдруг разрешились с помощью трех магических слов. Но среди наболевших проблем науки есть немало таких, к которым теория информации открывает новый подход. И дело тут не в магической силе слов "информация", "энтропия", "избыточность", а в глубине и емкости тех понятий, которые выражают эти слова.
Свое скептическое отношение к применению идей теории информации и связанных с ней новых взглядов на энтропию в различных областях современной науки, Шеннон выразил следующими словами: "Очень редко удается открыть сразу несколько тайн природы одним и тем же ключом". При всем нашем глубоком уважении к Клоду Шеннону и восхищении глубиной созданной им теории придется взять на себя смелость еще раз ему возразить. Разве такой "ключ", как закон сохранения энергии, не помог открыть множество тайн природы, начиная от не посредственно наблюдаемых физических и химических процессов и вплоть до самых интимных подробностей незримой жизни микрочастиц? Разве законы механики не помогали одновременно и конструировать тончайшие механизмы, и предсказывать движение планет и небесных светил?
Теория информации – это не менее значительный шаг в развитии научной мысли. Происходившая около 100 лет назад первая техническая революция побудила науку установить единую сущность различных видов энергии. Вторая техническая революция поставила на повестку дня вопрос об углублении представлений о сущности, единстве и противоположности понятий информации и энтропии.
Нельзя утверждать, что в этих вопросах уже установлена полная ясность. К общим взглядам и единому мнению ученые пока не пришли. По-разному толкуются и сущность понятия "информация", и его субъективный и объективный аспекты, и связь информации с энтропией.
В книге "Самодвижение материи в свете кибернетики" советский исследователь Л. А. Петрушенко высказался по этому поводу так: "Информация – это известное явление, которое стало совершенно непонятным после возникновения кибернетики".
Это не лишенное определенной доли иронии замечание подтверждается сложившимся положением дел.
По словам Петрушенко, "теория информации в кибернетике напоминает болото, поверх которого заботливыми руками математиков и техников настланы достаточно твердые доски. Ниже, Шенноном и Винером насыпан плотный слой теорий и постулатов. Еще ниже находится мох догадок. И, наконец, там, совсем глубоко, – трясина гипотез, где все абсолютно шатко и сверкает ледяная вода таких широких обобщений и глубоких абстракций, которые еще не известны современной науке".
В представленной Петрушенко образной картине современного состояния теории информации ничего противоестественного, в общем-то, нет. Еще Маркс говорил о том, что наука в отличие от обычного архитектора может сначала создать крышу (или "положить твердые доски" на поверхность "зыбкого болота") и лишь потом подвести под нее стены и фундамент.
В таком парадоксальном положении находится, по мнению Петрушенко, и современная теория информации: "Крыша, висящая в воздухе, без фундамента и без стен". "В настоящее время, говорит он, – сконструированы и успешно работают многочисленные технические устройства, основанные на передаче и преобразовании информации и потому называющиеся информационными. Имеется прекрасно разработанный математический аппарат для нужд теории информации. Самой теории информации, по выражению одного из ведущих специалистов в этой области, очень повезло: редко случается, чтобы какая-нибудь теория уже в начальный период своего развита имела столь полный и законченный вид, как теория информации! А между тем, если вы заинтересуетесь вопросом, что такое информация, и найдете соответствующее определение информации в какой-либо из книг (что, вообще говоря, трудно сделать, так как авторы их избегают давать такое определение), то можно с большей уверенностью утверждать, что другие авторы будут с ним не согласны".
Так как же быть? Ждать пока наука выработает общепризнанный взгляд на информацию или использовать уже сложившийся аппарат новой теории для решения научных проблем? Такого вопроса, в сущности, не возникало. Теория информации сразу стала внедряться, по мере возникновения и решения все новых и новых информационных проблем становиться все шире и глубже. "Может показаться даже, – замечает Петрушенко, – что чем более развитыми и сложными становятся информационные устройства, чем глубже они вторгаются в различные области человеческой деятельности, тем более трудно становится ответить на вопрос, что же такое информация..."
К этому надо добавить, что трудности нового осознания информации заключаются не столько в создании новых информационных устройств, сколько в обнаружении все новых информационных процессов, протекающих без вмешательства человека.
Ту "понятную" для всех информацию, о которой говорит Петрушенко, мы привыкли черпать на страницах книг, газет или журналов, в теле- и радиопередачах, в разговорах и переписке друг с другом. "Непонятная информация" хранится в структуре элементарных частиц, атомов, молекул, кристаллов, клеток. Можно извлечь ее, исследуя структуру тех или иных объектов. Но самое удивительное заключается в том, что информация эта зарождается и существует независимо от человека что молекулы или кристаллы, не дожидаясь вмешательства человека, могут обмениваться информацией между собой.
Вот тут начинается "непонятное". Что общего между информацией, которую можно извлечь, изучая структуру кристалла, и информацией, черпаемой нами из ежедневных газет? Существуют ли некие общие законы, заставляющие мир непрерывно копить информацию, вначале в молекулах и кристаллах, потом в клетках и организмах и, наконец, в мозге, в книгах и в памяти ЭВМ?
Вот вопросы, во весь рост вставшие перед современной наукой и породившие "трясину гипотез" и "ледяную воду широких обобщений и глубоких абстракций" под тем новым зданием, которое кибернетика и теория информации начали воздвигать "с крыши и с потолка". Эти вопросы выдвинуты теорией информации, показавшей, что всякую информацию (и "понятную", то есть ту, что в газетах и книгах, и "непонятную" – ту, которой обмениваются молекулы и кристаллы) можно измерять с помощью одинаковых единиц.
Теория информации в том виде, в каком она существует сегодня, – это лишь первый шаг к решению многих научных задач. С ее помощью пока не открыты законы такого масштаба, как, например, закон всемирного тяготения. Но тут приходится делать скидку на возраст – нельзя же требовать от ребенка, пусть даже и одаренного, великих свершений с самых первых шагов. Тем не менее теория информации с первых шагов предложила новый, весьма плодотворный подход к сложнейшим проблемам – таким, как жизнь, мышление, передача наследственных признаков, процессы развития и т. д. И он дал первые результаты, которые, по-видимому, со временем послужат основой общей теории развития информационных систем *.
___________
* Этим научным проблемам посвящена, в частности, написанная автором книга: "Эволюция и информация". М., Наука, 1976.

В общем, – хотим ли мы того или нет, но приходится констатировать, что могучий "джинн информации" уже вылез на белый свет из откупоренной Шенноном бутылки и никакими заклинаниями или магическими словами загнать его обратно в бутылку уже нельзя.
Надо заметить, что такие истории в науке происходят не впервые. Нечто подобное случилось в конце прошлого века. Ученого, который так же как Шеннон, откупорил бутылку, не оценив могущества освобожденного им джинна, звали Генрихом Герцем. Джинн, которого он выпустил из бутылки, – это электромагнитное излучение. Существование радиоволн теоретически было предсказано Джеймсом Клерком Максвеллом. Экспериментально их получил впервые Герц. Сообщение об открытии "волн Герца" многими учеными было встречено как первый шаг к созданию беспроволочной связи. И никто, пожалуй, не относился к этой идее более скептически, чем сам Герц.
В ответ на одно из предложений начать работать над идеей радиосвязи Герц написал: "Электрические колебания в трансформаторах и телефонах слишком медленные... Если бы вы были в состоянии построить выгнутые зеркала размером с материк, то вы могли бы поставить намечаемые опыты, но практически сделать ничего нельзя: с обычными зеркалами вы не обнаружите ни малейшего действия. По крайней мере, так думаю я".
Удивительное сочетание точности научного мышления и отсутствия перспективности мысли! Да, зеркала антенн действительно должны быть соизмеримы с длиной излучаемых ими волн. Однако вместо того, чтобы проектировать антенны, сравнимые по величине с материками, Герцу следовало бы вспомнить восточную мудрость о Магомете и горе. Нельзя создавать зеркала величиной с материк или хотя бы с гору. Но если гора не идет к Магомету... Техника радиосвязи пошла по пути укорочения волн. Телефон обходится частотами в тысячи герц. Развитие радиосвязи потребовало повышения частот до сотен тысяч и миллионов герц.
Герцы, тысячи герц, миллионы и миллиарды герц... Имя Герца звучит сейчас на всех диапазонах частот. Тем самым мы отдаем вечную дань знаменитому опыту Герца. И стараемся перечеркнуть его печальные заблуждения, забыть о том, что он в свое время предлагал Дрезденской палате коммерции запретить как не имеющие практической ценности все последующие исследования радиоволн.
Представьте себе, что было бы, если бы Дрезденская палата откликнулась на предложение Герца и попыталась его выполнить? Ведь это было бы равносильно попытке запретить существующую ныне радиосвязь.
Нет, информацию не удержишь даже в волшебной бутылке! Мир так нуждается в информации, что стоит лишь приоткрыть небольшое отверстие, до поры до времени утаенное от нас природой, как тут же через него наружу вырывается неудержимый фонтан. Джинн, освобожденный Герцем, разнес информацию по всему белу свету на радиоволнах. Джинн, освобожденный Шенноном, позволил измерить количество информации и обнаружить при этом, что информация существует не только в радиоволнах и книгах, но и в структуре всех созданных природой и человеком организованных систем.
В чем же секрет "вездесущности" созданной Шенноном новой теории? Чтобы понять этот секрет, придется опять обратиться к замечательной функции энтропии.

Дата публикации: 15 января 2004 года

В начало

Источник информации: Е. Седов. Одна формула и весь мир. Изд-во "Знание" (Наука и прогресс), М., 1982.
Электронная версия.

Главная • О сайте • Гипотезы