Анатолій Ушаков, д. т.з, проф. кав. систем управління та інформатики, університет «ІТМО»

Багато поколінь технічних фахівців другої половини XX століття, навіть досить далекі від теорії автоматичного управління та кібернетики, вийшовши зі стін вузів, на все життя запам'ятали назви «авторських» науково-технічних досягнень: функції Ляпунова, марківські процеси, частота та критерій Найквіста, вінерівський процес фільтр Калмана. Серед таких досягнень почесне місце посідають теореми Шеннона. У 2016 р. виповнюється сто років від дня народження їхнього автора – вченого та інженера Клода Шеннона.

«Хто володіє інформацією, той володіє світом»

У. Черчілль

Мал. 1. Клод Шеннон (1916-2001)

Клод Елвуд Шеннон (Claude Elwood Shannon) (рис. 1) народився 30 квітня 1916 р. у місті Петоцьки, розташованому на березі озера Мічиган штату Мічиган (США), у родині юриста та викладача іноземних мов. Його старша сестра Кетрін захоплювалася математикою і згодом стала професором, а батько Шеннона поєднував роботу адвоката з радіоаматорством. Далеким родичем майбутнього інженера був винахідник Томас Едісон, який прославився на весь світ і мав 1093 патенти.

Шеннон закінчив загальноосвітню середню школу у 1932 р. у віці шістнадцяти років, одночасно отримавши додаткова освітавдома. Батько купував йому конструктори та радіоаматорські набори і всіляко сприяв технічної творчостісина, а сестра приваблювала його до поглиблених занять математикою. Шеннон полюбив обидва ці світу - техніку та математику.

У 1932 р. Шеннон вступив до університету Мічігану, який закінчив у 1936 р., отримавши ступінь бакалавра за двома спеціальностями: математика і електротехніка. Під час навчання він знайшов у бібліотеці університету дві роботи Джорджа Буля (George Boole). Математичний аналізлогіки» та «Логічний обчислення», написані у 1847 та 1848 роках відповідно. Шеннон ретельно їх вивчив, і це, мабуть, визначило його подальші наукові інтереси.

Після закінчення університету Клод Шеннон влаштувався працювати в лабораторію електротехніки Массачусетського технологічного інституту (MTІ) асистентом-дослідником, де працював над завданнями модернізації диференціального аналізатора Ванневара Буша (Vannevar Bush), віце-президента МТІ, - аналогового «комп'ютера». З того часу Ванневар Буш став науковим наставником Клода Шеннона. Вивчаючи складні, вузькоспеціалізовані релейні та перемикальні електросхеми пристрою управління диференціальним аналізатором, Шеннон зрозумів, що концепції Джорджа Буля можуть отримати у цій галузі гідне застосування.

Наприкінці 1936 р. Шеннон вступає до магістратури, а вже 1937 р. він пише реферат дисертації на здобуття ступеня магістра і на його основі готує статтю «Символьний аналіз реле та перемикачових схем», яка була опублікована в 1938 р. у виданні Американського інституту інженерів-електриків (AIEE). Ця робота привернула увагу наукового електротехнічного співтовариства, й у 1939 р. Американським товариством цивільних інженерів (American Society of Civil Engineers) Шеннону було присуджено неї Премія імені Альфреда Нобеля.

Ще не захистивши магістерської дисертації, Шеннон за порадою Буша вирішив працювати над докторською математикою в МТІ, що стосується задач генетики. На думку Буша, генетика могла стати вдалою проблемною галуззю застосування знань Шеннона. Лікарська дисертація Шеннона, що отримала назву «Алгебра для теоретичної генетики», була завершена навесні 1940 р. і присвячена проблемам генної комбінаторики. Шеннон отримав докторський ступінь з математики і в цей же час захистив дисертацію на тему «Символьний аналіз реле та перемикальних схем», став магістром електротехніки.

Лікарська дисертація Шеннона не отримала великої підтримки у генетиків і тому ніколи не була опублікована. Проте дисертація на ступінь магістра виявилася проривною у комутаційній та цифровій техніці. У останньому розділідисертації було наведено багато прикладів успішного застосування розробленого Шенноном логічного обчислення до аналізу та синтезу конкретних релейних та перемикальних схем: селекторних схем, замку з електричним секретом, двійкових суматорів. Всі вони наочно демонструють досконалий Шенноном науковий прорив та величезну практичну користь від формалізму логічного обчислення. Так народилася цифрова логіка.

Мал. 2. Клод Шеннон у Bell Labs (середина 1940-х рр.)

Весною 1941 р. Клод Шеннон стає співробітником математичного відділення науково-дослідного центру Bell Laboratories (рис. 2). Слід сказати кілька слів про атмосферу, в яку потрапив 25-річний Клод Шеннон, - її створювали Гаррі Найквіст (Harry Nyquist), Хенрік Боде (Hendrik Bode), Ральф Хартлі (Ralph Hartley), Джон Тьюкі (John Tukey) та інші співробітники Bell Laboratories. Усі вони вже мали певні результати у розробці теорії інформації, які Шеннон згодом розвине рівня великої науки.

В цей час у Європі вже йшла війна, і Шеннон проводив дослідження, які широко фінансував уряд США. Робота, яку Шеннон виконував у Bell Laboratories, була пов'язана з криптографією, що призвело його до необхідності зайнятися математичною теорією криптографії та згодом дозволило проводити аналіз зашифрованих текстів інформаційно-теоретичними методами (рис. 3).

У 1945 р. Шеннон завершив великий секретний науковий звіт на тему Математична теорія криптографії (Communication Theory of Secrecy Systems).

Мал. 3. У шифрувальної машини

У цей час Клод Шеннон вже був близьким до того, щоб виступити перед науковою громадськістю з новими базовими концепціями з теорії інформації. І в 1948 р. він опублікував свою епохальну працю «Математична теорія зв'язку». Математична теорія зв'язку Шеннона передбачала трикомпонентну структуру, складену з джерела інформації, приймача інформації та «транспортного середовища» - каналу зв'язку, що характеризується пропускною здатністю та здатністю спотворювати інформацію під час передачі. Виникло певне коло проблем: як кількісно оцінити інформацію, як її ефективно упаковувати, як оцінити допустиму швидкість виведення інформації з джерела в канал зв'язку з фіксованою пропускною здатністю, щоб гарантувати безпомилкову передачу інформації, і, нарешті, як вирішити останнє завдання за наявності перешкод у каналі зв'язку? На ці запитання Клод Шеннон дав людству вичерпні відповіді своїми теоремами.

Слід сказати, що колеги з «цеху» допомогли Шеннону з термінологією. Так, термін для мінімальної одиниці кількості інформації – «біт» – запропонував Джон Тьюкі, а термін для оцінки середньої кількості інформації на символ джерела – «ентропія» – Джон фон Нейман (John von Neumann). Свою основну роботу Клод Шеннон виклав у вигляді двадцяти трьох теорем. Не всі теореми рівноцінні, частина з них носить допоміжний характер або присвячена окремим випадкам теорії інформації та її передачі дискретними і безперервними каналами зв'язку, але шість теорем є концептуальними і складають каркас будівлі теорії інформації, створеної Клодом Шенноном.

  1. Перша з цих шести теорем пов'язана з кількісною оцінкою інформації, що генерується джерелом інформації, в рамках стохастичного підходу на основі заходу у вигляді ентропії із зазначенням її властивостей.
  2. Друга теорема присвячена проблемі раціональної упаковки символів, що генеруються джерелом, при їх первинному кодуванні. Вона породила процедуру ефективного кодування та необхідність введення в структуру системи передачі інформації кодера джерела.
  3. Третя теорема стосується проблеми узгодження потоку інформації з джерела інформації з пропускною здатністю каналу зв'язку в умовах відсутності перешкод, що гарантує відсутність спотворення інформації під час передачі.
  4. Четверта теорема вирішує те саме завдання, що й попередня, але в умовах наявності в двійковому каналі зв'язку перешкод, дії яких на передану кодову посилку повідомлення сприяють ймовірності спотворення довільного коду біта. Теорема містить умову уповільнення передачі, що гарантує задану можливість безпомилкової доставки кодової посилки одержувачу. Ця теорема є методологічною основоюперешкодозахисного кодування, що призвело до необхідності введення в структуру системи передачі кодера каналу.
  5. П'ята теорема присвячена оцінці пропускної спроможності безперервного каналу зв'язку, що характеризується деякою частотною смугою пропускання та заданими потужностями корисного сигналу сигналу і перешкоди в каналі зв'язку. Теорема визначає так званий кордон Шеннону.
  6. Остання з теорем, іменована теоремою Найквіста - Шеннона-Котельникова, присвячена проблемі безпомилкового відновлення безперервного сигналу за його дискретними за часом відліками, яка дозволяє сформулювати вимогу до величини часового інтервалу дискретності, що визначається шириною частотного спектра безперервного сигналу, .

Слід сказати, що у багатьох математиків світу викликала сумніви доказова база цих теорем. Але згодом наукова громадськість переконалася у коректності всіх постулатів, знайшовши їм математичні докази. У нашій країні цій справі віддали сили Хинчин А.Я. та Колмогоров А.М. .

У 1956 р. знаменитий Клод Шеннон залишає стіни Bell Laboratories, не розриваючи з нею зв'язків, і стає повним професором відразу двох факультетів Массачусетського технологічного інституту: математичного та електротехнічного.

Мал. 4. Лабіринт Шеннона

У Клода Шеннона завжди було багато інтересів, зовсім не пов'язаних із його професійною діяльністю. Видатний інженерний талант Шеннона виявлявся у створенні різноманітних машин і механізмів, серед яких механічна миша «Тезей», що вирішує лабіринтне завдання (рис. 4), обчислювальна машина з операціями над римськими цифрами, а також обчислювальні машини та програми для гри в шахи.

У 1966 р. у віці 50 років Клод Шеннон віддаляється від викладацької діяльності та практично повністю присвячує себе своїм хобі. Він створює одноколісний велосипед із двома сідлами, складаний ніж із сотнею лез, роботів, що збирають кубик Рубіка, і робота, що жонглює кулями. Крім того, Шеннон і сам продовжує відточувати майстерність жонглювання, довівши кількість куль до чотирьох (рис. 5). Свідки його молодості в Bell Laboratories згадували, як він роз'їжджав коридорами фірми на одноколісному велосипеді, при цьому жонглюючи м'ячами.

Мал. 5. Клод Шеннон - жонглер

На жаль, у Клода Шеннона не було тісних контактів із радянськими вченими. Проте йому вдалося відвідати СРСР 1965 р. на запрошення Науково-технічного товариства радіотехніки, електроніки та зв'язку (НТОРЕС) імені О.С. Попова. Одним із ініціаторів цього запрошення був багаторазовий чемпіон світу з шахів Михайло Ботвінник, доктор технічних наук, професор, який також був електротехніком та цікавився шаховим програмуванням. Між Михайлом Ботвінником та Клодом Шенноном відбулася жвава дискусія щодо проблем комп'ютеризації шахового мистецтва. Учасники дійшли висновку, що це дуже цікаво для програмування та безперспективно для шахів. Після дискусії Шеннон попросив Ботвинника зіграти з ним у шахи і по ходу гри навіть мав невелику перевагу (човна за коня та пішака), але все ж таки програв на 42-му ходу.

Останні роки життя Клод Шеннон тяжко хворів. Він помер у лютому 2001 р. у масачусетському будинку для людей похилого віку від хвороби Альцгеймера на 85-му році життя.

Клод Шеннон залишив багату прикладну та філософську спадщину. Їм створено загальну теорію пристроїв дискретної автоматики та обчислювальної техніки, технологію ефективного використання можливостей канального середовища. Усі сучасні архіватори, що використовуються в комп'ютерному світі, спираються на теорему Шеннона про ефективне кодування. Основу його філософської спадщини становлять дві ідеї. Перша: метою будь-якого управління має бути зменшення ентропії як заходи невизначеності та безладдя у системному середовищі. Управління, яке вирішує цього завдання, є надлишковим, т. е. непотрібним. Друга полягає в тому, що все в цьому світі в якомусь сенсі є канал зв'язку. Каналом зв'язку є і людина, і колектив, і ціле функціональне середовище, і промисловість, і транспортна структура, країна загалом. І якщо не погоджувати технічні, інформаційні, гуманітарні, урядові рішення з пропускною спроможністю канального середовища, на яке вони розраховані, то хороших результатівне чекай.

Вконтакте

Література

  1. Shannon C. E. Mathematical Theory of Communication. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Завантажені Papers. N. Y., 1993. P. 8-111.
  2. Shannon C. E. Communication in the presence of noise. Proc.IRE. 1949. V. 37. №10.
  3. Shannon C. E. Communication Theory of Secrecy Systems. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Завантажені Papers. N. Y., 1993. P. 112-195.
  4. Автомати. Збірник статей за ред. К. Е. Шеннона, Дж. Маккарті/Пер. з англ. М: З-во Ін. літ. 1956.
  5. Robert M. Fano Transmission of information: Статистична теорія комунікації. Пов'язаний з M.I.T., PRESS and JOHN WILEY & SONS, INC. Нью-Йорк, Лондон. 1961.
  6. www. research.att. com/~njas/doc/ces5.html.
  7. Колмогоров А. Н. Передмова // Роботи з теорії інформації та кібернетиці / К. Шеннон; пров. з англ. під. ред. Р. Л. Добрушина та О.Б. Лупанова; передисл. А. Н. Колмогорова. М., 1963.
  8. Левін В. І. К.Е. Шеннон та сучасна наука// Вісник ТДТУ. 2008. Том 14. №3.
  9. Вінер Н. Я. – математик/Пер. з англ. М: Наука. 1964.
  10. Хінчін А. Я. Про основні теореми теорії інформації. УМН 11:1 (67) 1956.
  11. Колмогорів А. Н. Теорія передачі інформації. // Сесія Академії Наук СРСР з науковим проблемамавтоматизації виробництва. 15-20 жовтня 1956 р. Пленарне засідання. М: Вид-во АН СРСР, 1957.
  12. Колмогоров А. Н. Теорія інформації та теорія алгоритмів. М: Наука, 1987.

Клод Елвуд Шеннон (англ. Claude Elwood Shannon; 30 квітня 1916, Петоцкі, Мічиган - 24 лютого 2001, Медфорд, Массачусетс) - американський математик та інженер, його роботи є синтезом математичних ідей з конкретним аналізом надзвичайно складних проблем. Він є засновником теорії інформації, що знайшла застосування у сучасних високотехнологічних системах зв'язку. Шеннон зробив величезний внесок у теорію імовірнісних схем, теорію автоматів і теорію систем управління - галузі наук, що входять у поняття кібернетика.

БіографіяКлод Шеннон народився 30 квітня 1916 року у місті Петоцкі, штат Мічиган, США. Перші шістнадцять років свого життя Клод провів у Гейлорді, Мічиган, де він відвідував громадську школу, а потім випустився з вищої школиГейлорда у 1932 році. У юнацтві він працював кур'єром служби Western Union. Батько його був адвокатом і протягом деякого часу суддею. Його мати була викладачем іноземних мов і згодом стала директором Гайлордської. середньої школи. Молодий Клод дуже любив конструювати автоматичні пристрої. Він збирав моделі літаків та радіотехнічні ланцюги, також створив радіокерований човен і телеграфну систему між будинком друга та своїм будинком. Іноді йому доводилося виправляти радіостанції для місцевого універмагу. Томас Едісон був його далеким родичем.

У 1932 році Шеннон був зарахований до університету Мічігану, де вибрав курс, відвідуючи який початківець вчений познайомився з роботами Джорджа Буля. У 1936 р. Клод закінчує університет Мічігану, отримавши ступінь бакалавра за двома спеціальностями математика і електротехніка, і влаштовується в Массачусетський технологічний інститут, де він працював помічником-дослідником на диференціальному аналізаторі Ванневара Буша - аналоговому комп'ютері. Вивчаючи складні, вузькоспеціальні електросхеми диференціального аналізатора, Шеннон побачив, що концепції Буля можуть отримати гідне застосування. Стаття, написана з його магістерської роботи 1937 «Символічний аналіз реле і комутаторів», була опублікована в 1938 у виданні Американського інституту інженерів-електриків (AIEE). Вона також стала причиною вручення Шеннону премії Американського інституту інженерії імені Альфреда Нобеля у 1940 році. Цифрові ланцюги - це основа сучасної обчислювальної техніки, у такий спосіб результати його робіт є одними з найважливіших наукових результатів ХХ століття. Говард Гарднер з Гарвардського університету відгукнувся про роботу Шеннона, як про «можливо, найважливішу, а також найвідомішу магістерську роботу століття».

За порадою Буша Шеннон вирішив працювати над докторською дисертацією з математики у MIT. Ідея його майбутньої роботи народилася в нього влітку 1939 року, коли він працював у Cold Spring Habor у Нью-Йорку. Буш був призначений президентом Carnegie Institution в окрузі Вашингтон і запропонував Шеннону взяти участь у роботі, яку робила Барбара Беркс із генетики. Саме генетика, на думку Буша, могла стати предметом докладання зусиль Шеннона. Лікарська дисертація Шеннона, що отримала назву «Алгебра для теоретичної генетики», була завершена навесні 1940 року. Шеннон отримує докторський ступінь з математики та ступінь магістра з електротехніки.

У період із 1941 по 1956 рр. Шеннон викладає в університеті Мічігану і працює в компанії Белл (Bell Labs). У лабораторії Белл Шеннон, досліджуючи перемикаючі ланцюги, виявляє новий методїх організації, що дозволяє зменшити кількість контактів реле, необхідні реалізації складних логічних функцій. Він опублікував доповідь, названу «Організація двополюсних перемикаючих ланцюгів». Шеннон займався проблемами створення схем перемикання, розвинув метод, що вперше згадувався фон Нейманом і що дозволяє створювати схеми, які були надійнішими, ніж реле, з яких вони були складені. Наприкінці 1940 року Шеннон отримав Національну науково-дослідну премію. Весною 1941 року він повернувся до компанії Белл. З початком Другої світової війни Т.Фрай очолив роботу над програмою для систем управління вогнем. протиповітряної оборони. Шеннон приєднався до групи Фрая і працював над пристроями, що засікали літаки противника і націлювали зенітні установки, також він розробляв криптографічні системи, в тому числі урядовий зв'язок, який забезпечував переговори Черчілля і Рузвельта через океан. Як говорив сам Шеннон, робота в галузі криптографії підштовхнула його до створення теорії інформації.

З 1950 по 1956 р. Шеннон займався створенням логічних машин, таким чином, продовжуючи починання фон Неймана і Тьюринга. Він створив машину, яка могла грати у шахи, задовго до створення Deep Blue. У 1952 Шеннон створив машину, що навчається, пошуку виходу з лабіринту.

Шеннон йде на пенсію у віці п'ятдесяти років у 1966 році, але він продовжує консультувати компанію Белл (Bell Labs). У 1985 році Клод Шеннон зі своєю дружиною Бетті відвідує Міжнародний симпозіум з теорії інформації у Брайтоні. Шеннон досить довго не відвідував міжнародні конференції, і спочатку його навіть не впізнали. На банкеті Клод Шеннон дав коротку промову, пожонглював всього трьома м'ячиками, а потім роздав сотні і сотні автографів здивованим своєю присутністю вченим та інженерам, які відстояли найдовшу чергу, відчуваючи трепетні почуття по відношенню до великого вченого, порівнюючи його з сером Іса.

Клод Шеннон пішов із життя 24 лютого 2001 року.Робота Шеннона «Теорія зв'язку в секретних системах» (1945) з грифом секретно, яку розсекретили і опублікували лише в 1949 році, послужила початком великих досліджень в теорії кодування та передачі інформації, і, на загальну думку, надала криптографії статус науки. Саме Клод Шеннон вперше почав вивчати криптографію, застосовуючи Научний підхід. У цій статті Клод визначив основні поняття теорії криптографії, без яких криптографія вже немислима. Важливою заслугою Шеннона є дослідження абсолютно секретних систем, доказ їх існування, а також існування криптостійких шифрів, і необхідні умови. Шеннон також сформулював основні вимоги до надійних шифрів. Він ввів поняття розсіювання і перемішування, що вже стали звичними, і методи створення криптостійких систем шифрування на основі простих операцій. Ця статтяє вихідним пунктом вивчення науки криптографії.

Математична теорія зв'язку

Стаття "Математична теорія зв'язку", була опублікована в 1948 році і зробила Клода Шеннона всесвітньо відомим. У ній Шенноном виклав свої ідеї, які згодом стали основою сучасних теорійта технік обробки передачі та зберігання інформації. Результати його робіт у галузі передачі інформації каналами зв'язку запустили по всьому світу величезну кількість досліджень. Шеннон узагальнив ідеї Хартлі і ввів поняття інформації, що міститься в повідомленнях, що передаються. Як міра інформації повідомлення М, Хартлі запропонував використовувати логарифмічну функцію. Шеннон першим почав розглядати передані повідомлення та шуми в каналах зв'язку з погляду статистики, розглядаючи як кінцеві множини повідомлень, так і безперервні множини повідомлень. Розвинена Шенноном теорія інформації допомогла вирішити головні проблеми, пов'язані з передачею повідомлень, а саме: усунути надмірність повідомлень, що передаються, зробити кодування і передачу повідомлень по каналах зв'язку з шумами. Вирішення проблеми надмірності повідомлення, що підлягає передачі, дозволяє максимально ефективно використовувати канал зв'язку. Наприклад, сучасні методи зниження надмірності, що повсюдно використовуються, в системах телевізійного мовлення на сьогоднішній день дозволяють передавати до шести цифрових програм комерційного телебачення, в смузі частот, яку займає звичайний сигнал аналогового телебачення. Вирішення проблеми передачі повідомлення каналами зв'язку з шумами при заданому співвідношенні потужності корисного сигналу до потужності сигналу перешкоди в місці прийому, дозволяє передавати по каналу зв'язку повідомлення з якою завгодно малою ймовірністю помилкової передачі повідомлення. Також це ставлення визначає пропускну здатність каналу. Це забезпечується застосуванням кодів, стійких до перешкод, при цьому швидкість передачі повідомлень по даному каналу повинна бути нижчою за його пропускну здатність. У своїх роботах Шеннон довів принципову можливість вирішення зазначених проблем, це було наприкінці 40-х справжньою сенсацією в наукових колах. Ця робота, Як і роботи, в яких досліджувалась потенційна завадостійкість, дали початок величезній кількості досліджень, що продовжуються і до цього дня, вже понад півстоліття. Вчені з Радянського Союзуі США (СРСР - Пінскер, Хінчін, Добрушин, Колмогоров; США-Галлахер, Вольфовіц, Фейнштейн) дали строге трактування викладеної Шенноном теорії. На сьогоднішній день усі системи цифрового зв'язку проектуються на основі фундаментальних принципівта законів передачі інформації, розроблених Шенноном. Відповідно до теорії інформації спочатку з повідомлення усувається надмірність, потім інформація кодується за допомогою кодів, стійких до перешкод, і потім повідомлення передається по каналу споживачеві. Значно було скорочено надмірність телевізійних, мовних і факсимільних повідомлень, саме завдяки теорії інформації.

Велика кількість досліджень була присвячена створенню кодів, стійких до перешкод, та простих методівдекодування повідомлень. Дослідження, проведені за останні п'ятдесят років, лягли в основу створеної Рекомендації МСЕ щодо застосування завадостійкого кодування та методів кодування джерел інформації в сучасних цифрових системах.

Теорема про пропускну здатність каналу.

Будь-який канал із шумом характеризується максимальною швидкістю передачі інформації, ця межа названа на честь Шеннона. При передачі інформації зі швидкостями, що перевищують цю межу, відбуваються неминучі спотворення даних, але знизу до цієї межі можна наближатися з необхідною точністю, забезпечуючи скільки завгодно малу ймовірність помилки передачі в зашумленому каналі.

Хто такий Клод Шеннон і чим він займався, Ви дізнаєтесь із цієї статті.

Клод Шеннон і що він знаменитий? коротко

(роки життя: 20 квітня 1916 – 24 лютого 2001) – це видатний американський вчений, який є творцем теорії інформації. Будучи молодим, вчений захоплено конструював різні автоматичні та механічні пристрої, збирав моделі літаків та радіотехнічні ланцюги. Він має багато наукових ступенів: бакалавр математики та електротехніки, доктор наук з математики, магістр з електротехніки.

Клод Шеннон та його внесок в інформатику

Досягнення Клода Шеннона визначили майбутнє інформаційного простору. Він розробив фундаментальні закони передачі інформації та теорію інформації, яка складалася з 6 концептуальних теорем:

  • Теорема кількісної оцінкиінформації.
  • Теорема раціонального упакування символів при первинному кодуванні.
  • Теорема узгодження потоку інформації з пропускною здатністю каналу зв'язку без перешкод.
  • Теорема узгодження потоку інформації з пропускною здатністю двійкового каналу зв'язку з перешкодами.
  • Теорема оцінки пропускної спроможності безперервного каналу зв'язку.
  • Теорема безпомилкового відновлення безперервного сигналу.

Крім цього, вчений створив у 1950 році мишку робота із зачатками штучного інтелекту. Вона могла ходити в лабіринті та знаходити вихід.

Саме Шеннон у 1948 році запропонував використати слово «біт»для позначення найменшої одиниці інформації.

Крім того, поняття ентропії було важливою особливістюТеорія Шеннона. Він продемонстрував, що введена їм ентропія еквівалентна мірою невизначеності інформації в повідомленні, що передається. Статті Шеннона «Математична теорія зв'язку» та «Теорія зв'язку в секретних системах» вважаються основоположними для теорії інформації та криптографії.

Клод Шеннон був одним із перших, хто підійшов до криптографії з наукового погляду, він першим сформулював її теоретичні основиі ввів у розгляд багато основних понять. Шеннон зробив ключовий внесок у теорію імовірнісних схем, теорію ігор, теорію автоматів і теорію систем управління - галузі наук, що входять у поняття «кібернетика».

Також він залишив по собі багату філософську та прикладну спадщину. Клод Шеннон створив загальну теоріюпристроїв обчислювальної техніки та дискретної автоматики, технологію ефективного використання канального середовища. Всі сучасні архіватори, що використовуються у світі комп'ютера, функціонують завдяки теоремі вченого про ефективне кодування.

Щодо філософської спадщини, то йому належить дві ідеї:

  • Мета будь-якого виду управління– це зменшення ентропії, як певної міри безладдя та невизначеності у системному середовищі. А оскільки управління не може вирішити це завдання до кінця, воно є надлишковим, тобто непотрібним.
  • Все, що є в цьому світі, є «каналом зв'язку».У його ролі виступає і колектив, і людина, і промисловість, і ціле функціональне середовище, і країна загалом, і транспортна структура. І щоб досягти хороших результатів, необхідно узгоджувати інформаційні, технічні, урядові та гуманітарні рішення з пропускною здатністю зв'язкового канального середовища, з яким вони взаємодіють.

Сподіваємось, прочитавши цю статтю, Ви дізналися, що зробив Клод Шеннон для розвитку інформаційної науки.

Клод Шеннон народився 1916 року. Виріс у місті Гейлорді, в штаті Мічиган. Вже в дитинстві Шеннон виявляв інтерес як до техніки та її детального дослідження, так і до загальних математичних принципів. Він копався в перших детекторних приймачах, які приносив йому батько, і одночасно вирішував математичні завдання та головоломки, якими постачала його старша сестра Кетрін, яка згодом стала професором математики.

У 1936 році випускник університету Мічігану Клод Шеннон, якому було тоді 21 рік, зумів ліквідувати розрив між алгебраїчною теорією логіки і її практичним додатком.
Шеннон, маючи два дипломи бакалавра - з електротехніки та математики, виконував обов'язки оператора на незграбному механічному обчислювальному пристрої під назвою "диференціальний аналізатор", який побудував у 1930 році науковий керівник Шеннона професор Веннівер Буш. Як тема дисертації Буш запропонував Шеннону вивчити логічну організацію своєї машини. Поступово у Шеннона стали вимальовуватись контури пристрою комп'ютера. Якщо побудувати електричні ланцюги відповідно до принципів булевої алгебри, вони могли б висловлювати логічні відносини, визначати істинність тверджень, і навіть виконувати складні обчислення.

Електричні схеми, очевидно, були б набагато зручнішими за шестірня і валики, щедро змащені машинним маслом у "диференціального аналізатора". Свої ідеї щодо зв'язку між двійковим обчисленням, булевою алгеброю та електричними схемамиШеннон розвинув у докторській дисертації, опублікованій у 1938 році.

У 1941 році 25-річний Клод Шеннон вступив на роботу в Bell Laboratories, де, окрім усього іншого, прославився тим, що катався на одноколісному велосипеді коридорами лабораторії, одночасно жонглюючи м'ячиками.

У той час застосування до техніки методів англійського вченого Джорджа Буля (1815-1864), який в 1847 опублікував роботу з характерною назвою "Математичний аналіз логіки, що є досвідом обчислення дедуктивного міркування" було справою майже революційним. Сам же Шеннон лише скромно зауважив на це: "Просто трапилося так, що ніхто інший не був знайомий з обома областями одночасно".

Велику цінність становить інша робота - Communication Theory of Secrecy Systems (1949), у якій сформульовані математичні основи криптографії.

У роки війни він займався розробкою криптографічних систем, і це допомогло йому відкрити методи кодування з корекцією помилок. До речі, у ті ж сорокові роки Шеннон, наприклад, займався конструюванням диска, що літає, на ракетному двигуні. Одночасно Клод Елвуд Шеннон почав розвивати ідеї, які згодом лягли в основу інформації, що прославила його теорії. Метою Шеннона була оптимізація передачі інформації по телефонних та телеграфних лініях. І для того щоб вирішити цю проблему, йому довелося сформулювати, що таке інформація і чим визначається її кількість. У своїх роботах 1948-49 років він визначив кількість інформації через ентропію - величину, відому в термодинаміці та статистичної фізикияк міра розпорядкованості системи, а за одиницю інформації прийняв те, що згодом було названо "бітом", тобто вибір одного із двох рівноймовірних варіантів.

З 1956 - член Національної академіїнаук США та Американської академії мистецтв та наук.

У своїх роботах Клод Шеннон визначив кількість інформації через ентропію – величину, відому в термодинаміці та статистичній фізиці як міра розпорядкованості системи, а за одиницю інформації прийняв те, що згодом охрестили "бітом", тобто вибір одного з двох рівноймовірних варіантів. На міцному фундаменті визначення кількості інформації Клод Шеннон довів дивовижну теорему про пропускну здатність зашумлених каналів зв'язку. У всій повноті ця теорема була опублікована у його роботах 1957-1961 років і тепер носить його ім'я. У чому суть теореми Шеннона? Кожен зашумлений канал зв'язку характеризується своєю граничною швидкістю передачі, званої межею Шеннона. При швидкостях передачі вище цієї межі неминучі помилки в інформації, що передається. Зате знизу до цієї межі можна підійти як завгодно близько, забезпечуючи відповідним кодуванням інформації як завгодно малу ймовірність помилки при будь-якій зашумленості каналу. Крім цього, Шеннон невпинно займався різними проектами: від конструювання електронної мишки, здатної знаходити вихід з лабіринту, до конструювання жонглюючих машин і створення теорії жонглювання, яка, втім, не допомогла йому побити його особистий рекорд - жонглювання чотирма м'ячами.

Клод Елвуд Шеннон(30 квітня 1916 - 24 лютого 2001) - американський математик, інженер-електрик, і криптограф, відомий як "батько теорії інформації".

Шеннонвідомий за написання основ теорії інформації, математичної теорії зв'язку, яку він опублікував в 1948 році. У 21 рік, будучи магістром у Массачусетському технологічному інституті (МТІ), він писав дисертацію, доводячи, що електричним застосуваннямБульовий алгебри можна будувати будь-які логічні, числові відносини. Клод Елвуд Шеннонзробив великий внесок у область криптоаналізу для національної оборони під час Другої Світової Війни, включаючи його основні роботи з codebreaking та надійності телекомунікацій.

У 1950 році Шеннон опублікував статтю про комп'ютерні шахи під назвою «Програмування комп'ютера для гри в шахи». Він описує, як машина або комп'ютер можуть бути запрограмовані, щоб грати в логічні ігри, в шахмати. За процесом ходу комп'ютера відповідають звані мінімаксні процедури, з урахуванням оцінки функції заданої шахової позиції. Шеннон навів грубий приклад оцінки функції, у якому значення чорної позиції було віднято з білої позиції. Значення були пораховані за оцінкою звичайної шахової фігури (1 бал за пішака, 3 очки за лицаря чи єпископа, 5 балів за туру, та 9 балів за королеву). Він розглянув деякі позиційні фактори, віднімаючи 0,5 бала за кожну здвоєну пішака, відсталі та ізольовані пішаки та додаючи 0,1 бал за кожний гарний хід. Цитата з документа:

«Коефіцієнти 0.5 та 0.1 це лише груба оцінка письменника. Крім того, є багато інших умов, які повинні бути включені. Формула дана тільки для наочності.

У 1932 році Шеннон був зарахований до університету Мічігану, де на одному з курсів познайомився з роботами Джорджа Буля. У 1936 році Клод закінчив університет Мічігану, отримавши ступінь бакалавра з двох спеціальностей (математик і електротехнік), і влаштувався в Массачусетський технологічний інститут (MIT), де працював асистентом-дослідником. Він виконував обов'язки оператора на механічному обчислювальному пристрої, аналоговому комп'ютері, який називається «диференціальний аналізатор», розробленим його науковим керівником Веніваром Бушем. Вивчаючи складні вузькоспеціалізовані електросхеми диференціального аналізатора, Шеннон побачив, що концепції Буля можуть отримати гідне застосування. Після того, як він пропрацював літо 1937 року в Bell Telephone Laboratories, він написав засновану на своїй магістерській роботі того ж року статтю «Символічний аналіз релейних та перемикальних схем». Необхідно відзначити, що Френк Лорен Хічкок контролював магістерську дисертацію, давав корисну критику та поради. Сама стаття була опублікована 1938 року у виданні Американського інституту інженерів-електриків (AIEE). У цій роботі він показав, що схеми, що перемикаються, можуть бути використані для заміни схем з електромеханічними реле, які використовувалися тоді для маршрутизації телефонних викликів. Потім він розширив цю концепцію, показавши, що ці схеми можуть вирішити всі проблеми, які дозволяє вирішити Бульова алгебра. Також, в останньому розділі він представляє заготівлі кількох схем, наприклад, 4-розрядного суматора. За цю статтю Шеннон був нагороджений Премією імені Альфреда Нобеля Американського інституту інженерів-електриків у 1940 році. Доведена можливість реалізовувати будь-які логічні обчислення в електричних ланцюгахлягла в основу проектування цифрових схем. А цифрові ланцюги - це, як відомо, основа сучасної обчислювальної техніки, отже, результати його робіт є одними з найважливіших наукових результатів ХХ століття. Говард Гарднер з Гарвардського університету відгукнувся про роботу Шеннона, як про «можливо, найважливішу, а також найвідомішу магістерську роботу століття».

За порадою Буша Шеннон вирішив працювати над докторською дисертацією з математики у MIT. Буш був призначений президентом Інституту Карнегі у Вашингтоні та запропонував Шеннону взяти участь у роботі з генетики, яку вела Барбара Беркс. Саме генетика, на думку Буша, могла стати предметом докладання зусиль Шеннона. Сам Шеннон, провівши літо у Вудс Хоул, Массачусетс, зацікавився знаходженням математичного фундаменту для законів спадкування Менделя. Лікарська дисертація Шеннона, що отримала назву «Алгебра теоретичної генетики», була завершена навесні 1940 року. Однак ця робота не була випущена аж до 1993 року, поки вона не з'явилася в збірці Шеннона Collected Papers. Його дослідження могли стати дуже важливими в іншому випадку, але більшість цих результатів була отримана незалежно від нього. Шеннон отримує докторський ступінь з математики та ступінь магістра з електротехніки. Після цього він не повертався до досліджень у біології.

Шеннонтакож був зацікавлений у застосуванні математики в інформаційних системах, такі як системи зв'язку. Після чергового літа, проведеного в Bell Labs, 1940 року Шеннонна один академічний рік став науковим співробітником в Інституті перспективних досліджень у Прінстоні, штат Нью-Джерсі, США. Там він працював під керівництвом відомого математика Германа Вейля, а також мав можливість обговорити свої ідеї з впливовими вченими та математиками, серед яких був Джон фон Нейман. Він також мав випадкові зустрічі з Альбертом Ейнштейном та Куртом Геделем. Шеннон вільно працював у різних дисциплінах, і ця здатність, можливо, сприяла подальшого розвиткуйого математичної теорії інформації.