25 Claude Shannon, fondatorul teoriei informaţiei. Teoria informației a lui Claude Shannon. Claude Shannon fapte interesante

Nu exista „Informații” în vechile enciclopedii. „Inflanții polonezi” au fost imediat urmați acolo de „infralapsarienii”. Și când un astfel de articol a apărut într-o publicație publică, Malaya Enciclopedia Sovietică 1929, sensul termenului de informare era foarte departe de a fi modern.

Informare (lat.), conștientizare. Informativ - informativ. În periodice, departamentul de informare este acea parte a unui ziar, reviste etc., care conține telegrame, corespondență, interviuri, precum și informații date de reporteri.”

Numeroși informatori în acei ani, care furnizează organizațiilor curioase cu date despre viața colegilor și vecinilor, nu au fost publicate în publicațiile publice din motive evidente. Dar este interesant că, deși în tehnologia comunicațiilor, în special în canalele staționare, cheia Morse fusese până atunci înlocuită cu dispozitive de pornire și oprire, activitățile informatorilor descriși mai sus au fost descrise în mod popular laconic - „ciocănirea”. Abia în secolul următor Computerra a trebuit să spună cititorilor săi că o ciocănitoare din pădure funcționează ca un modem viu, iar înțeleptul inconștient colectiv le atribuise deja acelor numeroși și modesti lucrători informaționali numele lapidar de „ciocănitoare”!

Anticii romani foloseau cuvântul informatio în sensul de interpretare, prezentare, dar conceptul modern, excepțional de încăpător, de informație este rodul dezvoltării atât a științei, cât și a tehnologiei. Latinul in-formo (a da formă, a compune, a imagina) a fost folosit de Cicero și este legat de ideile originale ale lui Platon prin grecescul, foarte polisemantic, eidos. Dar termenul cu drepturi depline „informații” a apărut relativ târziu, chiar mai târziu decât primele computere electronice, cazane atomice și bombe.

A fost introdus de Claude Shannon în lucrarea sa din 1948 „A Mathematical Theory of Communication”. Și a fost adusă la viață de nevoia practică dură de a transmite mesaje prin canale pline de zgomot. La fel ca în generațiile anterioare, necesitatea de a ține cont de caracteristicile dinamice ale liniilor telegrafice a dat naștere lucrărilor ingenioase ale lui Heaviside.

Conceptul de informație este introdus pur matematic. Un concept destul de popular, dar și exact este dat în vechea, foarte faimoasă în URSS, lucrarea fraților Yaglomov. Informația este introdusă ca opoziție, opoziție față de entropie. Zgomot, haos, incertitudine, „neștiință”.

Iar entropia a fost introdusă în teoria comunicațiilor chiar mai devreme, în 1928, prin munca de pionierat a inginerului electronic american Ralph Vinton Lyon Hartley. Să remarcăm, de altfel, că, vorbind despre probleme de comunicare pur practice, Hartley a menționat „factori psihologici” care influențează măsura incertitudinii. În general, aparatul matematic folosit de el (și mai târziu Shannon) a fost teoria probabilității. O disciplină care a apărut din dragostea aristocraților francezi pentru jocurile de noroc.

Și conceptul de entropie în acele vremuri, chiar și în fizică, avea o conotație emoțională - desigur! - la urma urmei, chiar prima consecință a acestei formulări timpurii a fost înțelegerea imposibilității creării unei mașini cu mișcare perpetuă de al doilea fel. Un dispozitiv care ar putea produce lucru folosind doar căldura disipată în jurul său.

Pătrunderea acestor concepte în comunitatea științifică a fost extrem de dramatică. În primul rând, „moartea la căldură” a Universului. Pentru a ne imagina cum a fost perceput acest concept în anii formulării sale, trebuie să apelăm la atmosfera intelectuală a secolului al XIX-lea. Deși a început cu o mașină de tocat carne săvârșită de mașina militaro-birocratică a lui Napoleon, acest secol s-a dovedit a fi un moment al triumfului progresului.

Și aici splendoarea progresului, drumul strălucitor către complexitate și fericire, a fost invadată de ideea nescăderii haosului, a „moartei de căldură” a Universului prezisă de ȘTIINȚĂ. Nu, nu despre Sfârșitul religiilor, care este urmat de viață nouă printre noile ceruri și pe noul pământ. Despre distrugerea universală științifică, tangibilă și fără speranță, deși foarte îndepărtată, dar absolut inevitabilă.

Și nu numai oamenii de știință au realizat acest lucru. Să trecem la „Pescărușul” de Cehov.

Iată monologul Ninei Zarechnaya într-un episod cu o piesă inserată a unui scriitor deliberat rău: „Oameni, lei, vulturi și potârnichi, căprioare cu coarne, gâște, păianjeni, pești tăcuți care trăiau în apă, stele de mare și cei care nu puteau fi văzuți. cu ochiul - într-un cuvânt, toate viețile, toate viețile, după ce și-au încheiat cercul trist, s-au stins...<...>Frig, frig, frig. Gol, gol, gol. Înfricoșător, înfricoșător, înfricoșător...”.

Să ne amintim sinuciderea fiului lui K. E. Tsiolkovsky, cauzată, potrivit biografilor, de oroarea iminentei „moarte de căldură”. Într-adevăr, pentru susținătorii materialismului, care era foarte răspândit în cercurile intelectuale ale vremii, încetarea mișcării moleculare din cauza atingerii entropiei maxime a însemnat distrugere UNIVERSALĂ. Viața a devenit lipsită de sens pentru o persoană predispusă la generalizări și extrapolări.

Introducerea de către Ralph Hartley a conceptului de entropie în transmiterea mesajelor și – Claude Shannon – antiteza ei – informația însăși, cu toată aparentul lor tehnic, au fost evenimente de o semnificație ideologică colosală. Pentru prima dată, științele pozitive, mână în mână cu ingineria, frontiera de atunci a înaltei tehnologii, au ajuns acolo unde domniseră înainte filozofia, metafizica și teologia.

Cea mai amuzantă reacție la teoria informației și cibernetica a fost în URSS stalinistă. S-ar părea - triumful materialismului. Dar nu a fost cazul... În țara bolșevică, pentru teoria informației (ca și teoria relativității, mecanica cuantică, Univers non-staționar) nu a oferit un loc în ansamblul fundamentelor ideologice. Ei bine, clasicii marxismului nu au avut timp să vorbească despre asta. Și încă nu au putut... Și foarte tânăra cibernetică a fost declarată fată coruptă a imperialismului. Încercările de a o reabilita la începutul anilor şaizeci nu au rezolvat nimic. Totuși, acesta este un subiect pentru o altă discuție.

Iar conceptul de informație introdus de Shannon, după ce a transformat lumea din jurul nostru, devenind baza Second Nature, revine din ce în ce mai mult la fizica teoretica. Fizicianul israelian, creatorul teoriei termodinamice a găurilor negre Jacob David Bekenstein (Bekenstein, n. 1947) a sugerat5 că aceasta este o tendință generală în știința naturală modernă.

În fenomenul de „încurcare cuantică” a particulelor, informația apare într-una din hainele sale noi și poate cu noi trăsături ale caracterului său. Dar principalul lucru este că, cu cât învățăm din ce în ce mai mult despre împrejurimile noastre, cu atât vedem mai clar conexiunile profunde ale informațiilor cu lumea obiectivă.

Din revista „Computerra”
Informații pentru totdeauna

Ralph Hartley

Ralph. Hartley s-a născut în Spruce, Nevada, la 30 noiembrie 1888. A primit educatie inalta cu diplomă A.B de la Universitatea din Utah în 1909. În calitate de bursier Rhodes, a primit un B.A. în 1912 și un B.Sc. în 1913 de la Universitatea Oxford. După ce sa întors din Anglia, Hartley s-a alăturat Laboratorului de Cercetare Western Electric Company și a luat parte la crearea unui receptor radio pentru teste transatlantice. În timpul Primului Război Mondial, Hartley a rezolvat probleme care împiedicaseră dezvoltarea instrumentelor de căutare direcționale de tip sunet.

După război, omul de știință a ajuns să se confrunte cu problema transmiterii informațiilor (în special a sunetului). În această perioadă, el a formulat legea „că cantitatea totală de informații care poate fi transmisă este proporțională cu intervalul de frecvență transmis și cu timpul de transmitere”. Hartley a fost un pionier în domeniul teoriei informației. El a introdus conceptul de „informație” ca o variabilă aleatorie și a fost primul care a încercat să definească o „măsură a informațiilor” (1928: „Transmission of Information”, în Bell System Technology. Journal, vol. 7, pp. 535-). 563). Publicând în aceeași revistă cu Nyquist și, totuși, fără a-l cita pe Nyquist (sau pe oricine altcineva, de altfel), Hartley a dezvoltat conceptul de informație bazat pe „considerații fizice în contrast cu cele psihologice” pentru a fi utilizat în studiul comunicațiilor electronice. De fapt, Hartley definește acest concept de bază în consecință. În schimb, el se referă la „acuratețea... informațiilor” și „cantitatea de informații”.

Informația există în transmiterea simbolurilor, simbolurile având „semnificații specifice mesajului partidului”. Când cineva primește informații, fiecare simbol primit îi permite destinatarului să „elimine posibilitățile” prin eliminarea altor simboluri posibile și a semnificațiilor lor asociate. "

Acuratețea informațiilor depinde de ce alte șiruri de simbol ar fi putut fi selectate"; măsura acestor alte șiruri oferă o indicație a cantității de informații transmise. Nyquist sugerează apoi să luăm "ca măsură practică a informațiilor logaritmul numărul posibil de șiruri de simboluri.” Astfel, dacă am avea 4 simboluri diferite care apar cu frecvență egală, ar reprezenta 2 biți. Hartley a primit premii pentru excelență în știință, acest om de știință a fost membru al Asociației Americane pentru Progresul Științei. Hartley deține peste 70 de brevete (invenții). Ralph W. L. Hartley a murit la 1 mai 1970, la vârsta de 81 de ani.

Claude Elwood Shannon

Claude Ellwood Shannon (1916 - 2001) - inginer și matematician american. Omul pe care îl numesc tată teorii moderne informatie si comunicare.

Într-o zi de toamnă a anului 1989, un corespondent al revistei Scientific American a intrat într-o casă veche cu vedere la un lac la nord de Boston. Însă proprietarul care l-a cunoscut, un bătrân zvelt de 73 de ani, cu o coamă cenușie luxuriantă și un zâmbet răutăcios, nu a vrut deloc să-și amintească „lucruri care s-au întâmplat cu mult timp în urmă”. zile trecute„și discutați despre dvs descoperiri științifice acum 30-50 de ani. Poate că oaspetele ar prefera să se uite la jucăriile lui?

Fără să aștepte un răspuns și fără să asculte îndemnurile soției sale Betty, proprietarul l-a dus pe jurnalistul uluit în camera alăturată, unde cu mândria unui băiețel de 10 ani și-a etalat comorile: șapte aparate de șah, un stâlp de circ cu arc și motor pe benzină, un cuțit pliabil cu o sută de lame, un monociclu cu două locuri, un manechin de jonglerie, precum și un computer care calculează în sistemul numeric roman. Și nu contează că multe dintre creațiile acestor proprietari au fost de mult rupte și destul de prăfuite - el este fericit.

Cine este acest bătrân? Chiar el a fost cel care, pe când era încă tânăr inginer la Laboratoarele Bell, a scris „Magna Carta” a erei informației – „Teoria matematică a comunicațiilor” în 1948? Lucrarea lui a fost numită „cea mai mare lucrare din analele gândirii tehnice”? Intuiția lui de pionierat a fost comparată cu geniul lui Einstein? Da, totul este despre el. Și în aceiași ani 40, a proiectat un disc zburător pe un motor de rachetă și a călărit, în timp ce jonglea, pe un monociclu de-a lungul coridoarelor Bell Labs. Acesta este Claude Ellwood Shannon, părintele ciberneticii și teoriei informației, care a declarat cu mândrie: „Întotdeauna mi-am urmărit interesele fără să mă gândesc la cât m-ar costa ele sau la valoarea lor pentru lume. Am pierdut mult timp pentru a fi complet. lucruri inutile.”

Claude Shannon s-a născut în 1916 și a crescut în Gaylord, Michigan. Chiar și în copilărie, Claude a făcut cunoștință atât cu detaliile structurilor tehnice, cât și cu generalitatea principiilor matematice. Se chinuia constant cu receptorii detectoare și aparatele de radio pe care i le aducea tatăl său, un judecător asistent, și rezolva probleme matematice și puzzle-uri pe care i le-a furnizat sora lui mai mare Katherine, care mai târziu a devenit profesor de matematică. Claude s-a îndrăgostit de aceste două lumi, atât de diferite una de cealaltă - tehnologie și matematică.

Ca student la Universitatea din Michigan, unde a absolvit în 1936, Claude s-a specializat atât în matematică, cât și în inginerie electrică. Această dualitate de interese și educație a determinat primul succes major pe care Claude Shannon l-a obținut în anii de absolvire la Institutul de Tehnologie din Massachusetts. În disertația sa, susținută în 1940, el a demonstrat că funcționarea întrerupătoarelor și releelor în scheme electrice poate fi reprezentat prin algebră, inventată la mijlocul secolului al XIX-lea de către matematicianul englez George Boole. „S-a întâmplat că nimeni altcineva nu era familiarizat cu ambele domenii în același timp!” - Shannon a explicat cu modestie motivul descoperirii sale.

În zilele noastre, este complet inutil să explicăm cititorilor unei publicații pe computer ce înseamnă algebra booleană pentru circuitele moderne. În 1941, Claude Shannon, în vârstă de 25 de ani, a plecat să lucreze la Laboratoarele Bell. În timpul războiului, a fost implicat în dezvoltarea sistemelor criptografice, iar acest lucru l-a ajutat ulterior să descopere metode de codare de corectare a erorilor. Si in timp liber a început să dezvolte idei care au dus mai târziu la teoria informaţiei. Scopul inițial al lui Shannon a fost să îmbunătățească transmiterea informațiilor pe un canal telegraf sau telefonic afectat de zgomotul electric. A ajuns repede la concluzia că cea mai bună soluție Problema constă în ambalarea mai eficientă a informațiilor.

Dar ce este informația? Cum să-i măsori cantitatea? Shannon a trebuit să răspundă la aceste întrebări chiar înainte de a începe să cerceteze capacitatea canalului de comunicare. În lucrările sale din 1948-1949, el a definit cantitatea de informație prin entropie - o cantitate cunoscută în termodinamică și fizica statistica ca măsură a dezordinei sistemului și a luat ca unitate de informație ceea ce mai târziu a fost numit „un pic”, adică alegerea uneia dintre cele două opțiuni la fel de probabile. Mai târziu lui Shannon i-a plăcut să spună că a fost sfătuit să folosească entropia de către celebrul matematician John von Neumann, care și-a motivat sfatul prin faptul că puțini matematicieni și ingineri știau despre entropie, iar acest lucru i-ar oferi lui Shannon un mare avantaj în disputele inevitabile. Indiferent dacă aceasta este o glumă sau nu, cât de greu ne este acum să ne imaginăm că în urmă cu doar o jumătate de secol conceptul de „cantitate de informații” încă mai avea nevoie de o definiție strictă și că această definiție ar putea provoca unele controverse.

Pe baza solidă a definiției sale a cantității de informații, Claude Shannon a dovedit o teoremă uimitoare despre capacitatea canalelor de comunicare zgomotoase. Această teoremă a fost publicată în întregime în lucrările sale din 1957-61 și acum îi poartă numele. Care este esența teoremei lui Shannon? Orice canal de comunicare zgomotos este caracterizat de rata sa maximă de transfer de informații, numită limită Shannon. La rate de transfer peste această limită, erori în informatiile transmise. Dar de sub această limită poate fi abordată cât de aproape se dorește, oferind cu o codificare adecvată a informațiilor o probabilitate arbitrar de mică de eroare pentru orice canal zgomotos.

Aceste idei ale lui Shannon s-au dovedit a fi prea vizionare și nu și-au putut găsi aplicație în anii electronicii cu tuburi lente. Dar în vremea noastră de microcircuite de mare viteză, ele funcționează peste tot unde informațiile sunt stocate, procesate și transmise: într-un computer și un disc laser, într-un aparat de fax și o stație interplanetară. Nu observăm teorema lui Shannon, la fel cum nu observăm aer.

Pe lângă teoria informației, ireprimabilul Shannon a lucrat în multe domenii. El a fost unul dintre primii care a sugerat că mașinile ar putea să se joace și să se învețe singure. În 1950, a realizat un mouse mecanic, Tezeu, controlat de la distanță de un circuit electronic complex. Acest șoarece a învățat să găsească o cale de ieșire din labirint. În onoarea invenției sale, IEEE a înființat competiție internațională„micromouse”, la care mai participă mii de studenți din universitățile tehnice. În aceiași ani 50, Shannon a creat o mașină care „citește mințile” atunci când juca „moneda”: o persoană se gândea la „capete” sau „cozi”, iar mașina a ghicit cu o probabilitate de peste 50%, deoarece o persoană nu poate evita care - sau modele pe care le poate folosi aparatul.

Shannon a părăsit Bell Labs în 1956 și a devenit profesor la Massachusetts Institute of Technology în anul următor, unde s-a pensionat în 1978. Printre studenții săi s-au numărat, în special, Marvin Minsky și alți oameni de știință celebri care lucrează în domeniul inteligenței artificiale.

Lucrările lui Shannon, care sunt tratate cu evlavie de oamenii de știință, sunt la fel de interesante pentru specialiștii care rezolvă probleme pur aplicate. Shannon a pus, de asemenea, bazele pentru codificarea modernă de corectare a erorilor, care este esențială pentru fiecare hard disk sau sistem video de streaming de astăzi și, probabil, pentru multe produse care nu au văzut încă lumina zilei.

La MIT și la pensie, a fost complet captivat de pasiunea sa de o viață pentru jonglerie. Shannon a construit mai multe mașini de jonglare și chiar a creat o teorie generală a jonglarii, care, totuși, nu l-a ajutat să-și doboare recordul personal - jonglarea cu patru mingi. Și-a încercat mâna și la poezie, și a dezvoltat și diverse modele bursiere și le-a testat (cu succes, potrivit lui) pe propriile sale acțiuni.

Dar de la începutul anilor 60, Shannon nu a făcut practic nimic mai mult în teoria informației. Părea de parcă s-a săturat de teoria pe care a creat-o după numai 20 de ani. Acest fenomen nu este neobișnuit în lumea științei și, în acest caz, ei spun un cuvânt despre om de știință: ars. Ca un bec, sau ce? Mi se pare că ar fi mai corect să comparăm oamenii de știință cu stele. Cele mai puternice stele nu strălucesc mult timp, aproximativ o sută de milioane de ani, și își încheie viața creatoare cu o explozie de supernovă, în timpul căreia are loc nucleosinteza: întregul tabel periodic se naște din hidrogen și heliu. Tu și cu mine suntem alcătuiți din cenușa acestor stele, iar civilizația noastră este formată și din produsele arderii rapide a celor mai puternice minți. Există stele de al doilea tip: ard uniform și pentru o lungă perioadă de timp, iar de miliarde de ani oferă lumină și căldură planetelor locuite (cel puțin una). Cercetătorii de acest tip sunt, de asemenea, foarte necesari de știință și umanitate: ei oferă civilizației energia dezvoltării. Iar stelele de clasa a treia - pitici roșii și maro - strălucesc și se încălzesc puțin, chiar sub răsuflarea lor. Există o mulțime de astfel de oameni de știință, dar este pur și simplu indecent să vorbim despre ei într-un articol despre Shannon.

În 1985, Claude Shannon și soția sa Betty au făcut o vizită surpriză la Simpozionul Internațional de Teoria Informației din oras englezesc Brighton. Shannon nu a apărut la conferințe timp de aproape o generație și la început nimeni nu l-a recunoscut. Apoi participanții la simpozion au început să șoptească: acel modest domn cu părul cărunt de acolo este Claude Elwood Shannon, același! La banchet, Shannon a spus câteva cuvinte, a făcut un pic de jonglerie cu trei (vai, doar trei) mingi și apoi a semnat sute de autografe pentru inginerii și oamenii de știință uimiți care s-au aliniat într-un șir lung. Cei care stăteau la coadă au spus că au experimentat aceleași sentimente pe care le-ar experimenta fizicienii dacă însuși Sir Isaac Newton ar apărea la conferința lor.

Claude Shannon a murit în 2001, într-un azil de bătrâni din Massachusetts, din cauza bolii Alzheimer, la vârsta de 84 de ani.

Bazat pe materiale dintr-un articol al lui Serghei Sery din ziarul Computer News, nr. 21, 1998.
Adresa site-ului web:

Anatoly Ushakov, doctor în științe tehnice, prof. departament sisteme de control și informatică, Universitatea ITMO

Multe generații de specialiști tehnici din a doua jumătate a secolului al XX-lea, chiar și cei destul de departe de teoria controlului automat și a ciberneticii, părăsind zidurile universităților, și-au amintit pentru tot restul vieții numele științifice și „autorului” realizări tehnice: funcțiile Lyapunov, procesele Markov, frecvența și criteriul Nyquist, procesul Wiener, filtrul Kalman. Printre astfel de realizări, teoremele lui Shannon ocupă locul de mândrie. Anul 2016 marchează o sută de ani de la nașterea autorului, om de știință și inginer Claude Shannon.

„Cine deține informațiile, deține lumea”

W. Churchill

Orez. 1. Claude Shannon (1916–2001)

Claude Elwood Shannon (Fig. 1) s-a născut la 30 aprilie 1916 în orașul Petocki, situat pe malul lacului Michigan, Michigan (SUA), în familia unui avocat și profesor. limbi straine. Sora lui mai mare, Katherine, era interesată de matematică și în cele din urmă a devenit profesor, iar tatăl lui Shannon și-a combinat munca de avocat cu radioamatori. O rudă îndepărtată a viitorului inginer a fost inventatorul de renume mondial Thomas Edison, care deținea 1093 de brevete.

Shannon a absolvit liceul complet în 1932, la vârsta de șaisprezece ani, în timp ce primise educatie suplimentara acasă. Tatăl său i-a cumpărat truse de construcție și aparate de radio amatori și l-a ajutat în toate felurile posibile creativitate tehnică fiul și sora lui l-au implicat în studii avansate de matematică. Shannon s-a îndrăgostit de ambele lumi - inginerie și matematică.

În 1932, Shannon a intrat la Universitatea din Michigan, de la care a absolvit în 1936, primind o diplomă de licență cu o dublă specializare în matematică și inginerie electrică. În timpul studiilor, a găsit două lucrări ale lui George Boole în biblioteca universității - „ Analiza matematică Logic” și „Calcul logic”, scrise în 1847 și, respectiv, 1848. Shannon le-a studiat cu atenție, iar asta, se pare, i-a determinat viitoarele interese științifice.

După absolvire, Claude Shannon și-a luat un loc de muncă la Laboratorul de Inginerie Electrică al Institutului de Tehnologie din Massachusetts (MIT) ca asistent de cercetare, unde a lucrat la modernizarea analizorului diferențial al lui Vannevar Bush, vicepreședinte al MIT, un „calculator” analog. Din acel moment, Vannevar Bush a devenit mentorul științific al lui Claude Shannon. În timp ce studia releele complexe, înalt specializate, și circuitele de comutare ale dispozitivului de control al analizorului diferențial, Shannon și-a dat seama că conceptele lui George Boole ar putea fi puse la punct în acest domeniu.

La sfârșitul anului 1936, Shannon a intrat în programul de master și deja în 1937 a scris rezumatul tezei sale pentru o diplomă de master și, pe baza acestuia, a pregătit articolul „Analiza simbolică a releelor și a circuitelor de comutare”, care a fost publicat în 1938 în publicarea Institutului American de Ingineri Electrici (AIEE). Această lucrare a atras atenția comunității științifice de inginerie electrică, iar în 1939 Societatea Americană a Inginerilor Civili i-a acordat lui Shannon Premiul Nobel Alfred pentru aceasta.

Neavând încă susținut teza de master, Shannon, la sfatul lui Bush, a decis să lucreze la un doctorat în matematică la MIT, referitor la probleme de genetică. Potrivit lui Bush, genetica ar putea fi un domeniu problematic de succes pentru aplicarea cunoștințelor lui Shannon. Teza de doctorat a lui Shannon, intitulată „Algebră pentru genetică teoretică”, a fost finalizată în primăvara anului 1940 și a fost dedicată problemelor de combinatorie a genelor. Shannon și-a luat doctoratul în matematică și, în același timp, și-a susținut teza „Analiza simbolică a releelor și a circuitelor de comutare”, devenind un maestru în inginerie electrică.

Teza de doctorat a lui Shannon nu a primit prea mult sprijin din partea geneticienilor și din acest motiv nu a fost niciodată publicată. Cu toate acestea, teza de master s-a dovedit a fi o descoperire în comutație și tehnologia digitală. ÎN ultimul capitol disertație, s-au dat multe exemple de aplicare cu succes a calculului logic dezvoltat de Shannon la analiza și sinteza unor circuite specifice de relee și de comutare: circuite selectoare, un lacăt cu secret electric, sumatori binari. Toate acestea demonstrează în mod clar descoperirea științifică realizată de Shannon și beneficiile practice enorme ale formalismului calculului logic. Așa s-a născut logica digitală.

Orez. 2. Claude Shannon la Bell Labs (mijlocul anilor 1940)

În primăvara anului 1941, Claude Shannon a devenit angajat al departamentului de matematică al centrului de cercetare Bell Laboratories (Fig. 2). Câteva cuvinte ar trebui spuse despre atmosfera în care s-a aflat Claude Shannon, în vârstă de 25 de ani - a fost creată de Harry Nyquist, Henrik Bode, Ralph Hartley, John Tukey și alți angajați Bell Laboratories. Toți au avut deja anumite rezultate în dezvoltarea teoriei informației, pe care Shannon avea să le dezvolte în cele din urmă la nivelul de mare știință.

În acest moment, războiul se desfășura deja în Europa, iar Shannon efectua cercetări care au fost finanțate pe scară largă de guvernul SUA. Lucrarea pe care Shannon a făcut-o la Laboratoarele Bell a fost legată de criptografie, ceea ce l-a determinat să lucreze la teoria matematică a criptografiei și, în cele din urmă, i-a permis să analizeze textele cifrate folosind metode teoretice informaționale (Figura 3).

În 1945, Shannon a finalizat un amplu raport științific secret pe tema „Teoria comunicării sistemelor de secretizare”.

Orez. 3. La mașina de criptare

În acest moment, Claude Shannon era deja aproape de a vorbi comunității științifice cu noi concepte de bază în teoria informației. Și în 1948 și-a publicat lucrarea de referință „Teoria matematică a comunicațiilor”. Teoria matematică a comunicării a lui Shannon a presupus o structură cu trei componente, compusă dintr-o sursă de informație, un receptor de informații și un „mediu de transport” - un canal de comunicare caracterizat prin debit și capacitatea de a distorsiona informația în timpul transmisiei. A apărut o anumită gamă de probleme: cum să cuantificați informațiile, cum să le împachetați în mod eficient, cum să estimați viteza permisă de ieșire a informațiilor de la o sursă către un canal de comunicație cu o lățime de bandă fixă pentru a garanta transmiterea fără erori a informațiilor și , în sfârșit, cum se rezolvă ultima problemă în prezența interferențelor în conexiunile canalului? Claude Shannon a dat omenirii răspunsuri cuprinzătoare la toate aceste întrebări cu teoremele sale.

Trebuie spus că colegii săi din „magazin” l-au ajutat pe Shannon cu terminologia. Astfel, termenul pentru unitatea minimă de cantitate de informații - „bit” - a fost propus de John Tukey, iar termenul pentru estimarea cantității medii de informații pe simbol al sursei - „entropie” - John von Neumann. Claude Shannon și-a prezentat lucrările fundamentale sub forma a douăzeci și trei de teoreme. Nu toate teoremele sunt echivalente, unele dintre ele sunt de natură auxiliară sau sunt dedicate cazurilor speciale ale teoriei informației și transmiterii acesteia pe canale de comunicare discrete și continue, dar șase teoreme sunt conceptuale și formează cadrul construcției teoriei informației create de Claude Shannon.

Prima dintre aceste șase teoreme este legată de evaluarea cantitativă a informațiilor generate de o sursă de informație, în cadrul unei abordări stocastice bazate pe o măsură sub formă de entropie care indică proprietățile acesteia.
A doua teoremă este dedicată problemei împachetării raționale a simbolurilor generate de o sursă în timpul codificării lor primare. A dat naștere unei proceduri de codare eficace și a necesității introducerii unui „encoder sursă” în structura sistemului de transmitere a informațiilor.
A treia teoremă se referă la problema potrivirii fluxului de informații din sursa informațională cu capacitatea canalului de comunicație în absența interferenței, ceea ce garantează absența distorsiunii informației în timpul transmisiei.
A patra teoremă rezolvă aceeași problemă ca cea anterioară, dar în prezența interferenței în canalul de comunicație binar, ale cărei efecte asupra mesajului de cod transmis contribuie la probabilitatea de distorsiune a unui bit de cod arbitrar. Teorema conține o condiție de încetinire a transmisiei care garantează o probabilitate dată de livrare fără erori a mesajului cod către destinatar. Această teoremă este baza metodologica codificare anti-interferență, ceea ce a condus la necesitatea introducerii unui „codor de canal” în structura sistemului de transmisie.
A cincea teoremă este dedicată estimării capacității unui canal de comunicație continuu, caracterizat printr-o anumită lățime de bandă de frecvență și puteri date ale semnalului util și ale semnalului de interferență în canalul de comunicație. Teorema definește așa-numita limită Shannon.
Ultima dintre teoreme, numită teorema Nyquist-Shannon-Kotelnikov, este dedicată problemei reconstrucției fără erori a unui semnal continuu din eșantioanele sale discrete în timp, ceea ce ne permite să formulăm o cerință pentru valoarea timpului discret. interval, determinat de lățimea spectrului de frecvență al semnalului continuu, și pentru a forma funcții de bază numite funcții de referință.

Trebuie spus că inițial mulți matematicieni din întreaga lume au avut îndoieli cu privire la baza de dovezi a acestor teoreme. Dar, de-a lungul timpului, comunitatea științifică s-a convins de corectitudinea tuturor postulatelor, găsindu-le confirmare matematică. În țara noastră, A.Ya. Khinchin și-a dedicat eforturile acestei chestiuni. și Kolmogorov A.N. .

În 1956, faimosul Claude Shannon a părăsit Laboratoarele Bell fără a rupe legăturile cu acesta și a devenit profesor titular la două facultăți de la Institutul de Tehnologie din Massachusetts: matematică și inginerie electrică.

Orez. 4. Labirintul lui Shannon

Claude Shannon a avut întotdeauna multe interese complet fără legătură cu ale lui activitate profesională. Talentul ingineresc remarcabil al lui Shannon s-a manifestat în crearea a tot felul de mașini și mecanisme, inclusiv mouse-ul mecanic Tezeu, care rezolvă o problemă de labirint (Fig. 4), un computer cu operații pe numere romane, precum și computere și programe de joc. şah.

În 1966, la vârsta de 50 de ani, Claude Shannon s-a retras din predare și s-a dedicat aproape în întregime hobby-urilor sale. El creează un monociclu cu două șei, un cuțit pliabil cu o sută de lame, roboți care rezolvă un cub Rubik și un robot care jonglează cu bile. În plus, Shannon însuși continuă să-și perfecționeze abilitățile de jongler, ducând numărul de bile la patru (Fig. 5). Martori ai tinereții sale de la Laboratoarele Bell și-au amintit cum s-a plimbat pe coridoarele companiei cu un monociclu, în timp ce jonglea cu mingi.

Orez. 5. Claude Shannon - jongler

Din păcate, Claude Shannon nu a avut contacte strânse cu oamenii de știință sovietici. Cu toate acestea, a reușit să viziteze URSS în 1965 la invitația Societății Științifice și Tehnice de Inginerie Radio, Electronică și Comunicații (NTORES) numită după A.S. Popova. Unul dintre inițiatorii acestei invitații a fost multiplu campion mondial la șah Mikhail Botvinnik, doctor în științe tehnice, profesor, care era și inginer electrician și era interesat de programarea șahului. O discuție plină de viață a avut loc între Mikhail Botvinnik și Claude Shannon despre problemele computerizării artei șahului. Participanții au ajuns la concluzia că acest lucru a fost foarte interesant pentru programare și nepromițător pentru șah. După discuție, Shannon i-a cerut lui Botvinnik să joace șah cu el și în timpul jocului a avut chiar un ușor avantaj (o turnă pentru un cavaler și un pion), dar tot a pierdut la a 42-a mutare.

În ultimii ani ai vieții sale, Claude Shannon a fost grav bolnav. A murit în februarie 2001, într-un azil de bătrâni din Massachusetts, din cauza bolii Alzheimer, la vârsta de 85 de ani.

Claude Shannon a lăsat o bogată moștenire aplicată și filozofică. El a creat o teorie generală a automatizării discrete și a dispozitivelor tehnologice computerizate, o tehnologie pentru utilizarea eficientă a capabilităților mediului de canal. Toți arhivatorii moderni utilizați în lumea computerelor se bazează pe teorema de codificare eficientă a lui Shannon. Baza moștenirii sale filozofice constă din două idei. În primul rând: scopul oricărui management ar trebui să fie reducerea entropiei ca măsură a incertitudinii și dezordinei în mediul sistemului. Managementul care nu rezolvă această problemă este redundant, adică inutil. Al doilea este că totul în această lume este, într-un anumit sens, un „canal de comunicare”. Canalul de comunicare este o persoană, o echipă, un întreg mediu funcțional, o industrie, o structură de transport și țara în ansamblu. Și dacă deciziile tehnice, informaționale, umanitare, guvernamentale nu sunt coordonate cu capacitatea mediului de canal pentru care sunt concepute, atunci rezultate bune nu astepta.

In contact cu

Literatură

Shannon C. E. O teorie matematică a comunicării. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 8-111.
Shannon C. E. Comunicarea în prezența zgomotului. Proc.IRE. 1949. V. 37. Nr. 10.
Shannon C. E. Teoria comunicării sistemelor de secretizare. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 112-195.
Mașini automate. Culegere de articole ed. K. E. Shannon, J. McCarthy / Trad. din engleza M.: Din-înăuntru. aprins. 1956.
Robert M. Fano Transmission of information: A statistical theory of communication. Publicat în comun de M.I.T., PRESS și JOHN WILEY & SONS, INC. New York, Londra. 1961.
www. cercetare.att. com/~njas/doc/ces5.html.
Kolmogorov A. N. Prefață // Lucrări despre teoria informației și cibernetică / K. Shannon; BANDĂ din engleza sub. ed. R.L. Dobrushina si O.B. Lupanova; prefaţă A. N. Kolmogorov. M., 1963.
Levin V.I.K.E. Shannon și stiinta moderna// Buletinul TSTU. 2008. Volumul 14. Nr 3.
Viner N. Ya. – matematician / Traduc. din engleza M.: Știință. 1964.
Khinchin A. Ya. Despre principalele teoreme ale teoriei informaţiei. UMN 11:1 (67) 1956.
Kolmogorov A. N. Teoria transmiterii informaţiei. // Sesiunea Academiei de Științe a URSS pe probleme științifice automatizarea productiei. 15–20 octombrie 1956 Sesiune plenară. M.: Editura Academiei de Științe a URSS, 1957.
Kolmogorov A. N. Teoria informației și teoria algoritmilor. M.: Nauka, 1987.

Domeniul stiintific: Loc de munca: Alma Mater: Cunoscut ca: Premii și premii

Premiul numit după A. Nobel AIEE (1940);
Premiul în memoria lui M. Libman (Engleză) Rusă IRE (1949);
Medalia de onoare IEEE (1966);
Medalia Națională a Științei (1966);
Premiul Harvey (1972);
Premiul Kyoto (1985).

Biografie

În 1985, Claude Shannon și soția sa Betty participă la Simpozionul Internațional de Teoria Informației din Brighton. Shannon nu a participat la conferințe internaționale destul de mult timp și la început nici măcar nu l-au recunoscut. La banchet, Claude Shannon a ținut un scurt discurs, a jonglat cu doar trei mingi și apoi a oferit sute și sute de autografe oamenilor de știință și ingineri uimiți care stăteau într-o coadă lungă, simțind sentimente reverente față de marele om de știință, comparându-l cu Sir. Isaac Newton.

El a fost dezvoltatorul primei jucării industriale controlate prin radio, care a fost produsă în Japonia în anii 50 (foto). De asemenea, a dezvoltat un dispozitiv care ar putea plia un cub Rubik (foto), un mini computer pentru joc de societate Hex, care și-a învins mereu adversarul (foto), un șoarece mecanic care putea găsi o cale de ieșire din labirint (foto). El a realizat și ideea mașinii de benzi desenate „Ultimate Machine” (foto).

Teoria comunicării în sisteme secrete

Lucrarea lui Shannon „The Theory of Communication in Secret Systems” (1945), clasificată drept „secretă”, care a fost desecretizată și publicată abia în 1949, a servit drept începutul unor cercetări extinse în teoria codificării și transmiterii informațiilor și, în opinia generală, a dat criptografiei statutul de știință. Claude Shannon a fost cel care a început să studieze criptografia folosind abordare științifică. În acest articol, Shannon a definit conceptele fundamentale ale teoriei criptografiei, fără de care criptografia nu mai este de conceput. Meritul important al lui Shannon este cercetarea sistemelor absolut sigure și dovada existenței lor, precum și existența unor cifruri puternice din punct de vedere criptografic și condițiile necesare pentru aceasta. Shannon a formulat, de asemenea, cerințele de bază pentru cifrurile puternice. El a introdus conceptele acum familiare de împrăștiere și amestecare, precum și metode de creare a unor sisteme de criptare puternice din punct de vedere criptografic, bazate pe operațiuni simple. Acest articol este punctul de plecare pentru studierea științei criptografiei.

Articolul „Teoria matematică a comunicării”

Teorema Nyquist-Shannon (în literatura în limba rusă - teorema lui Kotelnikov) se referă la reconstrucția fără ambiguitate a unui semnal din eșantioanele sale discrete.
(sau teorema de criptare silențioasă) stabilește o limită pentru compresia maximă a datelor și valoare numerica Entropia Shannon.
Teorema Shannon-Hartley

Vezi si

Formula de interpolare Whittaker-Shannon

Note

Literatură

Shannon C.E. O teorie matematică a comunicării // Jurnalul tehnic Bell System. - 1948. - T. 27. - P. 379-423, 623-656.
Shannon C.E. Comunicare în prezența zgomotului // Proc. Institutul de Ingineri Radio. - ian. 1949. - T. 37. - Nr. 1. - P. 10-21.
Shannon K. Lucrează despre teoria informației și cibernetică. - M.: Editura Literatură străină, 1963. - 830 p.

Legături

Bibliografie (engleză)

Categorii:

Personalități în ordine alfabetică
Oamenii de știință după alfabet
Născut pe 30 aprilie
Născut în 1916
Născut în Michigan
A murit pe 24 februarie
A murit în 2001
Decese în Massachusetts
matematicienii americani
Teoria informației
Criptografi
Cibernetică
Pionierii tehnologiei informatice
Cercetători în inteligență artificială
Oameni de știință în domeniul științei sistemelor
Absolvenți ai MIT
Absolvenți ai Universității din Michigan
facultatea MIT
Membrii si Membrii Corespondenti Academia NaționalăȘtiințe SUA
Fellows străini ai Societății Regale din Londra
Matematicienii secolului XX
Câștigătorii premiului Harvey
Beneficiari ai Medaliei Naționale a Științei din SUA
Beneficiarii medaliei de onoare IEEE
Persoane: șah pe computer
Ingineri electrici din SUA

Fundația Wikimedia. 2010.

Anatoly Ushakov, doctor în științe tehnice, prof. departament sisteme de control și informatică, Universitatea ITMO

„Cine deține informațiile, deține lumea”

W. Churchill

Orez. 1. Claude Shannon (1916–2001)

Claude Elwood Shannon (Fig. 1) s-a născut la 30 aprilie 1916 în orașul Petocki, situat pe malul lacului Michigan, Michigan (SUA), în familia unui avocat și profesor de limbi străine. Sora lui mai mare, Katherine, era interesată de matematică și în cele din urmă a devenit profesor, iar tatăl lui Shannon și-a combinat munca de avocat cu radioamatori. O rudă îndepărtată a viitorului inginer a fost inventatorul de renume mondial Thomas Edison, care deținea 1093 de brevete.

Shannon a absolvit liceul complet în 1932, la vârsta de șaisprezece ani, în timp ce a primit educație suplimentară acasă. Tatăl său i-a cumpărat seturi de construcție și aparate de radio amatori și a contribuit în toate modurile la creativitatea tehnică a fiului său, iar sora lui l-a implicat în studii avansate de matematică. Shannon s-a îndrăgostit de ambele lumi - inginerie și matematică.

În 1932, Shannon a intrat la Universitatea din Michigan, de la care a absolvit în 1936, primind o diplomă de licență cu o dublă specializare în matematică și inginerie electrică. În timpul studiilor, a găsit în biblioteca universității două lucrări de George Boole - „Analiza matematică a logicii” și „Calcul logic”, scrise în 1847, respectiv 1848. Shannon le-a studiat cu atenție, iar asta, se pare, i-a determinat viitoarele interese științifice.

Teza de doctorat a lui Shannon nu a primit prea mult sprijin din partea geneticienilor și din acest motiv nu a fost niciodată publicată. Cu toate acestea, teza de master s-a dovedit a fi o descoperire în comutație și tehnologia digitală. Ultimul capitol al disertației a oferit numeroase exemple de aplicare cu succes a calculului logic dezvoltat de Shannon la analiza și sinteza unor circuite de releu și comutatoare specifice: circuite selectoare, un lacăt cu secret electric, sumatori binari. Toate acestea demonstrează în mod clar descoperirea științifică realizată de Shannon și beneficiile practice enorme ale formalismului calculului logic. Așa s-a născut logica digitală.

Orez. 2. Claude Shannon la Bell Labs (mijlocul anilor 1940)

În 1945, Shannon a finalizat un amplu raport științific secret pe tema „Teoria comunicării sistemelor de secretizare”.

Orez. 3. La mașina de criptare

Prima dintre aceste șase teoreme este legată de evaluarea cantitativă a informațiilor generate de o sursă de informație, în cadrul unei abordări stocastice bazate pe o măsură sub formă de entropie care indică proprietățile acesteia.
A doua teoremă este dedicată problemei împachetării raționale a simbolurilor generate de o sursă în timpul codificării lor primare. A dat naștere unei proceduri de codare eficace și a necesității introducerii unui „encoder sursă” în structura sistemului de transmitere a informațiilor.
A treia teoremă se referă la problema potrivirii fluxului de informații din sursa informațională cu capacitatea canalului de comunicație în absența interferenței, ceea ce garantează absența distorsiunii informației în timpul transmisiei.
A patra teoremă rezolvă aceeași problemă ca cea anterioară, dar în prezența interferenței în canalul de comunicație binar, ale cărei efecte asupra mesajului de cod transmis contribuie la probabilitatea de distorsiune a unui bit de cod arbitrar. Teorema conține o condiție de încetinire a transmisiei care garantează o probabilitate dată de livrare fără erori a mesajului cod către destinatar. Această teoremă este baza metodologică a codării de protecție împotriva zgomotului, ceea ce a condus la necesitatea introducerii unui „codor de canal” în structura sistemului de transmisie.
A cincea teoremă este dedicată estimării capacității unui canal de comunicație continuu, caracterizat printr-o anumită lățime de bandă de frecvență și puteri date ale semnalului util și ale semnalului de interferență în canalul de comunicație. Teorema definește așa-numita limită Shannon.
Ultima dintre teoreme, numită teorema Nyquist-Shannon-Kotelnikov, este dedicată problemei reconstrucției fără erori a unui semnal continuu din eșantioanele sale discrete în timp, ceea ce ne permite să formulăm o cerință pentru valoarea timpului discret. interval, determinat de lățimea spectrului de frecvență al semnalului continuu, și pentru a forma funcții de bază numite funcții de referință.

Orez. 4. Labirintul lui Shannon

Claude Shannon a avut întotdeauna multe interese care nu au legătură cu activitățile sale profesionale. Talentul ingineresc remarcabil al lui Shannon s-a manifestat în crearea a tot felul de mașini și mecanisme, inclusiv mouse-ul mecanic Tezeu, care rezolvă o problemă de labirint (Fig. 4), un computer cu operații pe numere romane, precum și computere și programe de joc. şah.

Orez. 5. Claude Shannon - jongler

În ultimii ani ai vieții sale, Claude Shannon a fost grav bolnav. A murit în februarie 2001, într-un azil de bătrâni din Massachusetts, din cauza bolii Alzheimer, la vârsta de 85 de ani.

Claude Shannon a lăsat o bogată moștenire aplicată și filozofică. El a creat o teorie generală a automatizării discrete și a dispozitivelor tehnologice computerizate, o tehnologie pentru utilizarea eficientă a capabilităților mediului de canal. Toți arhivatorii moderni utilizați în lumea computerelor se bazează pe teorema de codificare eficientă a lui Shannon. Baza moștenirii sale filozofice constă din două idei. În primul rând: scopul oricărui management ar trebui să fie reducerea entropiei ca măsură a incertitudinii și dezordinei în mediul sistemului. Managementul care nu rezolvă această problemă este redundant, adică inutil. Al doilea este că totul în această lume este, într-un anumit sens, un „canal de comunicare”. Canalul de comunicare este o persoană, o echipă, un întreg mediu funcțional, o industrie, o structură de transport și țara în ansamblu. Și dacă nu coordonați soluțiile tehnice, informaționale, umanitare, guvernamentale cu capacitatea mediului de canal pentru care sunt concepute, atunci nu vă așteptați la rezultate bune.

In contact cu

Literatură

Shannon C. E. O teorie matematică a comunicării. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 8-111.
Shannon C. E. Comunicarea în prezența zgomotului. Proc.IRE. 1949. V. 37. Nr. 10.
Shannon C. E. Teoria comunicării sistemelor de secretizare. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 112-195.
Mașini automate. Culegere de articole ed. K. E. Shannon, J. McCarthy / Trad. din engleza M.: Din-înăuntru. aprins. 1956.
Robert M. Fano Transmission of information: A statistical theory of communication. Publicat în comun de M.I.T., PRESS și JOHN WILEY & SONS, INC. New York, Londra. 1961.
www. cercetare.att. com/~njas/doc/ces5.html.
Kolmogorov A. N. Prefață // Lucrări despre teoria informației și cibernetică / K. Shannon; BANDĂ din engleza sub. ed. R.L. Dobrushina si O.B. Lupanova; prefaţă A. N. Kolmogorov. M., 1963.
Levin V.I.K.E. Shannon și știința modernă // Buletinul TSTU. 2008. Volumul 14. Nr 3.
Viner N. Ya. – matematician / Traduc. din engleza M.: Știință. 1964.
Khinchin A. Ya. Despre principalele teoreme ale teoriei informaţiei. UMN 11:1 (67) 1956.
Kolmogorov A. N. Teoria transmiterii informaţiei. // Sesiunea Academiei de Științe a URSS pe probleme științifice ale automatizării producției. 15–20 octombrie 1956 Sesiune plenară. M.: Editura Academiei de Științe a URSS, 1957.
Kolmogorov A. N. Teoria informației și teoria algoritmilor. M.: Nauka, 1987.

Claude Elwood Shannon (în engleză: Claude Elwood Shannon; 30 aprilie 1916, Petocki, Michigan - 24 februarie 2001, Medford, Massachusetts) - matematician și inginer american, lucrările sale sunt o sinteză a ideilor matematice cu analize specifice ale problemelor extrem de complexe ale implementarea lor tehnică. El este fondatorul teoriei informației, care și-a găsit aplicație în sistemele moderne de comunicații de înaltă tehnologie. Shannon a adus contribuții enorme la teoria circuitelor probabilistice, la teoria automatelor și la teoria sistemelor de control - domenii ale științei incluse în conceptul de cibernetică.

Biografie Claude Shannon s-a născut pe 30 aprilie 1916 în Petocki, Michigan, SUA. Claude și-a petrecut primii șaisprezece ani din viață în Gaylord, Michigan, unde a urmat școala publică și apoi a absolvit liceu Gaylord în 1932. În tinerețe, a lucrat ca curier pentru Western Union. Tatăl său a fost avocat și de ceva vreme judecător. Mama lui a fost profesoară de limbi străine și, ulterior, a devenit directorul școlii Gaylord liceu. Tânărul Claude avea o mare dragoste pentru proiectarea dispozitivelor automate. A adunat modele de avioane și circuite radio și a creat, de asemenea, o barcă radiocontrolată și un sistem de telegraf între casa unui prieten și a lui. Uneori trebuia să repare posturi de radio pentru un magazin local. Thomas Edison era ruda lui îndepărtată.

În 1932, Shannon a fost înscris la Universitatea din Michigan, unde a urmat un curs care l-a introdus pe aspirantul de știință în munca lui George Boole. În 1936, Claude a absolvit Universitatea din Michigan, primind o diplomă de licență în două specialități în matematică și inginerie electrică și a obținut un loc de muncă la Institutul de Tehnologie din Massachusetts. Institutul de Tehnologie, unde a lucrat ca asistent de cercetare la Vannevar Bush Differential Analyzer, un computer analog. În timp ce studia circuitele electrice complexe, foarte specializate, ale unui analizor diferențial, Shannon a văzut că conceptele lui Boole puteau fi folosite în mod adecvat. O lucrare derivată din teza sa de master din 1937, „Analiza simbolică a releelor și comutatoarelor”, a fost publicată în 1938 de Institutul American de Ingineri Electrici (AIEE). Acesta a fost și motivul pentru care Shannon a primit Premiul Nobel Alfred de către Institutul American de Inginerie în 1940. Circuitele digitale stau la baza calculului modern, ceea ce face din munca sa unul dintre cele mai importante rezultate științifice ale secolului al XX-lea. Howard Gardner de la Universitatea Harvard a numit lucrarea lui Shannon „poate cea mai importantă, precum și cea mai faimoasă teză de master a secolului”.

La sfatul lui Bush, Shannon a decis să urmeze un doctorat în matematică la MIT. Ideea pentru munca sa viitoare i-a venit în vara anului 1939, în timp ce lucra la Cold Spring Harbor din New York. Bush a fost numit președinte al Instituției Carnegie din județul Washington și a invitat-o pe Shannon să participe la munca pe care Barbara Burks o făcea în domeniul geneticii. Potrivit lui Bush, genetica ar putea servi drept subiect al eforturilor lui Shannon. Teza de doctorat a lui Shannon, intitulată „Algebra pentru genetică teoretică”, a fost finalizată în primăvara anului 1940. Shannon urmează un doctorat în matematică și un master în inginerie electrică.

În perioada 1941-1956. Shannon predă la Universitatea din Michigan și lucrează la Bell Labs. În laboratorul lui Bell, Shannon, examinând circuitele de comutare, descoperă metoda noua organizarea lor, ceea ce vă permite să reduceți numărul de contacte releu necesare pentru implementarea funcțiilor logice complexe. A publicat o lucrare intitulată „Organizarea circuitelor de comutare dublu-pol”. Shannon a lucrat la problemele creării circuitelor de comutare, dezvoltând o metodă menționată pentru prima dată de von Neumann, care a făcut posibilă crearea de circuite mai fiabile decât releele din care erau compuse. La sfârșitul anului 1940, Shannon a primit Premiul Național de Cercetare. În primăvara anului 1941 s-a întors la Bell. Odată cu izbucnirea celui de-al Doilea Război Mondial, T. Fry a condus lucrările la un program pentru sistemele de control al incendiilor pentru aparare aeriana. Shannon s-a alăturat grupului lui Fry și a lucrat la dispozitive care detectau avioanele inamice și ținteau tunurile antiaeriene și, de asemenea, a dezvoltat sisteme criptografice, inclusiv comunicații guvernamentale, care asigurau negocieri între Churchill și Roosevelt peste ocean. După cum a spus însuși Shannon, munca în domeniul criptografiei l-a împins să creeze teoria informației.

Din 1950 până în 1956, Shannon s-a angajat în crearea mașinilor logice, continuând astfel eforturile lui von Neumann și Turing. El a creat o mașină care putea juca șah cu mult înainte ca Deep Blue să fie creat. În 1952, Shannon a creat o mașină de rezolvare a labirinturilor.

Shannon s-a pensionat la vârsta de cincizeci de ani în 1966, dar a continuat să consulte pentru Bell Labs. În 1985, Claude Shannon și soția sa Betty participă la Simpozionul Internațional de Teoria Informației din Brighton. Shannon nu a participat la conferințe internaționale destul de mult timp și la început nici măcar nu l-au recunoscut. La banchet, Claude Shannon a ținut un scurt discurs, a jonglat cu doar trei mingi și apoi a oferit sute și sute de autografe oamenilor de știință și ingineri uimiți care stăteau într-o coadă lungă, simțind sentimente reverente față de marele om de știință, comparându-l cu Sir. Isaac Newton.

Claude Shannon a murit pe 24 februarie 2001. Lucrarea lui Shannon „The Theory of Communication in Secret Systems” (1945), clasificată ca secretă, care a fost desecretizată și publicată abia în 1949, a servit drept începutul cercetărilor ample în teoria codificării și transmiterii informațiilor și, în opinia generală, , a dat criptografiei statutul de știință. Claude Shannon a fost cel care a început să studieze criptografie folosind o abordare științifică. În acest articol, Claude a definit conceptele fundamentale ale teoriei criptografiei, fără de care criptografia nu mai este de conceput. Meritul important al lui Shannon este cercetarea sistemelor absolut secrete, și dovada existenței lor, precum și existența cifrurilor criptografice și condițiile necesare pentru aceasta. Shannon a formulat, de asemenea, cerințele de bază pentru cifrurile puternice. El a introdus conceptele acum familiare de împrăștiere și amestecare și metode pentru crearea unor sisteme de criptare puternice din punct de vedere criptografic, bazate pe operațiuni simple. Acest articol este punctul de plecare pentru studierea științei criptografiei.

Teoria comunicării matematice

Articolul „Teoria matematică a comunicării” a fost publicat în 1948 și l-a făcut pe Claude Shannon celebru în lume. În ea, Shannon și-a conturat ideile, care au devenit ulterior baza teoriilor și tehnicilor moderne de procesare a transmiterii și stocării informațiilor. Rezultatele muncii sale în domeniul transmiterii informațiilor prin canale de comunicare au lansat un număr imens de studii în întreaga lume. Shannon a generalizat ideile lui Hartley și a introdus conceptul de informație conținută în mesajele transmise. Ca măsură a informației mesajului transmis M, Hartley și-a propus să utilizeze funcţie logaritmică. Shannon a fost primul care a luat în considerare mesajele transmise și zgomotul în canalele de comunicare din punct de vedere statistic, luând în considerare atât seturi finite de mesaje, cât și seturi continue de mesaje. Teoria informației dezvoltată de Shannon a ajutat la rezolvarea principalelor probleme asociate cu transmiterea mesajelor și anume: eliminarea redundanței mesajelor transmise, codificarea și transmiterea mesajelor prin canalele de comunicare cu zgomot. Rezolvarea problemei redundanței mesajului de transmis permite utilizarea cât mai eficientă a canalului de comunicare. De exemplu, metodele moderne, utilizate pe scară largă pentru reducerea redundanței în sistemele de difuzare de televiziune astăzi fac posibilă transmiterea a până la șase programe de televiziune comerciale digitale în banda de frecvență ocupată de un semnal de televiziune analogic convențional. Rezolvarea problemei transmiterii unui mesaj prin canalele de comunicație cu zgomot pentru un raport dat dintre puterea semnalului util și puterea semnalului de interferență la locația de recepție permite transmiterea mesajelor prin canalul de comunicație cu o probabilitate arbitrar scăzută de eroare. transmiterea mesajului. De asemenea, acest raport determină capacitatea canalului. Acest lucru este asigurat prin utilizarea codurilor care sunt rezistente la interferențe, în timp ce rata de transmitere a mesajelor pe un anumit canal trebuie să fie mai mică decât capacitatea acestuia. În lucrările sale, Shannon a dovedit posibilitatea fundamentală de a rezolva problemele identificate; aceasta a fost o adevărată senzație în cercurile științifice la sfârșitul anilor '40. acest lucru, precum și lucrările care au investigat potențiala imunitate la zgomot, au dat naștere unui număr imens de studii care continuă până în zilele noastre, de mai bine de jumătate de secol. Oameni de știință din Uniunea Sovietică iar SUA (URSS - Pinsker, Khinchin, Dobrushin, Kolmogorov; SUA - Gallagher, Wolfowitz, Feinstein) au dat o interpretare stricta a teoriei conturate de Shannon. Astăzi, toate sistemele de comunicații digitale sunt proiectate pe baza principiilor și legilor fundamentale ale transmiterii informațiilor dezvoltate de Shannon. În conformitate cu teoria informației, redundanța este mai întâi eliminată din mesaj, apoi informația este codificată folosind coduri care sunt rezistente la interferențe și abia apoi mesajul este transmis consumatorului prin canal. Redundanța mesajelor de televiziune, voce și fax a fost redusă semnificativ, tocmai datorită teoriei informației.

O mare cantitate de cercetare a fost dedicată creării de coduri care sunt rezistente la interferențe și metode simple decodificarea mesajelor. Cercetările efectuate în ultimii cincizeci de ani au stat la baza Recomandării ITU privind aplicarea metodelor de codificare și codare sursă rezistente la zgomot în sistemele digitale moderne.

Teorema capacităţii canalului.

Orice canal zgomotos este caracterizat de o rată maximă de transmitere a informațiilor, această limită fiind numită după Shannon. La transmiterea informațiilor la viteze care depășesc această limită, apare o distorsiune inevitabilă a datelor, dar de sub această limită poate fi abordată cu acuratețea necesară, asigurând o probabilitate de eroare arbitrar mică în transmiterea informațiilor pe un canal zgomotos.