Anatoly Ushakov, doctor în științe tehnice, prof. departament sisteme de control și informatică, Universitatea ITMO

Multe generații de specialiști tehnici din a doua jumătate a secolului al XX-lea, chiar și cei destul de departe de teoria controlului automat și a ciberneticii, părăsind zidurile universităților, și-au amintit pentru tot restul vieții numele științifice și „autorului” realizări tehnice: funcțiile Lyapunov, procesele Markov, frecvența și criteriul Nyquist, procesul Wiener, filtrul Kalman. Printre astfel de realizări, teoremele lui Shannon ocupă locul de mândrie. Anul 2016 marchează o sută de ani de la nașterea autorului, om de știință și inginer Claude Shannon.

„Cine deține informațiile, deține lumea”

W. Churchill

Orez. 1. Claude Shannon (1916–2001)

Claude Elwood Shannon (Fig. 1) s-a născut la 30 aprilie 1916 în orașul Petocki, situat pe malul lacului Michigan, Michigan (SUA), în familia unui avocat și profesor. limbi straine. Sora lui mai mare, Katherine, era interesată de matematică și în cele din urmă a devenit profesor, iar tatăl lui Shannon și-a combinat munca de avocat cu radioamatori. O rudă îndepărtată a viitorului inginer a fost inventatorul de renume mondial Thomas Edison, care deținea 1093 de brevete.

Shannon a absolvit liceul complet în 1932, la vârsta de șaisprezece ani, în timp ce primise educatie suplimentara acasă. Tatăl său i-a cumpărat truse de construcție și aparate de radio amatori și l-a ajutat în toate felurile posibile creativitate tehnică fiul și sora lui l-au implicat în studii avansate de matematică. Shannon s-a îndrăgostit de ambele lumi - inginerie și matematică.

În 1932, Shannon a intrat la Universitatea din Michigan, de la care a absolvit în 1936, primind o diplomă de licență cu o dublă specializare în matematică și inginerie electrică. În timpul studiilor, a găsit două lucrări ale lui George Boole în biblioteca universității - „ Analiza matematică Logic” și „Calcul logic”, scrise în 1847 și, respectiv, 1848. Shannon le-a studiat cu atenție, iar asta, se pare, i-a determinat viitoarele interese științifice.

După absolvire, Claude Shannon și-a luat un loc de muncă la Laboratorul de Inginerie Electrică al Institutului de Tehnologie din Massachusetts (MIT) ca asistent de cercetare, unde a lucrat la modernizarea analizorului diferențial al lui Vannevar Bush, vicepreședinte al MIT, un „calculator” analog. Din acel moment, Vannevar Bush a devenit mentorul științific al lui Claude Shannon. În timp ce studia releele complexe, înalt specializate, și circuitele de comutare ale dispozitivului de control al analizorului diferențial, Shannon și-a dat seama că conceptele lui George Boole ar putea fi puse la punct în acest domeniu.

La sfârșitul anului 1936, Shannon a intrat în programul de master și deja în 1937 a scris rezumatul tezei sale pentru o diplomă de master și, pe baza acestuia, a pregătit articolul „Analiza simbolică a releelor ​​și a circuitelor de comutare”, care a fost publicat în 1938 în publicarea Institutului American de Ingineri Electrici (AIEE). Această lucrare a atras atenția comunității științifice de inginerie electrică, iar în 1939 Societatea Americană a Inginerilor Civili i-a acordat lui Shannon Premiul Nobel Alfred pentru aceasta.

Neavând încă susținut teza de master, Shannon, la sfatul lui Bush, a decis să lucreze la un doctorat în matematică la MIT, referitor la probleme de genetică. Potrivit lui Bush, genetica ar putea fi un domeniu problematic de succes pentru aplicarea cunoștințelor lui Shannon. Teza de doctorat a lui Shannon, intitulată „Algebră pentru genetică teoretică”, a fost finalizată în primăvara anului 1940 și a fost dedicată problemelor de combinatorie a genelor. Shannon și-a luat doctoratul în matematică și, în același timp, și-a susținut teza „Analiza simbolică a releelor ​​și a circuitelor de comutare”, devenind un maestru în inginerie electrică.

Teza de doctorat a lui Shannon nu a primit prea mult sprijin din partea geneticienilor și din acest motiv nu a fost niciodată publicată. Cu toate acestea, teza de master s-a dovedit a fi o descoperire în comutație și tehnologia digitală. ÎN ultimul capitol disertație, s-au dat multe exemple de aplicare cu succes a calculului logic dezvoltat de Shannon la analiza și sinteza unor circuite specifice de relee și de comutare: circuite selectoare, un lacăt cu secret electric, sumatori binari. Toate acestea demonstrează în mod clar descoperirea științifică realizată de Shannon și beneficiile practice enorme ale formalismului calculului logic. Așa s-a născut logica digitală.

Orez. 2. Claude Shannon la Bell Labs (mijlocul anilor 1940)

În primăvara anului 1941, Claude Shannon a devenit angajat al departamentului de matematică al centrului de cercetare Bell Laboratories (Fig. 2). Câteva cuvinte ar trebui spuse despre atmosfera în care s-a aflat Claude Shannon, în vârstă de 25 de ani - a fost creată de Harry Nyquist, Henrik Bode, Ralph Hartley, John Tukey și alți angajați Bell Laboratories. Toți au avut deja anumite rezultate în dezvoltarea teoriei informației, pe care Shannon avea să le dezvolte în cele din urmă la nivelul de mare știință.

În acest moment, războiul se desfășura deja în Europa, iar Shannon efectua cercetări care au fost finanțate pe scară largă de guvernul SUA. Lucrarea pe care Shannon a făcut-o la Laboratoarele Bell a fost legată de criptografie, ceea ce l-a determinat să lucreze la teoria matematică a criptografiei și, în cele din urmă, i-a permis să analizeze textele cifrate folosind metode teoretice informaționale (Figura 3).

În 1945, Shannon a finalizat un mare raport științific secret pe tema „Teoria comunicării sistemelor de secretizare”.

Orez. 3. La mașina de criptare

În acest moment, Claude Shannon era deja aproape de a vorbi comunității științifice cu noi concepte de bază în teoria informației. Și în 1948 și-a publicat lucrarea de referință „Teoria matematică a comunicațiilor”. Teoria matematică a comunicării a lui Shannon a presupus o structură cu trei componente, compusă dintr-o sursă de informație, un receptor de informații și un „mediu de transport” - un canal de comunicare caracterizat prin debit și capacitatea de a distorsiona informația în timpul transmisiei. A apărut o anumită gamă de probleme: cum să cuantificați informațiile, cum să le împachetați în mod eficient, cum să estimați viteza permisă de ieșire a informațiilor de la o sursă către un canal de comunicație cu o lățime de bandă fixă ​​pentru a garanta transmiterea fără erori a informațiilor și , în sfârșit, cum se rezolvă ultima problemă în prezența interferențelor în conexiunile canalului? Claude Shannon a dat omenirii răspunsuri cuprinzătoare la toate aceste întrebări cu teoremele sale.

Trebuie spus că colegii săi din „magazin” l-au ajutat pe Shannon cu terminologia. Astfel, termenul pentru unitatea minimă de cantitate de informații - „bit” - a fost propus de John Tukey, iar termenul pentru estimarea cantității medii de informații pe simbol al sursei - „entropie” - John von Neumann. Claude Shannon și-a prezentat lucrările fundamentale sub forma a douăzeci și trei de teoreme. Nu toate teoremele sunt echivalente, unele dintre ele sunt de natură auxiliară sau sunt dedicate cazurilor speciale ale teoriei informației și transmiterii acesteia pe canale de comunicare discrete și continue, dar șase teoreme sunt conceptuale și formează cadrul construcției teoriei informației create de Claude Shannon.

  1. Prima dintre aceste șase teoreme este legată de evaluarea cantitativă a informațiilor generate de o sursă de informație, în cadrul unei abordări stocastice bazate pe o măsură sub formă de entropie care indică proprietățile acesteia.
  2. A doua teoremă este dedicată problemei împachetării raționale a simbolurilor generate de o sursă în timpul codificării lor primare. A dat naștere unei proceduri de codare eficace și a necesității introducerii unui „encoder sursă” în structura sistemului de transmitere a informațiilor.
  3. A treia teoremă se referă la problema potrivirii fluxului de informații din sursa informațională cu capacitatea canalului de comunicație în absența interferenței, ceea ce garantează absența distorsiunii informației în timpul transmisiei.
  4. A patra teoremă rezolvă aceeași problemă ca cea anterioară, dar în prezența interferenței în canalul de comunicație binar, ale cărei efecte asupra mesajului de cod transmis contribuie la probabilitatea de distorsiune a unui bit de cod arbitrar. Teorema conține o condiție de încetinire a transmisiei care garantează o probabilitate dată de livrare fără erori a mesajului cod către destinatar. Această teoremă este baza metodologica codificare anti-interferență, ceea ce a condus la necesitatea introducerii unui „codor de canal” în structura sistemului de transmisie.
  5. A cincea teoremă este dedicată estimării capacității unui canal de comunicație continuu, caracterizat printr-o anumită lățime de bandă de frecvență și puteri date ale semnalului util și ale semnalului de interferență în canalul de comunicație. Teorema definește așa-numita limită Shannon.
  6. Ultima dintre teoreme, numită teorema Nyquist-Shannon-Kotelnikov, este dedicată problemei reconstrucției fără erori a unui semnal continuu din eșantioanele sale discrete în timp, ceea ce ne permite să formulăm o cerință pentru valoarea timpului discret. interval, determinat de lățimea spectrului de frecvență al semnalului continuu, și pentru a forma funcții de bază numite funcții de referință.

Trebuie spus că inițial mulți matematicieni din întreaga lume au avut îndoieli cu privire la baza de dovezi a acestor teoreme. Dar, de-a lungul timpului, comunitatea științifică s-a convins de corectitudinea tuturor postulatelor, găsindu-le confirmare matematică. În țara noastră, A.Ya. Khinchin și-a dedicat eforturile acestei chestiuni. și Kolmogorov A.N. .

În 1956, faimosul Claude Shannon a părăsit Laboratoarele Bell fără a rupe legăturile cu acesta și a devenit profesor titular la două facultăți de la Institutul de Tehnologie din Massachusetts: matematică și inginerie electrică.

Orez. 4. Labirintul lui Shannon

Claude Shannon a avut întotdeauna multe interese complet fără legătură cu ale lui activitate profesională. Talentul ingineresc remarcabil al lui Shannon s-a manifestat în crearea a tot felul de mașini și mecanisme, inclusiv mouse-ul mecanic Tezeu, care rezolvă o problemă de labirint (Fig. 4), un computer cu operații pe numere romane, precum și computere și programe de joc. şah.

În 1966, la vârsta de 50 de ani, Claude Shannon s-a retras din predare și s-a dedicat aproape în întregime hobby-urilor sale. El creează un monociclu cu două șei, un cuțit pliabil cu o sută de lame, roboți care rezolvă un cub Rubik și un robot care jonglează cu bile. În plus, Shannon însuși continuă să-și perfecționeze abilitățile de jongler, ducând numărul de bile la patru (Fig. 5). Martori ai tinereții sale de la Laboratoarele Bell și-au amintit cum s-a plimbat pe coridoarele companiei cu un monociclu, în timp ce jonglea cu mingi.

Orez. 5. Claude Shannon - jongler

Din păcate, Claude Shannon nu a avut contacte strânse cu oamenii de știință sovietici. Cu toate acestea, a reușit să viziteze URSS în 1965 la invitația Societății Științifice și Tehnice de Inginerie Radio, Electronică și Comunicații (NTORES) numită după A.S. Popova. Unul dintre inițiatorii acestei invitații a fost multiplu campion mondial la șah Mikhail Botvinnik, doctor în științe tehnice, profesor, care era și inginer electrician și era interesat de programarea șahului. O discuție plină de viață a avut loc între Mikhail Botvinnik și Claude Shannon despre problemele computerizării artei șahului. Participanții au ajuns la concluzia că acest lucru a fost foarte interesant pentru programare și nepromițător pentru șah. După discuție, Shannon i-a cerut lui Botvinnik să joace șah cu el și în timpul jocului a avut chiar un ușor avantaj (o turnă pentru un cavaler și un pion), dar tot a pierdut la a 42-a mutare.

În ultimii ani ai vieții sale, Claude Shannon a fost grav bolnav. A murit în februarie 2001, într-un azil de bătrâni din Massachusetts, din cauza bolii Alzheimer, la vârsta de 85 de ani.

Claude Shannon a lăsat o bogată moștenire aplicată și filozofică. El a creat o teorie generală a automatizării discrete și a dispozitivelor tehnologice computerizate, o tehnologie pentru utilizarea eficientă a capabilităților mediului de canal. Toți arhivatorii moderni utilizați în lumea computerelor se bazează pe teorema de codificare eficientă a lui Shannon. Baza moștenirii sale filozofice constă din două idei. În primul rând: scopul oricărui management ar trebui să fie reducerea entropiei ca măsură a incertitudinii și dezordinei în mediul sistemului. Managementul care nu rezolvă această problemă este redundant, adică inutil. Al doilea este că totul în această lume este, într-un anumit sens, un „canal de comunicare”. Canalul de comunicare este o persoană, o echipă, un întreg mediu funcțional, o industrie, o structură de transport și țara în ansamblu. Și dacă deciziile tehnice, informaționale, umanitare, guvernamentale nu sunt coordonate cu capacitatea mediului de canal pentru care sunt concepute, atunci rezultate bune nu astepta.

In contact cu

Literatură

  1. Shannon C. E. O teorie matematică a comunicării. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 8-111.
  2. Shannon C. E. Comunicarea în prezența zgomotului. Proc.IRE. 1949. V. 37. Nr. 10.
  3. Shannon C. E. Teoria comunicării sistemelor de secretizare. Jurnalul tehnic Bell Systems. iulie și oct. 1948 // Claude Elwood Shannon. Lucrări adunate. N.Y., 1993. P. 112-195.
  4. Mașini automate. Culegere de articole ed. K. E. Shannon, J. McCarthy / Trad. din engleza M.: Din-înăuntru. aprins. 1956.
  5. Robert M. Fano Transmission of information: A statistical theory of communication. Publicat în comun de M.I.T., PRESS și JOHN WILEY & SONS, INC. New York, Londra. 1961.
  6. www. cercetare.att. com/~njas/doc/ces5.html.
  7. Kolmogorov A. N. Prefață // Lucrări despre teoria informației și cibernetică / K. Shannon; BANDĂ din engleza sub. ed. R.L. Dobrushina si O.B. Lupanova; prefaţă A. N. Kolmogorov. M., 1963.
  8. Levin V.I.K.E. Shannon și stiinta moderna// Buletinul TSTU. 2008. Volumul 14. Nr 3.
  9. Viner N. Ya. – matematician / Traduc. din engleza M.: Știință. 1964.
  10. Khinchin A. Ya. Despre principalele teoreme ale teoriei informaţiei. UMN 11:1 (67) 1956.
  11. Kolmogorov A. N. Teoria transmiterii informaţiei. // Sesiunea Academiei de Științe a URSS pe probleme științifice automatizarea productiei. 15–20 octombrie 1956 Sesiune plenară. M.: Editura Academiei de Științe a URSS, 1957.
  12. Kolmogorov A. N. Teoria informației și teoria algoritmilor. M.: Nauka, 1987.

Claude Elwood Shannon (în engleză: Claude Elwood Shannon; 30 aprilie 1916, Petocki, Michigan - 24 februarie 2001, Medford, Massachusetts) - matematician și inginer american, lucrările sale sunt o sinteză a ideilor matematice cu analize specifice ale problemelor extrem de complexe ale implementarea lor tehnică. El este fondatorul teoriei informației, care și-a găsit aplicație în sistemele moderne de comunicații de înaltă tehnologie. Shannon a adus contribuții enorme la teoria circuitelor probabilistice, la teoria automatelor și la teoria sistemelor de control - domenii ale științei incluse în conceptul de cibernetică.

Biografie Claude Shannon s-a născut pe 30 aprilie 1916 în Petocki, Michigan, SUA. Claude și-a petrecut primii șaisprezece ani din viață în Gaylord, Michigan, unde a urmat școala publică și apoi a absolvit liceu Gaylord în 1932. În tinerețe, a lucrat ca curier pentru Western Union. Tatăl său a fost avocat și de ceva vreme judecător. Mama lui a fost profesoară de limbi străine și, ulterior, a devenit directorul școlii Gaylord liceu. Tânărul Claude avea o mare dragoste pentru proiectarea dispozitivelor automate. A adunat modele de avioane și circuite radio și a creat, de asemenea, o barcă radiocontrolată și un sistem de telegraf între casa unui prieten și a lui. Uneori trebuia să repare posturi de radio pentru un magazin local. Thomas Edison era ruda lui îndepărtată.

În 1932, Shannon a fost înscris la Universitatea din Michigan, unde a urmat un curs care l-a introdus pe aspirantul de știință în munca lui George Boole. În 1936, Claude a absolvit Universitatea din Michigan, primind o diplomă de licență în două specialități în matematică și inginerie electrică și a obținut un loc de muncă la Institutul de Tehnologie din Massachusetts. Institutul de Tehnologie, unde a lucrat ca asistent de cercetare la Vannevar Bush Differential Analyzer, un computer analog. În timp ce studia circuitele electrice complexe, foarte specializate, ale unui analizor diferențial, Shannon a văzut că conceptele lui Boole puteau fi folosite în mod adecvat. O lucrare derivată din teza sa de master din 1937, „Analiza simbolică a releelor ​​și comutatoarelor”, a fost publicată în 1938 de Institutul American de Ingineri Electrici (AIEE). Acesta a fost și motivul pentru care Shannon a primit Premiul Nobel Alfred de către Institutul American de Inginerie în 1940. Circuitele digitale stau la baza calculului modern, ceea ce face din munca sa unul dintre cele mai importante rezultate științifice ale secolului al XX-lea. Howard Gardner de la Universitatea Harvard a numit lucrarea lui Shannon „poate cea mai importantă, precum și cea mai faimoasă teză de master a secolului”.

La sfatul lui Bush, Shannon a decis să urmeze un doctorat în matematică la MIT. Ideea pentru munca sa viitoare i-a venit în vara anului 1939, în timp ce lucra la Cold Spring Harbor din New York. Bush a fost numit președinte al Instituției Carnegie din județul Washington și a invitat-o ​​pe Shannon să participe la munca pe care Barbara Burks o făcea în domeniul geneticii. Potrivit lui Bush, genetica ar putea servi drept subiect al eforturilor lui Shannon. Teza de doctorat a lui Shannon, intitulată „Algebra pentru genetică teoretică”, a fost finalizată în primăvara anului 1940. Shannon urmează un doctorat în matematică și un master în inginerie electrică.

În perioada 1941-1956. Shannon predă la Universitatea din Michigan și lucrează la Bell Labs. În laboratorul lui Bell, Shannon, examinând circuitele de comutare, descoperă metoda noua organizarea lor, ceea ce vă permite să reduceți numărul de contacte releu necesare pentru implementarea funcțiilor logice complexe. A publicat o lucrare intitulată „Organizarea circuitelor de comutare dublu-pol”. Shannon a lucrat la problemele creării circuitelor de comutare, dezvoltând o metodă menționată pentru prima dată de von Neumann, care a făcut posibilă crearea de circuite mai fiabile decât releele din care erau compuse. La sfârșitul anului 1940, Shannon a primit Premiul Național de Cercetare. În primăvara anului 1941 s-a întors la Bell. Odată cu izbucnirea celui de-al Doilea Război Mondial, T. Fry a condus lucrările la un program pentru sistemele de control al incendiilor pentru aparare aeriana. Shannon s-a alăturat grupului lui Fry și a lucrat la dispozitive care detectau avioanele inamice și ținteau tunurile antiaeriene și, de asemenea, a dezvoltat sisteme criptografice, inclusiv comunicații guvernamentale, care asigurau negocieri între Churchill și Roosevelt peste ocean. După cum a spus însuși Shannon, munca în domeniul criptografiei l-a împins să creeze teoria informației.

Din 1950 până în 1956, Shannon s-a angajat în crearea mașinilor logice, continuând astfel eforturile lui von Neumann și Turing. El a creat o mașină care putea juca șah cu mult înainte ca Deep Blue să fie creat. În 1952, Shannon a creat o mașină de rezolvare a labirinturilor.

Shannon s-a pensionat la vârsta de cincizeci de ani în 1966, dar a continuat să consulte pentru Bell Labs. În 1985, Claude Shannon și soția sa Betty participă la Simpozionul Internațional de Teoria Informației din Brighton. Shannon nu a participat la conferințe internaționale destul de mult timp și la început nici măcar nu l-au recunoscut. La banchet, Claude Shannon a ținut un scurt discurs, a jonglat cu doar trei mingi și apoi a oferit sute și sute de autografe oamenilor de știință și ingineri uimiți care stăteau într-o coadă lungă, simțind sentimente reverente față de marele om de știință, comparându-l cu Sir. Isaac Newton.

Claude Shannon a murit pe 24 februarie 2001. Lucrarea lui Shannon „The Theory of Communication in Secret Systems” (1945), clasificată ca secretă, care a fost desecretizată și publicată abia în 1949, a servit drept începutul cercetărilor ample în teoria codificării și transmiterii informațiilor și, în opinia generală, , a dat criptografiei statutul de știință. Claude Shannon a fost cel care a început să studieze criptografia folosind abordare științifică. În acest articol, Claude a definit conceptele fundamentale ale teoriei criptografiei, fără de care criptografia nu mai este de conceput. Meritul important al lui Shannon este cercetarea sistemelor absolut secrete, și dovada existenței lor, precum și existența cifrurilor criptografice și condițiile necesare pentru aceasta. Shannon a formulat, de asemenea, cerințele de bază pentru cifrurile puternice. El a introdus conceptele acum familiare de împrăștiere și amestecare și metode pentru crearea unor sisteme de criptare puternice din punct de vedere criptografic, bazate pe operațiuni simple. Acest articol este punctul de plecare pentru studierea științei criptografiei.

Teoria comunicării matematice

Articolul „Teoria matematică a comunicării” a fost publicat în 1948 și l-a făcut pe Claude Shannon celebru în lume. În ea, Shannon și-a conturat ideile, care au devenit ulterior baza teorii moderneși tehnici de procesare a transmiterii și stocării informațiilor. Rezultatele muncii sale în domeniul transmiterii informațiilor prin canale de comunicare au lansat un număr imens de studii în întreaga lume. Shannon a generalizat ideile lui Hartley și a introdus conceptul de informație conținută în mesajele transmise. Ca măsură a informației mesajului transmis M, Hartley și-a propus să utilizeze funcţie logaritmică. Shannon a fost primul care a luat în considerare mesajele transmise și zgomotul în canalele de comunicare din punct de vedere statistic, luând în considerare atât seturi finite de mesaje, cât și seturi continue de mesaje. Teoria informației dezvoltată de Shannon a ajutat la rezolvarea principalelor probleme asociate cu transmiterea mesajelor și anume: eliminarea redundanței mesajelor transmise, codificarea și transmiterea mesajelor prin canalele de comunicare cu zgomot. Rezolvarea problemei redundanței mesajului de transmis permite utilizarea cât mai eficientă a canalului de comunicare. De exemplu, metodele moderne, utilizate pe scară largă pentru reducerea redundanței în sistemele de difuzare de televiziune astăzi fac posibilă transmiterea a până la șase programe de televiziune comerciale digitale în banda de frecvență ocupată de un semnal de televiziune analogic convențional. Rezolvarea problemei transmiterii unui mesaj prin canalele de comunicație cu zgomot pentru un raport dat dintre puterea semnalului util și puterea semnalului de interferență la locația de recepție permite transmiterea mesajelor prin canalul de comunicație cu o probabilitate arbitrar scăzută de eroare. transmiterea mesajului. De asemenea, acest raport determină capacitatea canalului. Acest lucru este asigurat prin utilizarea codurilor care sunt rezistente la interferențe, în timp ce rata de transmitere a mesajelor pe un anumit canal trebuie să fie mai mică decât capacitatea acestuia. În lucrările sale, Shannon a dovedit posibilitatea fundamentală de a rezolva problemele identificate; aceasta a fost o adevărată senzație în cercurile științifice la sfârșitul anilor '40. acest lucru, precum și lucrările care au investigat potențiala imunitate la zgomot, au dat naștere unui număr imens de studii care continuă până în zilele noastre, de mai bine de jumătate de secol. Oameni de știință din Uniunea Sovietică iar SUA (URSS - Pinsker, Khinchin, Dobrushin, Kolmogorov; SUA - Gallagher, Wolfowitz, Feinstein) au dat o interpretare stricta a teoriei conturate de Shannon. Astăzi, toate sistemele de comunicații digitale sunt proiectate pe baza principii fundamentaleși legile de transmitere a informațiilor dezvoltate de Shannon. În conformitate cu teoria informației, redundanța este mai întâi eliminată din mesaj, apoi informația este codificată folosind coduri care sunt rezistente la interferențe și abia apoi mesajul este transmis consumatorului prin canal. Redundanța mesajelor de televiziune, voce și fax a fost redusă semnificativ, tocmai datorită teoriei informației.

O mare cantitate de cercetare a fost dedicată creării de coduri care sunt rezistente la interferențe și metode simple decodificarea mesajelor. Cercetările efectuate în ultimii cincizeci de ani au stat la baza Recomandării ITU privind aplicarea metodelor de codificare și codare sursă rezistente la zgomot în sistemele digitale moderne.

Teorema capacităţii canalului.

Orice canal zgomotos este caracterizat de o rată maximă de transmitere a informațiilor, această limită fiind numită după Shannon. La transmiterea informațiilor la viteze care depășesc această limită, apare o distorsiune inevitabilă a datelor, dar de sub această limită poate fi abordată cu acuratețea necesară, asigurând o probabilitate de eroare arbitrar mică în transmiterea informațiilor pe un canal zgomotos.

Cine este Claude Shannon și ce a făcut, veți afla din acest articol.

Claude Shannon și pentru ce este faimos? scurt

(viață: 20 aprilie 1916 – 24 februarie 2001) este un remarcabil om de știință american care este creatorul teoriei informaţiei. În tinerețe, omul de știință a proiectat cu entuziasm diverse dispozitive automate și mecanice, a asamblat modele de aeronave și circuite radio. Are multe niveluri științifice: Licență în Matematică și Inginerie Electrică, Doctor în Științe în Matematică, Master în Științe în Inginerie Electrică.

Claude Shannon și contribuțiile sale la informatică

Realizările lui Claude Shannon au determinat viitorul spațiului informațional. El a dezvoltat legi fundamentale ale transmiterii informaţiei şi teoria informaţiei, care a constat din 6 teoreme conceptuale:

  • Teorema cuantificare informație.
  • Teoremă pentru împachetarea rațională a simbolurilor în timpul codificării primare.
  • Teoremă de potrivire a fluxului de informații cu capacitatea unui canal de comunicare fără interferențe.
  • Teorema de potrivire a fluxului de informații cu capacitatea unui canal de comunicare binar cu zgomot.
  • Teorema de estimare a capacitatii unui canal de comunicare continuu.
  • Teoremă pentru reconstrucția fără erori a unui semnal continuu.

În plus, omul de știință a creat un mouse robot cu începuturile inteligenței artificiale în 1950. Putea să meargă într-un labirint și să găsească o cale de ieșire.

Era Shannon în 1948 sugerat utilizarea cuvântului „bit” pentru a desemna cea mai mică unitate de informație.

Mai mult, conceptul de entropie a fost caracteristică importantă teoriile lui Shannon. El a demonstrat că entropia pe care a introdus-o este echivalentă cu măsura incertitudinii informațiilor din mesajul transmis. Lucrările lui Shannon „A Mathematical Theory of Communications” și „The Theory of Communications in Secret Systems” sunt considerate fundamentale pentru teoria informației și criptografie.

Claude Shannon a fost unul dintre primii care au a abordat criptografia din punct de vedere științific, el a fost primul care a formulat-o baza teoreticași a introdus multe concepte de bază în considerare. Shannon a adus contribuții cheie la teoria circuitelor probabilistice, teoria jocurilor, teoria automatelor și teoria sistemelor de control - domenii ale științei care se încadrează sub umbrela ciberneticii.

De asemenea, a lăsat în urmă o bogată moștenire filozofică și aplicată. Claude Shannon a creat teorie generală tehnologie informatică și dispozitive de automatizare discrete, tehnologie pentru utilizarea eficientă a mediului de canal. Toate arhivatoarele moderne care sunt folosite în lumea computerelor funcționează datorită teoremei omului de știință despre codificarea eficientă.

În ceea ce privește moștenirea filozofică, el deține două idei:

  • Scopul oricărui tip de management– aceasta este o scădere a entropiei, ca o anumită măsură a dezordinei și incertitudinii în mediul sistemului. Și din moment ce conducerea nu poate rezolva complet această problemă, este redundantă, adică inutilă.
  • Tot ceea ce există în această lume este un „canal de comunicare”. Rolul său este jucat de colectiv, individ, industrie, întregul mediu funcțional, țara în ansamblu și structura de transport. Iar pentru a obține rezultate bune este necesară coordonarea deciziilor informaționale, tehnice, guvernamentale și umanitare cu capacitatea mediului de canal de comunicare cu care interacționează.

Sperăm că după ce ați citit acest articol, ați aflat ce a făcut Claude Shannon pentru dezvoltarea științei informației.

Claude Shannon s-a născut în 1916. A crescut în Gaylord, Michigan. Deja în copilărie, Shannon a arătat un interes atât pentru tehnologie și studiul ei detaliat, cât și pentru principiile matematice generale. El s-a chinuit cu receptoarele cu detectoare timpurii pe care i le-a adus tatăl său în timp ce rezolva probleme de matematică și puzzle-uri oferite de sora lui mai mare, Catherine, care mai târziu a devenit profesor de matematică.

În 1936, absolventul Universității din Michigan Claude Shannon, pe atunci în vârstă de 21 de ani, a reușit să creeze o punte între teoria algebrică a logicii și aplicarea ei practică.
Shannon, cu două diplome de licență în inginerie electrică și matematică, a acționat ca operatorul unui dispozitiv de calcul mecanic stângaci numit „analizor diferențial”, pe care supervizorul lui Shannon, profesorul Vanniver Bush, l-a construit în 1930. Pentru tema tezei sale, Bush i-a sugerat lui Shannon să studieze organizarea logică a mașinii sale. Treptat, Shannon a început să dezvolte contururile unui computer. Dacă circuitele electrice ar fi construite conform principiilor algebrei booleene, ele ar putea exprima relații logice, ar putea determina adevărul afirmațiilor și ar putea efectua calcule complexe.

Circuitele electrice ar fi, evident, mult mai convenabile decât angrenajele și rolele lubrifiate cu generozitate cu ulei de mașină într-un „analizor diferențial”. Ideile sale cu privire la legătura dintre calculul binar, algebra booleană și scheme electrice Shannon a dezvoltat acest lucru în teza sa de doctorat publicată în 1938.

În 1941, Claude Shannon, în vârstă de 25 de ani, a plecat să lucreze la Laboratoarele Bell, unde, printre altele, a devenit celebru pentru că a mers cu un monociclu prin coridoarele laboratorului în timp ce jonglea cu mingi.

La acel moment, aplicarea la tehnologie a metodelor omului de știință englez George Boole (1815-1864), care în 1847 a publicat o lucrare cu titlul caracteristic „Analiza matematică a logicii, care este un experiment în calculul raționamentului deductiv, ” a fost aproape revoluționar. Shannon însuși a remarcat doar cu modestie: „S-a întâmplat că nimeni altcineva nu era familiarizat cu ambele domenii în același timp”.

O altă lucrare de mare valoare este Teoria comunicării sistemelor secrete (1949), care formulează bazele matematice ale criptografiei.

În timpul războiului, a fost implicat în dezvoltarea sistemelor criptografice, iar acest lucru l-a ajutat ulterior să descopere metode de codare de corectare a erorilor. Apropo, în aceiași patruzeci de ani, Shannon, de exemplu, a fost angajată în construcția unui disc zburător pe un motor de rachetă. În același timp, Claude Elwood Shannon a început să dezvolte idei care au stat mai târziu la baza teoriei informațiilor care l-a făcut celebru. Scopul lui Shannon a fost de a optimiza transmisia de informații prin linii telefonice și telegrafice. Și pentru a rezolva această problemă, a trebuit să formuleze ce este informația și cum este determinată cantitatea acesteia. În lucrările sale din 1948-1949, el a definit cantitatea de informație prin entropie - o cantitate cunoscută în termodinamică și fizica statistica ca măsură a dezordinei sistemului și a luat ca unitate de informație ceea ce mai târziu a fost numit „bit”, adică alegerea uneia dintre cele două opțiuni la fel de probabile.

Din 1956 - membru Academia NaționalăȘtiințe ale SUA și Academia Americană de Arte și Științe.

În lucrările sale, Claude Shannon a definit cantitatea de informație prin entropie - o cantitate cunoscută în termodinamică și fizica statistică ca o măsură a dezordinei unui sistem și a luat ca unitate de informație ceea ce mai târziu a fost numit „bit”, adică , alegerea uneia dintre cele două opțiuni la fel de probabile. Pe baza solidă a definiției sale a cantității de informații, Claude Shannon a dovedit o teoremă uimitoare despre capacitatea canalelor de comunicare zgomotoase. Această teoremă a fost publicată în întregime în lucrările sale din 1957-1961 și acum îi poartă numele. Care este esența teoremei lui Shannon? Orice canal de comunicare zgomotos este caracterizat de rata sa maximă de transfer de informații, numită limită Shannon. La viteze de transmisie peste această limită, erorile în informațiile transmise sunt inevitabile. Dar de sub această limită poate fi abordată cât de aproape se dorește, oferind cu o codificare adecvată a informațiilor o probabilitate arbitrar de mică de eroare pentru orice canal zgomotos. În plus, Shannon s-a implicat neobosit în diverse proiecte: de la construirea unui mouse electronic capabil să găsească o cale de ieșire dintr-un labirint, până la construirea de mașini de jonglare și crearea unei teorii a jonglarii, care, totuși, nu l-a ajutat să-și bată recordul personal - jonglend cu patru bile.

Claude Elwood Shannon(30 aprilie 1916 – 24 februarie 2001) a fost un matematician, inginer electrician și criptograf american cunoscut sub numele de „Părintele Teoriei Informației”.

Shannon cunoscut pentru că a scris bazele teoriei informației, Teoria comunicării matematice, pe care a publicat-o în 1948. La vârsta de 21 de ani, în timp ce era student la master la Institutul de Tehnologie din Massachusetts (MIT), a scris o disertație care dovedește că aplicatii electriceÎn algebra booleană, puteți construi orice relații logice, numerice. Claude Elwood Shannon a adus contribuții majore în domeniul criptoanalizei pentru apărarea națională în timpul celui de-al Doilea Război Mondial, inclusiv lucrările sale majore privind ruperea codurilor și fiabilitatea telecomunicațiilor.

În 1950, Shannon a publicat o lucrare despre șahul pe computer intitulată „Programming a Computer to Play Chess”. Descrie modul în care o mașină sau un computer poate fi programat să joace jocuri de logica, joacă șah. Așa-numitele proceduri minimax sunt responsabile de procesul de mișcare a computerului, pe baza unei evaluări a funcției unei anumite poziții de șah. Shannon a dat un exemplu brut de evaluare a unei funcții în care valoarea poziției negre a fost scăzută din poziția albă. Valorile au fost calculate pe baza scorului unei piese de șah obișnuite (1 punct pentru un pion, 3 puncte pentru un cavaler sau episcop, 5 puncte pentru o turnă și 9 puncte pentru o regină). El a analizat câțiva factori de poziție, scăzând 0,5 puncte pentru fiecare pion dublat, pioni înapoi și izolați și adăugând 0,1 puncte pentru fiecare mișcare bună. Citat din document:

„Coeficienții 0,5 și 0,1 sunt doar o estimare aproximativă a scriitorului. În plus, există multe alte condiții care trebuie incluse. Formula este dată doar pentru claritate.”

În 1932, Shannon a fost înscris la Universitatea din Michigan, unde la unul dintre cursurile sale a făcut cunoștință cu lucrările lui George Boole. În 1936, Claude a absolvit Universitatea din Michigan cu o dublă specializare în matematică și inginerie electrică și a mers la Institutul de Tehnologie din Massachusetts (MIT), unde a lucrat ca asistent de cercetare. El a îndeplinit sarcini de operator pe un dispozitiv de calcul mecanic, un computer analog numit „analizor diferențial”, dezvoltat de supervizorul său Vanevar Bush. Studiind circuitele electrice complexe, înalt specializate, ale unui analizor diferențial, Shannon a văzut că conceptele lui Boole puteau fi folosite în mod adecvat. După ce a lucrat în vara anului 1937 la Bell Telephone Laboratories, el a scris o lucrare bazată pe teza de master în acel an, „Analiza simbolică a circuitelor de releu și comutare”. Trebuie remarcat faptul că Frank Lauren Hitchcock a coordonat lucrarea de master și a oferit critici și sfaturi utile. Articolul în sine a fost publicat în 1938 în publicația Institutului American de Ingineri Electrici (AIEE). În această lucrare, el a arătat că circuitele de comutare ar putea fi folosite pentru a înlocui circuitele de relee electromecanice utilizate apoi pentru a direcționa apelurile telefonice. Apoi a extins acest concept arătând că aceste circuite ar putea rezolva toate problemele pe care le-ar putea rezolva algebra booleană. De asemenea, în ultimul capitol, el prezintă prototipurile mai multor circuite, de exemplu, un sumator pe 4 biți. Pentru acest articol, Shannon a primit Premiul Nobel Alfred de către Institutul American de Ingineri Electrici în 1940. Abilitatea dovedită de a implementa orice calcul logic în circuite electrice a constituit baza pentru proiectarea circuitelor digitale. Și circuitele digitale sunt, după cum știm, baza tehnologiei moderne de calcul, astfel, rezultatele muncii sale sunt unul dintre cele mai importante rezultate științifice ale secolului XX. Howard Gardner de la Universitatea Harvard a numit lucrarea lui Shannon „poate cea mai importantă, precum și cea mai faimoasă teză de master a secolului”.

La sfatul lui Bush, Shannon a decis să urmeze un doctorat în matematică la MIT. Bush a fost numit președinte al Instituției Carnegie din Washington și a invitat-o ​​pe Shannon să ia parte la munca de genetică condusă de Barbara Burks. Potrivit lui Bush, genetica ar putea servi drept subiect al eforturilor lui Shannon. Shannon însuși, după ce a petrecut o vară în Woods Hole, Massachusetts, a devenit interesat să găsească o bază matematică pentru legile moștenirii lui Mendel. Teza de doctorat a lui Shannon, intitulată „The Algebra of Theoretical Genetics”, a fost finalizată în primăvara anului 1940. Cu toate acestea, această lucrare nu a fost lansată decât în ​​1993, când a apărut în Shannon's Collected Papers. Altfel, cercetarea sa ar fi devenit destul de importantă, dar majoritatea acestor rezultate au fost obținute independent de el. Shannon urmează un doctorat în matematică și un master în inginerie electrică. După aceasta nu s-a mai întors la cercetările în biologie.

Shannon era interesat şi de aplicarea matematicii în sisteme de informare, cum ar fi sistemele de comunicații. După o altă vară petrecută la Bell Labs în 1940 Shannon a devenit cercetător la Institutul pentru Studii Avansate din Princeton, New Jersey, SUA pentru un an universitar. Acolo a lucrat sub îndrumarea celebrului matematician Hermann Weyl și, de asemenea, a avut ocazia să discute ideile sale cu oameni de știință și matematicieni influenți, inclusiv cu John von Neumann. A avut și întâlniri întâmplătoare cu Albert Einstein și Kurt Gödel. Shannon a lucrat liber într-o varietate de discipline, la care s-ar putea să fi contribuit această abilitate dezvoltare ulterioară teoria sa matematică a informaţiei.