25 koji je bio Claude Shannon. Teorija informacija Claudea Shanona

Knjiga prati istoriju i evoluciju kompjuterski svet, koji se može podijeliti na nekoliko perioda: period koji prethodi kompjuterskoj eri; period nastanka prvih kompjutera i pojava prvih programskih jezika; period formiranja i razvoja računarske industrije, pojava računarskih sistema i mreža; period stvaranja objektno orijentisanih programskih jezika i novih kompjuterskih tehnologija. Svako od poglavlja knjige posvećeno je posebnom periodu, pronalazačima, dizajnerima i programerima - arhitektima kompjuterskog svijeta.

Za širok krug čitalaca

knjiga:

Danas se Šenonove ideje igraju važnu ulogu u gotovo svim sistemima koji pohranjuju, obrađuju ili prenose informacije u digitalnom obliku, od laserskih diskova do kompjutera, od automobila do automatskih svemirskih stanica...

J. Horgan

Claude Shannon

Kasnih 1930-ih, Shannon je bio prvi koji je povezao Bulovu algebru sa sklopnim krugovima, koji su sastavni dio savremenih kompjutera. Zahvaljujući ovom otkriću, Bulova algebra bi se mogla koristiti kao način organizovanja unutrašnjih operacija računara, način organizovanja logičke strukture računara. Dakle, kompjuterska industrija mnogo duguje ovom čovjeku, iako su njegova interesovanja ponekad bila daleko od kompjutera.

Njegov otac je bio advokat, a neko vrijeme i sudija. Njegova majka je predavala stranim jezicima i postao direktor srednje škole Haylord. Mladi Claude je volio dizajnirati automatski uređaji. Sastavljao je modele aviona i radio kola, a stvorio je i radio-kontrolisani čamac i telegrafski sistem između svoje kuće i kuće prijatelja. Popravio je radio stanice za lokalnu robnu kuću. Thomas Edison je bio i njegov heroj iz djetinjstva i daleki rođak, iako se nikada nisu sreli. Šenon je kasnije dodao Isaka Njutna, Čarlsa Darvina, Alberta Ajnštajna i Džona fon Nojmana na svoju listu heroja. Godine 1932. Shannon je upisana na Univerzitet u Michigenu. Claude Shannon diplomirao je elektrotehniku. Ali matematika ga je takođe fascinirala i trudio se da pohađa što više kurseva. Jedan od tih kurseva matematike, u simboličnoj logici, odigrao je veliku ulogu u njegovoj karijeri. Diplomirao je elektrotehniku ​​i matematiku. „Ovo je priča mog života“, kaže Shannon, „Interakcija između matematike i elektrotehnike.

Godine 1936. Claude Shannon je postao diplomirani student na Massachusetts Institute of Technology (MIT). Njegov supervizor Vannevar Bush, tvorac diferencijalnog analizatora (analognog kompjutera), predložio je da se kao tema njegove disertacije opiše logička organizacija analizatora.

Radeći na svojoj disertaciji, Shannon je došao do zaključka da se Booleova algebra može uspješno koristiti za analizu i sintetizaciju prekidača i releja u električni dijagrami Oh. Shannon je napisao: "Složene matematičke operacije se mogu izvoditi pomoću relejnih kola. Brojevi se mogu predstaviti položajima releja i koračnim prekidačima. Povezivanjem setova releja na određeni način mogu se izvoditi različite matematičke operacije." Na ovaj način, objasnio je Shannon, moguće je konstruirati relejno kolo koje izvodi logičke operacije I, ILI i NE. Također možete implementirati poređenja. Uz pomoć ovakvih kola lako je implementirati konstrukciju „Ako… onda…“.

Godine 1937. Shannon je napisao disertaciju pod naslovom “Simbolička analiza relejnih i sklopnih kola”. Bila je to neobična disertacija i smatrana je jednom od najznačajnijih u čitavoj nauci tog vremena: ono što je Šenon uradila otvorilo je put razvoju digitalnih računara.

Šenonov rad je bio veoma važan: sada inženjeri stalno koriste Bulovu algebru u svakodnevnoj praksi, stvarajući hardver i programe za računare, telefonske mreže i druge sisteme. Shannon je umanjio svoj doprinos ovom otkriću. „Desilo se da niko drugi nije bio upoznat sa obe ove oblasti (matematika i elektrotehnika. - A. Ch.) u isto vreme”, rekao je, a onda je izjavio: „Uvek mi se dopadala ova reč – Boolean.”

Da budemo pošteni, treba napomenuti da je prije Shannon-a uspostavljanje veze između Bulove algebre i sklopnih kola u Americi izvršio C. Pierce, u Rusiji P. S. Ehrenfest, V. I. Shestakov i drugi.

Po Bushovom savjetu, Shannon je odlučila da nastavi doktorat iz matematike na MIT-u. Ideja za buduću disertaciju pala mu je na pamet u ljeto 1939. dok je radio u Cold Spring Haboru u New Yorku. Bush je imenovan za predsjednika Carnegie instituta u okrugu Washington i predložio je da Shannon provede neko vrijeme tamo: rad koji je Barbara Burks radila na genetici mogao bi poslužiti kao tema na koju će Shannon primijeniti svoju algebarsku teoriju. Ako je Shannon mogao raditi prebacivanje kola, zašto ne bi mogao učiniti isto u genetici? Šenonova doktorska disertacija pod nazivom "Algebra za teorijsku genetiku" završena je u proleće 1940. godine. Shannon je doktorirala matematiku i magistrirala elektrotehniku. T. Fry, direktor matematike u Bell Laboratories, bio je impresioniran Šenonovim radom na simboličkoj logici i njegovim matematičkim razmišljanjem. U ljeto 1940. pozvao je Shannon da radi u Bellu. Tamo je Shannon, ispitujući sklopna kola, otkrio nova metoda njihova organizacija, omogućavajući smanjenje broja relejnih kontakata potrebnih za implementaciju bilo koje složene logičke funkcije. Objavio je rad pod naslovom "Organizacija dvopolnih sklopnih kola". Krajem 1940. Shannon je dobila Nacionalnu nagradu za istraživanje. U proljeće 1941. vratio se u Bell Laboratories. Sa izbijanjem rata, T. Fry je vodio rad na programu za sisteme upravljanja vatrom za protivvazdušnu odbranu. Shannon se pridružio ovoj grupi i radio na uređajima koji su mogli otkriti i ciljati neprijateljske avione. protivvazdušne instalacije.

AT&T, vlasnik Bell Laboratories, bio je vodeća svjetska komunikacijska kompanija, a naravno Bell Laboratories je također obavljao radove na komunikacijskim sistemima. Ovog puta Shannon se zainteresirala za elektronske poruke. Malo je toga razumio u ovoj oblasti, ali je vjerovao da matematika ima odgovore na većinu pitanja.

U početku, Shannon je sebi postavio jednostavan cilj: poboljšati proces prijenosa informacija preko telegrafskog ili telefonskog kanala pod utjecajem električnih smetnji ili buke. On je zaključio da najbolje rješenje nije u tehničkom poboljšanju komunikacijskih linija, već u efikasnijem pakovanju informacija.

Šta je informacija? Ostavljajući po strani pitanje sadržaja ovog koncepta, Shannon je pokazao da je to mjerljiva veličina: količina informacija sadržanih u datoj poruci funkcija je vjerovatnoće da će od svih mogućih poruka biti odabrana ova. Ukupni potencijal informacija u sistemu poruka nazvao je "entropijom". U termodinamici, ovaj koncept znači stepen slučajnosti (ili, ako želite, „mešovitosti“) sistema. (Šenon je jednom rekao da ga je da koristi koncept entropije savetovao matematičar Džon fon Nojman, koji je istakao da, pošto niko ne zna šta je to, Šenon će uvek imati prednost u sporovima oko njegove teorije.)

Shannon je osnovnu jedinicu informacija, kasnije nazvanu bit, definirao kao poruku koja predstavlja jednu od dvije opcije: na primjer, "glave" - ​​"repove", ili "da" - "ne". Bit se može predstaviti kao 1 ili 0, ili kao prisustvo ili odsustvo struje u kolu.

Na ovim matematičkim osnovama, Shannon je tada pokazao da svaki komunikacijski kanal ima svoj maksimalni kapacitet za pouzdan prijenos informacija. Zapravo, dokazao je da, iako je moguće pristupiti ovom maksimumu vještim kodiranjem, nemoguće ga je postići. Ovaj maksimum je postao poznat kao Šenonova granica.

Kako se može pristupiti Šenonovoj granici? Prvi korak je iskoristiti prednost redundantnosti koda. Baš kao što bi ljubavnik mogao sažeto napisati „volim te“ u svojoj ljubavnoj poruci, efektivnim kodiranjem možete sažeti informacije na najsmisleniji mogući način. kompaktan oblik. Korišćenjem posebne metode kodiranje koje omogućava ispravljanje grešaka može osigurati da poruka nije oštećena bukom.

Šenonove ideje bile su previše vizionarske da bi imale trenutni praktičan efekat. Kola vakuumskih cijevi jednostavno još nisu mogla izračunati složene kodove potrebne za približavanje Šenonovoj granici. U stvari, tek početkom 1970-ih, sa pojavom brzih integrisanih kola, inženjeri su počeli da u potpunosti koriste teoriju informacija.

Claude Shannon iznio je sve svoje misli i ideje vezane za novu nauku o teoriji informacija u monografiji “Matematička teorija komunikacija”, objavljenoj 1948.

Teorija informacija je, pored komunikacija, prodrla i u druga područja, uključujući lingvistiku, psihologiju, ekonomiju, biologiju, pa čak i umjetnost. U prilog tome navedimo, na primjer, jednu činjenicu: ranih 70-ih, u časopisu “IEEE Transactions on Information Theory” objavljen je uvodnik pod naslovom “Teorija informacija, fotosinteza i religija”. Sa stanovišta samog Šenona, primena teorije informacija na biološke sisteme nije nimalo neprikladna, jer, po njegovom mišljenju, osnova mehaničkih i živih sistema leži opšti principi. Na pitanje da li mašina može da misli, on odgovara: "Naravno, da. Ja sam mašina, a ti si mašina, a mi oboje mislimo, zar ne?"

U stvari, Shannon je bio jedan od prvih inženjera koji je predložio da se mašine mogu programirati da igraju karte i rješavaju druge složene probleme.

Godine 1948. objavio je djelo “Programiranje kompjutera za igranje šaha”. Ranije nije bilo sličnih publikacija na ovu temu, i to one koju je kreirala Shannon šahovski program bila je osnova za kasniji razvoj i prvo dostignuće u oblasti veštačke inteligencije. Godine 1950. izumio je mehaničkog miša Tezeja, koji je, kada ga kontroliše magnet i složeno električno kolo skriveno ispod poda, mogao pronaći izlaz iz lavirinta.

Napravio je mašinu koja „čita misli“ i igra „novčić“, igru ​​u kojoj jedan od igrača pokušava da pogodi da li je drugi igrač izabrao „glave“ ili „repove“. Šenonov kolega, takođe u Bell Laboratories, David W. Hagelbarger napravio je prototip; mašina je pamtila i analizirala redosled protivnikovih prošlih izbora, pokušavajući da u njima pronađe obrazac i na osnovu njega predvidi sledeći izbor.

Claude Shannon bio je jedan od organizatora prve konferencije o umjetnoj inteligenciji, održane 1956. u Dartmouthu. Godine 1965. po pozivu je posjetio Sovjetski Savez, gdje je održao niz predavanja o umjetnoj inteligenciji.

Godine 1958. Shannon je napustio Bell Laboratories i postao profesor na Massachusetts Institute of Technology. Nakon što se zvanično povukao 1978. godine, njegov najveći hobi postalo je žongliranje. Napravio je nekoliko mašina za žongliranje i razvio ono što bi se moglo nazvati jedinstvenom teorijom polja za žongliranje.

Od kasnih 1950-ih, Shannon je objavio vrlo malo radova o teoriji informacija. Neki od njegovih bivših kolega rekli su da je Shannon "izgorio" i umoran od vlastite teorije, ali je Shannon to negirao. „Većina velikih matematičara je napisala svoje najbolji radovi kada smo još bili mladi”, rekao je.

Godine 1985. Shannon i njegova supruga iznenada su odlučili prisustvovati Međunarodnom simpozijumu o teoriji informacija, održanom u engleskom gradu Brightonu. Dugi niz godina nije sudjelovao na konferencijama, a u početku ga niko nije primijetio. Tada su učesnici simpozijuma počeli da šapuću jedni drugima: skromni sedokosi gospodin koji je dolazio i odlazio iz sala gde su se čuli izveštaji bio je Claude Shannon. Na banketu, Shannon je rekla nekoliko riječi, malo žonglirala sa tri loptice i potpisala mnoge autograme inženjerima koji su bili poređani u dugačkom redu. Kao što se prisjetio jedan učesnik, "doživljavalo se kao da se Newton pojavio na konferenciji posvećenoj problemima u fizici."

Početkom marta 2001. godine, u 84. godini, nakon duge bolesti, umro je Claude Shannon. Kako su pisali sveprisutni novinari, čovjek koji je izmislio bit umro.

Godine života: 1916-2001

Izvor šifriranja postavlja maksimalno ograničenje kompresije podataka i numerička vrijednostŠenonova entropija.

©Claude Shannon

Biografija

Claude Shannon je rođen 30. aprila 1916. godine u Petocki, Michigan, SAD. Klod je prvih šesnaest godina svog života proveo u Gaylordu u Mičigenu, gde je 1932. godine završio srednju školu. srednja škola Gaylord. U mladosti je radio kao kurir za Western Union. Njegov otac je bio advokat, a neko vrijeme i sudija. Njegova majka je bila nastavnica stranog jezika, a kasnije je postala direktorica srednje škole Gaylord. Mladi Klod je bio zainteresovan za projektovanje mehaničkih i automatskih uređaja. Skupljao je modele aviona i radio kola, napravio radio-kontrolisani čamac i telegrafski sistem između kuće prijatelja i njegove kuće. Ponekad je morao da popravlja radio stanice za lokalnu robnu kuću. Thomas Edison je bio njegov daleki rođak.

Godine 1932. Shannon je upisan na Univerzitet u Mičigenu, gdje je pohađao kurs koji je ambicioznog naučnika upoznao sa radom Georgea Boolea. Godine 1936. Claude je diplomirao matematiku i elektrotehniku ​​na Univerzitetu u Mičigenu i otišao na Tehnološki institut u Masačusetsu (MIT), gde je radio kao asistent na Vannevar Bush diferencijalnom analizatoru, analognom računaru. Proučavajući složena, visoko specijalizirana električna kola diferencijalnog analizatora, Shannon je uvidjela da se Booleovi koncepti mogu dobro iskoristiti. Rad izveden iz njegove magistarske teze iz 1937. godine, "Simbolička analiza releja i prekidača", objavio je 1938. Američki institut elektroinženjera. To je bio i razlog da je Shannon 1940. dobio nagradu Alfred Nobel od strane američkog instituta elektroinženjera. Digitalna kola su osnova modernog kompjuterska tehnologija Stoga su rezultati njegovog rada među najvažnijim naučnim rezultatima dvadesetog veka. Howard Gardner iz Univerzitet Harvard opisao Šenonovo delo kao "možda najvažnije, kao i najpoznatije majstorsko delo veka".

Po Bushovom savjetu, Šenon je odlučio da nastavi doktorat iz matematike na MIT-u. Ideja za budući rad sišla je na pamet u ljeto 1939. godine, kada je radio u laboratoriji u Cold Spring Harboru (New York). Bush je imenovan za predsjednika Carnegie instituta u Washingtonu i pozvao Shannon da učestvuje u radu koji je Barbara Burks radila na genetici. Upravo je genetika, prema Bushu, mogla poslužiti kao predmet Šenoninih napora. Šenonova doktorska disertacija pod nazivom "Algebra za teorijsku genetiku" završena je u proleće 1940. godine. Shannon je doktorirala matematiku i magistrirala elektrotehniku.

U periodu od 1941. do 1956. Shannon predaje na Univerzitetu Michigan i radi u Bell Labs. U Bellovom laboratoriju, Shannon, dok istražuje sklopna kola, otkriva novu metodu njihovog organiziranja koja smanjuje broj relejnih kontakata potrebnih za implementaciju složenih logičkih funkcija. Objavio je rad pod naslovom "Organizacija dvopolnih sklopnih kola". Shannon je radio na problemima stvaranja sklopnih kola, razvijajući metodu koju je prvi pominjao von Neumann koja je omogućila stvaranje strujnih kola koja su bila pouzdanija od releja od kojih su sastavljena. Krajem 1940. Shannon je dobila Nacionalnu nagradu za istraživanje. U proljeće 1941. vratio se u Bell. Sa izbijanjem Drugog svetskog rata, T. Fry je vodio rad na programu za sisteme za upravljanje vatrom za protivvazdušnu odbranu. Shannon se pridružio Fryovoj grupi i radio na uređajima koji su otkrivali neprijateljske avione i ciljali protuavionske topove, a razvio je i kriptografske sisteme, uključujući vladine komunikacije, koji su osiguravali pregovore između Čerčila i Ruzvelta preko okeana. Kako je sam Shannon rekao, rad na polju kriptografije ga je potaknuo na stvaranje teorije informacija.

Od 1950. do 1956. Shannon je bio uključen u stvaranje logičkih mašina, čime je nastavio nastojanja von Neumanna i Turinga. Stvorio je mašinu koja je mogla igrati šah mnogo prije nego što je stvoren Deep Blue. Godine 1952. Shannon je stvorio mašinu za rješavanje lavirinta.

Shannon se penzionisao sa pedeset godina, 1966. godine, ali je nastavio da se konsultuje za Bell Labs. 1985. Claude Shannon i njegova supruga Betty prisustvuju Međunarodnom simpozijumu o teoriji informacija u Brightonu. Shannon dugo nije prisustvovao međunarodnim konferencijama, a u početku ga nisu ni prepoznali. Na banketu je Claude Shannon održao kratak govor, žonglirao sa samo tri loptice, a zatim podijelio stotine i stotine autograma zadivljenim naučnicima i inženjerima koji su stajali u dugom redu, osjećajući strahopoštovanje prema velikom naučniku, upoređujući ga sa Sirom. Isaac Newton.

Bio je programer prve industrijske igračke sa radio-kontrolom, koja je proizvedena 50-ih godina u Japanu (fotografija). Razvio je i uređaj koji je mogao savijati Rubikovu kocku (fotografija), mini kompjuter za društvenu igru ​​Hex, koja je uvijek pobjeđivala protivnika (fotografija), mehanički miš koji je mogao pronaći izlaz iz lavirinta (fotografija). Realizovao je i ideju o strip mašini "Ultimate Machine" (fotografija).

Teorija komunikacije u tajni sistemi Oh

Šenonov rad "Teorija komunikacije u tajnim sistemima" (1945), klasifikovan kao "tajna", sa kojeg je skinuta poverljivost i objavljen tek 1949. godine, poslužio je kao početak opsežnog istraživanja u teoriji kodiranja i prenosa informacija, a u opšteg mišljenja, dao je kriptografiji status nauke. Claude Shannon je bio taj koji je prvi počeo proučavati korištenje kriptografije naučni pristup. U ovom članku Shannon je definirao temeljne koncepte teorije kriptografije, bez kojih kriptografija više nije zamisliva. Šenonova značajna zasluga je istraživanje apsolutno sigurnih sistema i dokaz njihovog postojanja, kao i postojanja kriptografski jakih šifara i uslova potrebnih za to. Shannon je također formulirao osnovne zahtjeve za jake šifre. Uveo je sada poznate koncepte raspršivanja i miješanja, kao i metode za kreiranje kriptografski jakih sistema šifriranja zasnovanih na jednostavnim operacijama. Ovaj članak je početna tačka za proučavanje nauke o kriptografiji.

Članak "Matematička teorija komunikacije"

Članak "Matematička teorija komunikacije" objavljen je 1948. godine i učinio je Claudea Shanona svjetski poznatim. U njemu je Shannon iznio svoje ideje, koje su kasnije postale osnova modernih teorija i tehnika za obradu, prijenos i pohranjivanje informacija. Rezultati njegovog rada u oblasti prenosa informacija komunikacijskim kanalima pokrenuli su veliki broj studija širom sveta. Shannon je generalizirala Hartleyeve ideje i uvela koncept informacija sadržanih u prenesenim porukama. Kao mjeru informacija prenesene poruke, Hartley je predložio korištenje logaritamske funkcije. Shannon je bio prvi koji je razmatrao prenesene poruke i šum u komunikacijskim kanalima sa statističke tačke gledišta, uzimajući u obzir i konačne i kontinuirane skupove poruka. Teorija informacija koju je razvio Shannon pomogla je u rješavanju glavnih problema povezanih s prijenosom poruka, a to su: eliminacija suvišnosti poslanih poruka, kodiranje i prijenos poruka preko komunikacijskih kanala sa šumom.

Rješavanje problema redundancije poruke koja se prenosi omogućava najefikasnije korištenje komunikacijskog kanala. Na primjer, moderne, široko korištene metode za smanjenje redundancije u televizijskim sistemima emitiranja danas omogućavaju prijenos do šest digitalnih komercijalnih televizijskih programa u frekvencijskom opsegu koji zauzima konvencionalni analogni televizijski signal.

Rješavanje problema prijenosa poruke preko komunikacijskih kanala sa šumom za dati omjer snage korisnog signala i snage signala smetnje na lokaciji prijema omogućava prijenos poruka preko komunikacijskog kanala sa proizvoljno malom vjerovatnoćom pogrešne prijenos poruke. Takođe, ovaj odnos određuje kapacitet kanala. To se osigurava upotrebom kodova koji su otporni na smetnje, a brzina prijenosa poruke preko ovog kanala mora biti niža od nje. propusni opseg.

U svojim radovima, Shannon je dokazao fundamentalnu mogućnost rješavanja identificiranih problema, to je bila prava senzacija u naučnim krugovima kasnih 40-ih godina. Ovaj rad, kao i radovi koji su ispitivali potencijalnu otpornost na buku, dali su povod za veliki broj studija koje traju do danas, više od pola veka. Naučnici iz SSSR-a i SAD (SSSR - Pinsker (engleski) Rus, Khinčin, Dobrušin, Kolmogorov; SAD - Gallagher (engleski) ruski, Wolfowitz (engleski) ruski, Feinstein) dali su striktno tumačenje teorije koju je iznio Shannon.

Danas su svi digitalni komunikacioni sistemi dizajnirani na osnovu osnovnih principa i zakona prenosa informacija koje je razvio Shannon. Prema teoriji informacija, redundantnost se prvo uklanja iz poruke, zatim se informacija kodira pomoću kodova koji su otporni na smetnje, a tek onda se poruka kanalom prenosi do potrošača. Zahvaljujući teoriji informacija, redundantnost televizijskih, glasovnih i faks poruka je značajno smanjena.

Velika količina istraživanja posvećena je kreiranju kodova koji su otporni na smetnje i jednostavne metode dekodiranje poruka. Istraživanja sprovedena u proteklih pedeset godina formirala su osnovu za ITU preporuku o primeni kodiranja otpornog na buku i metoda izvornog kodiranja u modernim digitalnim sistemima.

Teorema o kapacitetu kanala.

Svaki kanal sa šumom karakteriše maksimalna brzina prenosa informacija, ovo ograničenje je nazvano po Šenonu. Prilikom prijenosa informacija brzinama koje prelaze ovu granicu, dolazi do neizbježnog izobličenja podataka, ali se odozdo ovoj granici može pristupiti s potrebnom preciznošću, osiguravajući proizvoljno malu vjerovatnoću greške u prijenosu informacija u bučnom kanalu.

Šenonove teoreme

• Direktne i inverzne Šenonove teoreme za izvor opšteg oblika - o vezi između entropije izvora i srednje dužine poruke.
• Direktne i inverzne Shanonove teoreme za izvor bez memorije - o odnosu između entropije izvora i dostižnog stupnja kompresije korištenjem kodiranja s gubicima i naknadnog dvosmislenog dekodiranja.
• Šenonove direktne i inverzne teoreme za kanal sa šumom odnose se na odnos između kapaciteta kanala i postojanja koda koji se može koristiti za prenos sa greškom koja teži nuli (kako se dužina bloka povećava).
• Nyquist-Shannon teorema (u literaturi na ruskom jeziku - Kotelnikova teorema) govori o nedvosmislenoj rekonstrukciji signala iz njegovih diskretnih uzoraka.
• Šenonov teorem o izvoru šifrovanja (ili teorem tihog šifrovanja) postavlja ograničenje za maksimalnu kompresiju podataka i numeričku vrednost za Šenonovu entropiju.
• Shannon-Hartleyeva teorema

Godine 1936., diplomac Univerziteta u Mičigenu, Claude Shannon, tada star 21 godinu, uspio je premostiti jaz između algebarske teorije logike i njene praktične primjene.
Šenon, sa dve diplome iz elektrotehnike i matematike, radio je kao operater nezgrapnog mehaničkog računarskog uređaja zvanog "diferencijalni analizator", koji je Šenonov supervizor, profesor Vaniver Buš, napravio 1930. godine. Kao temu teze, Bush je predložio da Shannon proučava logičku organizaciju svoje mašine. Postepeno, Shannon je počela razvijati obrise kompjutera. Ako gradite električna kola Prema principima Bulove algebre, mogli su da izražavaju logičke odnose, utvrđuju istinitost iskaza i vrše složena izračunavanja.

Električna kola bi očito bila mnogo zgodnija od zupčanika i valjaka koji su izdašno podmazani mašinskim uljem u "diferencijalnom analizatoru". Shannon je razvio svoje ideje o odnosu između binarnog računa, Booleove algebre i električnih kola u svojoj doktorskoj disertaciji objavljenoj 1938.

Godine 1941. 25-godišnji Claude Shannon otišao je da radi u Bell Laboratories, gdje je, između ostalog, postao poznat po vožnji monociklom kroz hodnike laboratorije dok je žonglirao lopticama.

U to vrijeme, primjena metoda engleskog naučnika Georgea Boolea (1815-1864) na tehnologiju, koji je 1847. objavio rad s karakterističnim naslovom „Matematička analiza logike, koji je eksperiment u računici deduktivnog zaključivanja, ” je bio gotovo revolucionaran. Sam Shannon je na ovo samo skromno primijetio: „Desilo se da niko drugi nije bio upoznat sa oba područja u isto vrijeme.“

Još jedno djelo velike vrijednosti je komunikacijska teorija sistema tajnosti (1949), koja formuliše matematičke osnove kriptografije.

Tokom rata razvio je kriptografske sisteme, a to mu je kasnije pomoglo da otkrije metode kodiranja za ispravljanje grešaka. Inače, istih četrdesetih, Shannon se, na primjer, bavio konstrukcijom letećeg diska na raketnom motoru. U isto vrijeme, Claude Elwood Shannon je počeo razvijati ideje koje su kasnije bile osnova teorije informacija koja ga je učinila poznatim. Šenonov cilj je bio da optimizuje prenos informacija preko telefonskih i telegrafskih linija. A da bi riješio ovaj problem, morao je da formuliše šta je informacija i kako se određuje njena količina. U svojim radovima iz 1948-49. definisao je količinu informacija kroz entropiju - veličinu poznatu u termodinamici i statističkoj fizici kao mjeru neuređenosti sistema, a kao jedinicu informacije uzeo je ono što je kasnije nazvano "bit “, odnosno izbor jedne od dvije jednako vjerovatne opcije.

Od 1956. - član Nacionalna akademija nauke SAD-a i Američke akademije umjetnosti i znanosti.

U svojim radovima, Claude Shannon je definisao količinu informacija kroz entropiju - veličinu poznatu u termodinamici i statističkoj fizici kao mjeru neuređenosti sistema, a kao jedinicu informacije uzeo je ono što je kasnije nazvano "bit", tj. , izbor jedne od dvije jednako vjerovatne opcije. Na čvrstoj osnovi svoje definicije količine informacija, Claude Shannon je dokazao nevjerovatnu teoremu o kapacitetu bučnih komunikacijskih kanala. Ova teorema je u cijelosti objavljena u njegovim radovima 1957-1961. i sada nosi njegovo ime. Šta je suština Šenonove teoreme? Svaki bučni komunikacioni kanal karakteriše njegova maksimalna brzina prenosa informacija, nazvana Šenonova granica. Pri brzinama prijenosa iznad ove granice, greške u prenesenim informacijama su neizbježne. Ali odozdo, ovoj granici se može prići koliko god se želi, dajući odgovarajućim kodiranjem informacija proizvoljno malu vjerovatnoću greške za bilo koji kanal sa šumom. Osim toga, Shannon se neumorno bavio raznim projektima: od konstruiranja elektronskog miša sposobnog da pronađe izlaz iz lavirinta, do konstruiranja strojeva za žongliranje i stvaranja teorije žongliranja, što mu, međutim, nije pomoglo da obori svoj lični rekord - žongliranje sa četiri loptice.

Claude Elwood Shannon bio je poznati američki inženjer i matematičar. Njegovi radovi spajaju vezu matematičkih ideja sa analizom vrlo složenog procesa njihove tehničke implementacije. Claude Shannon je poznat prvenstveno po svom razvoju teorije informacija, koja služi kao osnova za moderne visokotehnološke komunikacijske sisteme. Shannon je dao ogroman doprinos brojnim naukama koje su uključene u koncept "kibernetike" - stvorio je teoriju vjerovatnoće kola, teoriju automata i upravljačkih sistema.

Claude Shannon - stvaranje inženjerskog genija

Claude Shannon je rođen 1916. godine u Gaylordu, Michigan, SAD. Tehnički projekti, kao i zajednica matematički procesi, zainteresovao ga za ranih godina. Sve tvoje slobodno vrijeme rješavao je matematičke probleme i petljao s radio aparatima i detektorskim prijemnicima.

Nije iznenađujuće što je kao student na Univerzitetu u Mičigenu, Šenon dva puta diplomirao matematiku i elektrotehniku. Zahvaljujući visokom stepenu obrazovanja i različitim interesovanjima, Shannon je prvi veliki uspjeh postigao dok je studirao kao postdiplomski student na Massachusetts Institute of Technology. Tada je uspio dokazati da se rad električnih kola releja i prekidača može predstaviti kroz algebru. Za ovo najveće otkriće Claude Shannon dobio je Nobelovu nagradu. Razlog svog zapanjujućeg uspjeha objasnio je prilično skromno: "Samo niko prije mene nije studirao matematiku i elektrotehniku ​​u isto vrijeme."

Shannon i kriptografija

Godine 1941. Shannon je postao zaposlenik Bell Laboratories, gdje je njegov glavni zadatak bio razvoj složenih kriptografskih sistema. Ovaj rad mu je omogućio da kreira metode kodiranja sa mogućnostima ispravljanja grešaka.

Claude Shannon je prvi pristupio proučavanju kriptografije naučna tačka viziju, objavljujući članak 1949. pod naslovom “Teorija komunikacija u tajnim sistemima”. Ovaj članak se sastojao od tri dijela. Prvi dio je sadržavao osnovne matematičke strukture tajnih sistema, drugi je otkrio probleme “teorijske tajnosti”, a treći je pokrivao koncept “praktične tajnosti”. Dakle, Šenonovo glavno dostignuće u kriptografiji je bilo detaljno istraživanje koncept apsolutne tajnosti sistema, u kojem je dokazao činjenicu postojanja i neophodni uslovi za postojanje apsolutno jakih, neraskidivih šifri.

Claude Shannon je prvi formulisao teorijske osnove kriptografije i otkrila suštinu mnogih koncepata bez kojih kriptografija kao nauka ne bi postojala.

Osnivač informatike

U nekom trenutku svoje karijere, Claude Shannon je sebi postavio zadatak poboljšanja prijenosa informacija putem telefonskih i telegrafskih kanala, na koje utječe električni šum. Tada je naučnik to otkrio najbolje rješenje Ovaj problem će se riješiti efikasnijim “pakovanjem” informacija. Međutim, prije nego što je započeo istraživanje, morao je odgovoriti na pitanje šta je informacija i kako izmjeriti njenu količinu. Godine 1948, u članku “Matematička teorija komunikacije” opisao je definiciju količine informacija u terminima entropije, veličine poznate u termodinamici kao mjera neuređenosti sistema, a najmanju jedinicu informacije nazvao je "bit."

Kasnije, na osnovu svojih definicija količine informacija, Shannon je uspio dokazati genijalnu teoremu o kapacitetu bučnih komunikacijskih kanala. Tokom godina svog razvoja, teorema nije našla praktičnu primenu, već u savremeni svet mikrokola velike brzine, pronalazi primjenu gdje god se informacije pohranjuju, obrađuju ili prenose.

Gotovo savremeno

Doprinos Claudea Shanona nauci i njegovi rezultati teško se mogu precijeniti, jer bez njegovih otkrića postojanje bi postalo nemoguće kompjuterska oprema, internet i cijeli digitalni prostor. Pored teorija koje su postavile temelje za razvoj informacionih tehnologija, sjajni inženjer i matematičar dao je doprinos i razvoju mnogih drugih oblasti. Bio je jedan od prvih koji je dokazao da mašine nisu samo sposobne da obavljaju intelektualni rad, već i da uče. Godine 1950. izumio je mehaničkog radio-kontroliranog miša, koji je zahvaljujući svom kompleksu elektronsko kolo mogla sama da pronađe put do laboratorije. Postao je i autor uređaja koji je mogao savijati Rubikovu kocku, a također je izumio Hex, elektronski uređaj za društvene igre, koja je uvijek pobjeđivala svoje rivale.

Briljantni naučnik i pronalazač preminuo je u 84. godini 2001. od Alchajmerove bolesti u staračkom domu u Masačusetsu.