Entropia e informacionit

Në teorinë e informacionit, entropia e një ndryshoreje të rastit është niveli mesatar i "informacionit", "befasisë" ose "pasigurisë" i natyrshëm për rezultatet e mundshme të ndryshores. Jepet një ndryshore e rastit diskrete ${\displaystyle X}$, e cila merr vlera në bashkësinë ${\displaystyle {\mathcal {X}}}$ dhe shpërndahet sipas ${\displaystyle p\colon {\mathcal {X}}\to [0,1]}$ :$${\displaystyle \mathrm {H} (X):=-\sum _{x\in {\mathcal {X}}}p(x)\log p(x)=\mathbb {E} [-\log p(X)],}$$ku ${\displaystyle \Sigma }$ tregon shumën mbi vlerat e mundshme të ndryshores. Zgjedhja e bazës për ${\displaystyle \log }$, logaritmi, ndryshon për zbatime të ndryshme. Baza 2 jep njësinë e biteve (ose " shannons "), ndërsa baza e jep "njësi natyrore" nat, dhe baza 10 jep njësi "dits", "bans" ose " hartleys ". Një përkufizim i njëvlershëm i entropisë është vlera e pritur e vetë-informimit të një ndryshoreje. ^[1]

Koncepti i entropisë së informacionit u prezantua nga Claude Shannon në punimin e tij të vitit 1948 " A Mathematical Teory of Communication ", ^{[2] [3]} dhe referohet gjithashtu si entropia Shannon .

Entropia në teorinë e informacionit është drejtpërdrejt analoge me entropinë në termodinamikën statistikore . Analogjia rezulton kur vlerat e ndryshores së rastësishme përcaktojnë energjitë e mikrogjendjeve, kështu që formula e Gibbs-it për entropinë është zyrtarisht identike me formulën e Shannon-it. Entropia ka lidhje me fusha të tjera të matematikës si kombinatorika dhe mësimi makinerik . Përkufizimi mund të rrjedhë nga një grup aksiomash që vërtetojnë se entropia duhet të jetë një masë se sa informative është rezultati mesatar i një ndryshoreje. Për një ndryshore të rastit të vazhdueshme, entropia diferenciale është analoge me entropinë.

I emëruar sipas teoremës Η të Boltzmann-it, Shannon përcaktoi entropinë ${\displaystyle H}$ (gërma e madhe greke eta ) të një ndryshoreje diskrete tërastit. ${\textstyle X}$, e cila merr vlera në alfabet ${\displaystyle {\mathcal {X}}}$ dhe shpërndahet sipas ${\displaystyle p:{\mathcal {X}}\to [0,1]}$ sikurse ${\displaystyle p(x):=\mathbb {P} [X=x]}$ :$${\displaystyle \mathrm {H} (X)=\mathbb {E} [\operatorname {I} (X)]=\mathbb {E} [-\log p(X)].}$$Këtu ${\displaystyle \mathbb {E} }$ është operatori i pritjes matematike, dhe I është përmbajtja e informacionit të ${\displaystyle X}$ ^{[4] :11[5] :19–20}${\displaystyle \operatorname {I} (X)}$ është në vetvete një ndryshore e rastit.

Entropia mund të shkruhet shprehimisht si:$${\displaystyle \mathrm {H} (X)=-\sum _{x\in {\mathcal {X}}}p(x)\log _{b}p(x),}$$Mund të përcaktohet gjithashtu entropia e kushtëzuar e dy ndryshoreve ${\displaystyle X}$ dhe ${\displaystyle Y}$ duke marrë vlera nga bashkësitë ${\displaystyle {\mathcal {X}}}$ dhe ${\displaystyle {\mathcal {Y}}}$ përkatësisht, si: ^{[6] :16}$${\displaystyle \mathrm {H} (X|Y)=-\sum _{x,y\in {\mathcal {X}}\times {\mathcal {Y}}}p_{X,Y}(x,y)\log {\frac {p_{X,Y}(x,y)}{p_{Y}(y)}},}$$ku ${\displaystyle p_{X,Y}(x,y):=\mathbb {P} [X=x,Y=y]}$ dhe ${\displaystyle p_{Y}(y)=\mathbb {P} [Y=y]}$ . Kjo madhësi duhet të kuptohet si rastësia e mbetur në ndryshoren e rastit ${\displaystyle X}$ duke pasur parasysh ndryshoren e rastit ${\displaystyle Y}$ .

Merrni parasysh hedhjen e një monedhe me probabilitete të njohura, jo domosdoshmërisht të ndershme, për të dalë kokë ose pil; ky mund të modelohet si një proces Bernoulli .

Entropia e rezultatit të panjohur të hedhjes tjetër të monedhës maksimizohet nëse monedha është e ndershme (d.m.th., nëse koka dhe pili kanë të dyja probabilitet të barabartë 1/2). Kjo është situata e pasigurisë maksimale pasi është më e vështirë të parashikohet rezultati i hedhjes së radhës; rezultati i çdo hedhjeje të monedhës jep një pjesë të plotë të informacionit. Kjo është për shkak se$${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-\sum _{i=1}^{n}{p(x_{i})\log _{b}p(x_{i})}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\log _{2}{\frac {1}{2}}}\\&=-\sum _{i=1}^{2}{{\frac {1}{2}}\cdot (-1)}=1\end{aligned}}}$$Megjithatë, nëse e dimë se monedha nuk është e drejtë, por del lart ose bisht me probabilitete p dhe q, ku p ≠ q, atëherë ka më pak pasiguri. Sa herë që hidhet, njëra anë ka më shumë gjasa të dalë lart se tjetra. Pasiguria e reduktuar matet në një entropi më të ulët: mesatarisht çdo hedhje e monedhës jep më pak se një pjesë të plotë të informacionit. Për shembull, nëse p = 0.7, atëherë$${\displaystyle {\begin{aligned}\mathrm {H} (X)&=-p\log _{2}(p)-q\log _{2}(q)\\&=-0.7\log _{2}(0.7)-0.3\log _{2}(0.3)\\&\approx -0.7\cdot (-0.515)-0.3\cdot (-1.737)\\&=0.8816<1\end{aligned}}}$$

1. ^ Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (bot. Third). Academic Press. fq. 51. ISBN 978-0123821881. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
2. ^ Shannon, Claude E. (korrik 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. {{cite journal}}: |hdl-access= ka nevojë për |hdl= (Ndihmë!); Mungon ose është bosh parametri |language= (Ndihmë!) (PDF, archived from here)
3. ^ Shannon, Claude E. (tetor 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (4): 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. {{cite journal}}: |hdl-access= ka nevojë për |hdl= (Ndihmë!); Mungon ose është bosh parametri |language= (Ndihmë!) (PDF, archived from here)
4. ^ Borda, Monica (2011). Fundamentals in Information Theory and Coding. Springer. ISBN 978-3-642-20346-6. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
5. ^ Han, Te Sun; Kobayashi, Kingo (2002). Mathematics of Information and Coding. American Mathematical Society. ISBN 978-0-8218-4256-0. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
6. ^ ^{a b} Thomas M. Cover; Joy A. Thomas (1991). Elements of Information Theory. Hoboken, New Jersey: Wiley. ISBN 978-0-471-24195-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!) Gabim referencash: Invalid <ref> tag; name "cover1991" defined multiple times with different content