Redundans (informasjonsteori)

i beskrivelsen av redundans av rådata er frekvensen av en informasjonskilde gjennomsnittlig entropi per symbol. For memoryless kilder er dette bare entropien til hvert symbol, mens i det mest generelle tilfellet av en stokastisk prosess er det

r = lim n → ∞ 1 n H (M 1 , M 2 , … M N), {\displaystyle r = \lim _ {n\til \infty} {\frac {1} {n}} H(M_ {1}, M_ {2}, \ dots m_ {n}),}

r = \ lim _{{n \ til \ infty }} {\frac {1}{n}}H (M_{1}, m_{2}, \ prikker M_{n}),

i grensen, som n går til uendelig, av felles entropi av de første n symbolene delt med n.det er vanlig i informasjonsteori å snakke om «rate» eller «entropi» av et språk. Dette er hensiktsmessig, for eksempel når kilden til informasjon er engelsk prosa. Frekvensen til en minneløs kilde er ganske Enkelt H ( M) {\displaystyle H (M)}

H (M)

, siden det per definisjon ikke er noen gjensidig avhengighet av de påfølgende meldingene til en minneløs kilde.

den absolutte frekvensen av et språk eller kilde er ganske enkelt

r = log ⁡ | M/, {\displaystyle R=\log / \ mathbb {M} |,\,}

R = \ log / {\mathbb M}|,\,

logaritmen til kardinaliteten til meldingsrommet, eller alfabetet. (Denne formelen kalles Noen ganger Hartley-funksjonen.) Dette er den maksimale mengden informasjon som kan overføres med det alfabetet. (Logaritmen skal tas til en base som passer for måleenheten i bruk.) Den absolutte satsen er lik den faktiske satsen hvis kilden er memoryless og har en jevn fordeling.

den absolutte redundansen kan da defineres som

D = R-r, {\displaystyle D=R-r,\,}

D=R-r,\,

forskjellen mellom absolutt rente og rente.

mengden D r {\displaystyle {\frac {D}{R}}}

{\frac dr}

kalles relativ redundans og gir maksimalt mulig datakomprimeringsforhold, når det uttrykkes som prosentandelen som en filstørrelse kan reduseres med. (Når det uttrykkes som et forhold mellom originalfilstørrelse og komprimert filstørrelse, gir mengden R : r {\displaystyle r:r}

R:r

det maksimale komprimeringsforholdet som kan oppnås.) Komplementær til begrepet relativ redundans er effektivitet, definert som r R, {\displaystyle {\frac {r}{R}},}

{\frac rR},

slik at r R + D R = 1 {\displaystyle {\frac {r}{R}}+{\frac {D}{R}}=1}

{\frac rr} + {\frac DR}=1

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert.