A nagy eltéréseknek van információ-elméleti vonatkozása is. A szerzők Cramér szabályából kiindulva bizonyítják be az Asszimptotikus Ekvipartíciós Tulajdonságot. Ennek lényege, hogy a sztohasztikus forrás által generált karaktersorozatok lehetnek ugyan sokfélék, de jellemzően a karaktersorozatok egy szűk halmazából fognak kikerülni.

Ennek bizonyítására egy olyan példából indulnak ki, ahol egy nyelv szövegei az a1...ar karakterekből állnak. Feltételezik, hogy a nyelvben nincsenek jellemző karakterláncok, minden karakterlánc olyan gyakorisággal fordul elő, mint ami a karaktereinek együttes előfordulási valószínűsége - az egyes karakterek p1...pr előfordulási valószínűsége a nyelv ismert jellemzője. A nyelv n hosszúságú szövegei tehát n független és egyforma eloszlású valószínűségi változó sorozataként fogható fel.

Shannon észrevétele arra vonatkozott, hogy n növelésével a nem olyan gyakori karakterekből álló szövegek előfordulásának relatív gyakorisága exponenciálisan csökken. Ezt mondja ki az Asszimptotikus Ekvipartíciós Tulajdonság. Shannon azt is megfigyelte, hogy a csökkenés mértéke függött a karakterek előfordulási valószínűségének eloszlásától. Ennek mérésére bevezette a Shannon Entrópiát. Ezen entrópia mértéke akkor a legnagyobb, ha a karakterek egyforma valószínűséggel fordulnak elő.

Hogy a tételt visszavezethessék a nagy eltérések elméletére, a szerzők a következő jelöléseket definiálták. Az Xi valószínűségi változó az n hosszúságú szövegek i. karaktere. Bevezettek egy dirac mértéket is a karakterekhez, és az empirikus disztribúciót, melyet Ln-nel jelöltek. Az empirikus disztribúció képletében egyetlen karaktert helyettesítve be a B halmaz helyére a karakter relatív előfordulását kapjuk az adott w szövegben

// Itt elvesztettem a fonalat, ahogy a szerzők a Sanov tételhez bevezették az M(A) valószínűségi mértéket., és az alfa függvényt.

A bejegyzés trackback címe:

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.