Informationstheoretische Aspekte digitaler Kommunikationssysteme

Digitale Kommunikationssysteme sind dadurch gekennzeichnet, dass die Nachricht sendeseitig als Folge digitaler Symbole, als sog. Datensignal, dargestellt wird und somit ein digitales Übertragungssystem anwendbar ist. Analoge Nachrichten sind hierfür zu digitalisieren, vgl. Digitalisierung analoger Nachrichtensignale.

Nachrichtenfluss .

Anmerkung: Für den Nachrichtenfluss sind auch die Bezeichnungen Datenrate und besonders im Umfeld der Informatik Bandbreite üblich. Der Gebrauch des Begriffs Bandbreite ist in diesem Zusammenhang jedoch leider sehr unglücklich und widersprüchlich. Er sollte unbedingt vermieden werden, da eine ständige Verwechslung mit der richtigen Bedeutung von Bandbreite unvermeidbar ist. Bandbreite bezeichnet in der Elektro- und Informationstechnik seit deren Entstehung eindeutig die (einseitige) Breite eines Intervalls auf der Frequenzachse, innerhalb dessen das Fourierspektrum einer Zeitfunktion (z.B. eines Nachrichtensignals) wesentlich von Null verschiedene Anteile besitzt. Die Bandbreite des Nachrichtensignals, das einen vorgegebenen Nachrichtenfluss repräsentieren soll, ist im Prinzip völlig frei wählbar. Sie beeinflusst jedoch die Resistenz der digitalen Übertragung gegenüber Störung. In der Informationstheorie wurden diese prinzipiellen Zusammenhänge zwischen Nachrichtenfluss, (Signal-) Bandbreite und Störresistenz bereits 1948 von Claude E. Shannon endgültig geklärt. (Wesentliche Zusammenhänge zwischen Nachrichtenfluss und Bandbreite wurden bereits 1924 von Küpfmüller und 1928 von Nyquist erkannt!) Shannon selbst verwendete den Begriff Bandbreite sehr allgemein für die Zahl der Dimensionen eines Signalraums. Dafür wurde später der Begriff Shannon-bandwidth geprägt.

Audiosignal:

zeitlicher Verlauf des Schalldrucks bzw. der elektrischen Ausgangsspannung eines Mikrofons

Videosignal:

elektrisches Ausgangssignal einer Videokamera

Prozesssignal:

zeitlicher Verlauf einer physikalischen Größe in einem Prozess, z.B. in einem industriellen Produktionsprozess, bzw. eines davon abgeleiteten Messsignals.

Beispiel: Speicherung von Schallsignalen (Musik) auf der Compact Disc (CD)

Zur Digitalisierung werden sendeseitig aus dem Nachrichtensignal in hinreichend kurzen Zeitabständen Proben entnommen. Diese Proben werden vermessen und die Messwerte als Zahlen mit begrenzter Genauigkeit (z.B. 0 bis 255) dargestellt. Die Zahlenfolge ergibt ein Datensignal.

Empfangsseitig werden aus den Zahlen entsprechende Signalwerte erzeugt, aus denen mittels Interpolation das analoge Nachrichtensignal zurück gewonnen wird.

Durch eine Beschränkung der Genauigkeit bei der numerischen Repräsentation der Messwerte entstehen kleine Fehler, das sogenannte Quantisierungsgeräusch. Werden genügend Binärsymbole zur Darstellung eines Messwertes verwendet, ist dieser Fehler jedoch nicht mehr wahrnehmbar.

Beispiel: Compact Disc:

16 Binärsymbole je Messwert, d.h. Zahlen von 0 bis 65535

Das Prinzip der Digitalisierung analoger Nachrichtensignale wurde 1937 von Reeves erfunden.

In der Informationstheorie wird bewiesen, dass durch eine Digitalisierung analoger Nachrichtensignale keinerlei Nachteile bezüglich der Informationsübertragung entstehen. Im Gegenteil, durch die Digitalisierung wird die Anwendbarkeit digitaler Übertragungssysteme erreicht, wodurch eine enorme Erhöhung der Effizienz der Übertragung ermöglicht wird.

Beispiel: Hörrundfunkübertragung im UKW-Bereich

Bei gleicher Signalbandbreite, gleicher Distanz des Empfängers vom Sender und gleichen Störungen genügt bei einer digitalen Hörrundfunkübertragung ca. der 1/5000 Teil der Sendeleistung, um die gleiche Qualität wie beim üblichen analogen Rundfunk mittels Frequenzmodulation zu erreichen. Bei Anwendung moderner Verfahren zur Quellen- und Kanalcodierung ist eine weitere drastische Reduktion der Sendeleistung möglich.

A) Punkt-zu-Punkt-Übertragung

Im Sender wird der Folge von digitalen Symbolen, dem Datensignal mit dem Nachrichtenfluss , ein wert- und zeitkontinuierlicher physikalischer Prozess als Sendesignal, das Nachrichtensignal, zugeordnet. Das Sendesignal kann beispielsweise ein Spannungs- oder Stromverlauf, ein moduliertes elektromagnetisches Feld (Funkübertragung, optische Übertragung), eine Magnetisierung oder eine mechanische Veränderung eines Substrats sein.

A. Binärsignal

B. Quaternärsignal

Das Beispiel B zeigt deutlich, dass Nachrichtensignale zur Repräsentation von Daten keineswegs zeit- und/oder wertdiskret zu sein brauchen. Vielmehr ist ein geglätteter Verlauf für eine hinreichende Bandbreiteneffizienz unerlässlich. Die Zuordnung des Nachrichtensignals zum Datensignal wird im allgemeinen dahingehend optimiert,

• dass ein Sendesignal möglichst geringer Leistung hinreichend ist, um trotz Signaldämpfung und -verzerrung, sowie der Überlagerung von Störungen bei Übertragung eine ausreichende Zuverlässigkeit erreicht wird.
• Leistungseffizienz

• dass das Sendesignal auf die zur Verfügung stehende Signalbandbreite B begrenzt ist.
• Bandbreiteneffizienz

• dass Sender und Empfänger bei tolerierbarer Komplexität echtzeitfähig implementierbar sind.
• Komplexitätseffizienz
 
• dass Unbefugte weder die Nachricht belauschen noch unter falschem Namen Nachrichten unterschreiben können, bzw. dass der Aufwand hierfür unangemessen hoch wäre.

Quellencodierung:

Die Quellencodierung dient der Reduktion des zu übertragenden Nachrichtenflusses durch Vermeidung von Redundanz und Irrelevanz.
Redundanzreduktion entspricht einer verlustlosen Quellencodierung, d.h. das originale Nachrichtensignal ist trotz einer Komprimierung des Datenstroms wieder unverfälscht herstellbar.
Irrelevanzreduktion stellt eine verlustbehaftete Quellencodierung dar, wobei jedoch die Senke (der Nachrichtenverbraucher) nicht im Stande ist, die Veränderung des Nachrichtensignals wahrzunehmen.
Durch eine Datenreduktion der Quellencodierung werden sowohl Bandbreiteneffizienz als auch Leistungseffizienz gesteigert, da bei gleicher Sendeleistung die mittlere (äquivalente) Energie je noch zu übertragendem Binärsymbol ansteigt.
 

Verschlüsselung (Kryptologische Codierung):

Mit Hilfe eines kryptologischen Verfahrens (Verschlüsselung) wird einerseits vemieden, dass Unbefugte die Nachrichtenübertragung belauschen können, und andererseits kann der Absender sicher authentisiert werden, es können also dem Empfänger keine irreführenden Nachrichten sich falsch ausweisender Absender untergeschoben werden. In der Informationstheorie werden sehr allgemein Bedingungen für die Sicherheit einer Nachrichtenübertragung gegen unfreundliche Attacken angegeben.
 

Kanalcodierung:

Die Kanalcodierung dient der Sicherung der Nachricht gegen Verfälschung durch Störungen mittels Einfügung von Redundanz, z.B. in Form von Prüfsymbolen in das Datensignal. Die Kanalcodierung ermöglicht somit vorrangig eine Erhöhung der Leistungseffizienz, wobei es gemäß den Theoremen der Informationstheorie unumgänglich ist, für eine sehr hohe Leistungseffizienz Verluste in der Bandbreiteneffizienz hinzunehmen.
 

Modulation:

Der Begriff Modulation umfasst sowohl den Vorgang der Repräsentation der vom Coder abgegebenen Codesymbole durch einen physikalischen Prozess (= Nachrichtensignal), als auch dessen Aufbereitung und Anpassung an das Übertragungsmedium (z.B. Frequenzumsetzung, Verstärkung usw.).

B) Punkt-zu-Mehrpunkt-Übertragung (Broadcast-System)

C) Mehrpunkt-zu-Mehrpunkt-Übertragung

Die Unsicherheit I(A) bezüglich des Eintretens eines Zufallsereignisses A wird dabei als negativer Logarithmus der Wahrscheinlichkeit Pr(A) quantitativ erfasst:
                                                      (1)
Üblicherweise wird der Logarithmus zur Basis 2 verwendet.

und dann die (Pseudo-)Einheit der Information bit (=binary digit) verwendet.

• Interpretation:
Die Wahrscheinlichkeit des Ereignisses A wird mit der Wahrscheinlichkeit für I(A) zweiwertige, gleichwahrscheinliche Zufallsereignisse verglichen.Ein Münzwurf mit den beiden gleichwahrscheinlichen Ergebnissen Zahl oder Wappen stellt beispielsweise ein solches zweiwertiges (=binäres) Zufallsexperiment dar. Ein Zufallsereignis A zu erraten, dessen Zurkenntnisnahme einen Informationsgewinn von I(A) bit bedeutet, ist damit gleichbedeutend wie I(A) aufeinanderfolgende Münzwürfe richtig vorherzusagen.

• Beispiel:
Die Wahrscheinlichkeit 6 richtige Zahlen aus 49 Zahlen fehlerfrei zu erraten (= 6 Richtige beim Lotto 6 aus 49) beträgt ca.
Pr (6 Richtige aus 49) = 1/13.980.000 = 0,000000072
Der Informationsgewinn, über dieses freudige Ereignis in Kenntnis gesetzt zu werden, beträgt damit
I (6 Richtige aus 49) = 23,74 bit
Dieses Beispiel verdeutlicht auch, dass in diesem Informationsmaß die Wirkung einer Information auf deren Konsumenten nicht erfasst wird.

Trotz der Unzuverlässigkeit des Übertragungssystems kann durch Beobachtung der Variablen Y die Unsicherheit bezüglich des Ergebnisses des Zufallsexperiments, also bzgl. der Variablen X, verringert werden.

Informationsgewinn:
      (2)
Wichtiger Satz:
Im statistischen Mittel, also im Mittel über viele Nachrichtenübertragungen, kann der mittlere Informationsgewinn durch Nutzung eines Nachrichtenübertragungssystems nicht negativ sein. Die im Mittel übertragene Information ist auch nur dann Null, wenn die Ausgangsvariable Y völlig unabhängig von der Eingangsvariablen X ist.

• Anwendungsbeispiel:
Das unzuverlässige Nachrichtenübertragungssystem sei das Propagandaministerium einer totalitären Regierung, das versucht, tatsächliche Ereignisse X nur verfälscht als Y an die Bürger weiterzugeben. Langfristig kann es gemäß dem obigen Satz dem Propagandaministerium nicht gelingen, dem Bürger falsche Tatsachen vorzuspiegeln, allenfalls kann Information unterdrückt werden. Auch dies gelingt nur dann, wenn völlig willkürlich und unabhängig von den Tatsachen Nachrichten erfunden werden. Umgekehrt, je mehr das Propagandaministerium versucht, gezielt Information zu verfälschen, umso besser wird die Nachricht für die Bürger korrekt interpretierbar, umso mehr (echte) Information erreicht sie. Mittels der Informationstheorie gelingt also gleichsam ein "mathematischer Beweis" des Sprichworts Lügen haben kurze Beine

A.) Quellencodierungstheorem zur verlustfreier Informationsrepräsentation.

Es existiert eine Codierung zur eindeutigen Repräsentation der von einer diskreten Informationsquelle abgegebenen Symbolfolge x[k], bei der im Mittel nicht mehr als H(X) Binärsymbole je Quellensymbol erforderlich sind. Dabei bezeichnet H(X) den mittleren Informationsgehalt je Quellensymbol:

Umgekehrt wird auch bewiesen, dass keine umkehrbar eindeutige Codierung mit im Mittel weniger als H(X) Binärsymbolen je Quellensymbol existiert.

Codierverfahren zur verlustlosen kompakten Informationsrepräsentation können anhand der theoretischen Schranke H(X) objektiv beurteilt werden. Heute existieren Quellencodierverfahren, die auch für Informationsquellen, für die eine genügend genaue statistische Beschreibung kaum möglich ist, diese Grenze durch fortwährende Adaption des Algorithmus erstaunlich nahe erreichen (Beispiel: Komprimierung von Texten auf ca. 1,5 Bit/Buchstabe). In der Datenübertragung und -verarbeitung erlangt diese sog. "Datenkomprimierung" zunehmende Bedeutung.
 

B.) Quellencodierungstheorem für die verlustbehaftete Informationsrepräsentation,

Rate-Distortion-Theory.

Ein allgemeines, zeitdiskretes Nachrichtensignal x[k] (wertdiskret oder wertkontinuierlich) werde durch eine Folge digitaler Symbole repräsentiert. Bei der Rekonstruktion des Signals aus der Symbolfolge wird ein gewisser Fehler toleriert, der als Verzerrung (Distortion) D bezeichnet wird. Als Verzerrungsmaße können z.B. der Betrag der Differenz zwischen Original und Rekonstruktion aber auch die mittlere quadratische Abweichung u.v.a.m. verwendet werden.

Es existiert eine Codierung zur Repräsentation des Nachrichtensignals, bei der im Mittel nur R(D) Binärsymbole je Wert x[k] erforderlich sind, um eine mittlere Verzerrung kleiner oder höchstens gleich D zu erreichen. Dabei bezeichnet R(D) die Rate-Distortion-Funktion der Signalquelle. Es exisitiert jedoch keine Codierung mit im Mittel weniger als R(D) Binärsymbole je Wert x[k], bei der die mittlere Verzerrung D nicht übersteigt.

Die Rate-Distortion-Funktion und das zugehörige Quellencodierungstheorem für die verlustbehaftete Informationsrepräsentation bilden die allgemein gültige Vergleichsgrundlage bei der Digitalisierung analoger Nachrichtensignale.
 

C.) Kanalcodierungstheorem

Das Kanalcodierungstheorem besagt, dass auch bei Störungen und (massiven) Signalverfälschungen eine Informationsübertragung mit beliebig hoher Zuverlässigkeit möglich ist, wenn eine redundante Kanalcodierung eingesetzt wird. Dabei darf der mittlere Informationsgehalt R je Codesymbol eine Schranke C nicht überschreiten und die Codewörter sind hinreichend lang zu wählen.

Die Schranke C ist der Mittelwert des Informationsgewinns I bezüglich des Quellensymbols durch Beobachtung der gestörten Kanalausgangsvariable nach Gl. (2) (siehe Nachrichtenübertragung bei Störungen), wobei alle einstellbaren Einflussgrößen so gewählt werden, dass dieser Mittelwert möglichst groß wird:

Der größtmögliche Wert für den mittleren Informationsgewinn bei der Übertragung eines Symbols wird als die

Kapazität des Übertragungskanals, 
kurz: Kanalkapazität

bezeichnet.

Genauer formuliert besagt das Kanalcodierungstheorem:

Es existiert ein Code mit dem mittleren Informationsgehalt R je Codesymbol, mit dem eine beliebig niedrige Wahrscheinlichkeit für Codewortfehler erreicht werden kann, wenn die Codewortlänge hinreichend groß gewählt wird und gilt R<=C. Für R > C gibt es dagegen keine Möglichkeit, eine absolut zuverlässige Informationsübertragung zu erreichen.
 

D.) Theoreme zur Sicherheit kryptologischer Verfahren

Wohl am berühmtesten ist Shannon's Formel für die Kapazität C_T des Kanals mit Störung durch weißes Gauß'sches Rauschen und einer Begrenzung der Signalbandbreite auf B:

B: (einseitige) Signalbandrate
S: Leistung des Empfangsnutzsignals
N: Leistung der additiven weißen Gauß'schen Störung
E_b: äquivalente Energie je bit übertragener Information
N₀: (einseitige) Rauschleistungsdichte
C_T/B: spektrale Effizienz der Informationsübertragung 
 

Diese Gleichung stellt eine Beziehung zwischen Information und Energie her: Sie gibt die minimale Energie E_b an, die zur physikalischen Repräsentation von 1 bit Information erforderlich ist. Die Informationstheorie ist damit in der Lage, die Dualität von Energie und Materie zu einem Beziehungsdreieck

zu erweitern.

Empfangsseitig kann anhand der Codegesetze

- eine Fehlererkennung erfolgen

- eine Fehlerkorrektur (forward error correction FEC) vorgenommen werden

- anhand der analogen Empfangsignale direkt das mit größter Wahrscheinlichkeit gesendete Codewort ermittelt werden. Die Kanalcodierung dient in diesem Fall der Verbesserung der Unterscheidbarkeit der unterschiedlichen Signale und somit der Vermeidung von Fehlern.

Zurück zum Start