Informationstheorie und Kodierung

Sie befinden sich hier:

Kürzel

ITC

Modulnummer

n.n.

Leistungspunkte (Credits)

5 CP

Workload

150 Stunden

Semesterwochenstunden

4 SWS

Turnus

jedes Wintersemester

Unterrichtssprache

Englisch

Aktuelle Informationen wie Vorlesungstermine, Räume oder aktuelle Dozent*innen und Übungsleiter*innen

 

Lehrveranstaltungen

  • Information Theory and Coding – Vorlesung (2 SWS)
  • Information Theory and Coding – Übung (2 SWS)

Modulbeauftragte/r, aktuelle Dozent*innen und Übungsleiter*innen
Inhaber*in der Professur „Quanteninformation“
Empfohlene Vorkenntnisse
Inhalte der Grundlagenmodule in Mathematik (Inhalt der Module Mathematik 1 – Grundlagen, Mathematik  2 – Algorithmische Mathematik und Mathematik 3 – Anwen-dungen) und Informatik (Inhalte der Module Informatik 1 – Programmieren und Informatik 3 – Theoretische Informatik
Teilnahmevoraussetzungen
keine
Lernziele (Lerning Outcomes)
Nach dem erfolgreichen Abschluss des Moduls

  • erstehen die Studierenden die Grundbegriffe der Informationstheorie und können diese anwenden
  • kennen die Studierende abstrakte informationstheoretische Modelle, Konzepte und Methoden zur Analyse theoretischer Grenzen einer zuverlässigen kodierten Informationsübertragung
  • kennen die Studierenden informationstheoretische Beschreibung und Kenngrößen der Quellenmodelle, des Übertragungskanals und der Leitungscodierungen. Sie verstehen Optimalcodierungen und fehlerkorrigierende Codierungsverfahren
  • werden die Studierenden in die Lage versetzt, Codes hinsichtlich Redundanz, Störsicherheit und Chiffrierung zu bewerten und zu synthetisieren.
  • können die Studierenden die Effizienz der Redundanzreduktion für bekannte Standardverfahren in modernen Informationsübertragungssystemen analysieren
  • erwerben die Studierenden die Fähigkeit, neue Verfahren der Codierungstechnik zu verstehen, zu bewerten und zu synthetisieren

Inhalt
Die Lehrveranstaltung gibt eine Einführung in die Grundlagen der Shannonschen Informationstheorie. Ziel ist es, wesentliche informationstheoretische Resultate zur maximal möglichen verlustlosen und verlustbehafteten Komprimierung von Daten und zur maximalen Geschwindigkeit einer zuverlässigen Datenübertragung herzuleiten. Dafür werden zunächst die für die analytischen Betrachtungen benötigten Hilfsmittel (Entropie, Transinformation, Kapazität, etc.) eingeführt und deren Eigenschaften analysiert. Ziel der Lehrveranstaltung ist es, sowohl mit den Theoretischen Grundlagen der Informationstheorie vertraut zu machen als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele zu zeigen

Die Inhaltstruktur ist wie folgt:

  • Grundlagen der Informationstheorie (Selbstinformation, Entropie, Transinforma-tion, Quellencodierungstheorem, Kanalcodierungstheorem, Kanalkapazität verschiedener Kanäle)
  • Grundlegende Algorithmen der Quellencodierung (Huffman Code, Lempel Ziv Algorithmus)
  • Grundlagen der Kanalcodierung (grundlegende Parameter, Decodierung, Fehler-wahrscheinlichkeit)
  • Blockcodes, LDPC-Codes, Faltungscodes und Turbo Codes
  • Codierte Modulation

Lernformen
Hörsaalvorlesung mit Medienunterstützung, Tutorien als seminaristischer Unterricht, praktische Übungen, zusätzlich Selbststudium mit ergänzend bereitgestellten Materialien und Aufgaben
Prüfungsformen
Schriftliche Modulabschlussprüfung über 120 Minuten
Vorraussetzung für die Vergabe von Kreditpunkten
Bestandene Modulabschlussprüfung
Empfohlene Literatur

  1. R. G. Gallager:Information Theory and Reliable Communication”, Springer Verlag
  2. T. Cover, J. Thomas: “Elements of Information Theory”, Wiley
  3. R. Roth: „Introduction to Coding Theory“, Cambridge University Press
  4. T. Richardson, R. Urbanke: ”Modern Coding Theory”, Cambridge University Press