Übertragungssysteme WS 2011/2012. Vorlesung 11. Prof. Dr.-Ing. Karlheinz Brandenburg.

Übertragungssysteme WS 2011/2012 Vorlesung 11 Prof. Dr.-Ing. Karlheinz Brandenburg Karlheinz.Brandenburg@tu-ilmenau.de Kontakt: Dipl.-Ing.(FH) Sara Kepplinger / Dipl.-Inf. Thomas Köllmer vorname.nachname@tu-ilmenau.de Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 1

Videocodierung II Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 2

1. Einführung in die Videocodierung di 2. Systeme der Videocodierung: H.261 Videocodierung I MPEG-1 MPEG-2 Videocodierung II MPEG-4 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 3

MPEG 1 Definition iti und Beschreibung eines Bitstroms t zur Speicherung von komprimierten digitalem Video (Video + Audio) 1990 als Entwurf, 1992 als Standard festgelegt g Optimierung des Algorithmus auf maximal 1,5 Mbit/s für Bereich Computer / Multimedia und Speicherung auf CD-ROM optionale Bitratenregelung für eine konstante Übertragungsrate stark asymmetrisches Kompressionsverfahren Beschränkung auf 352 x 288 Bildpunkte und maximal 30Hz Bildwiederholfrequenz Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 4

MPEG 1 System Decoder Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 5

MPEG 1 Systemteil: - Beschreibung des Multiplex der getrennt kodierten Bitströme für Video- und Audiodaten - Zusatzdaten t für die korrekte kt Dekodierung Videoteil: - Beschreibung der Hierarchie und des Formates der Daten der einzelnen Bilder Audioteil: - Beschreibung der Hierarchie und des Formates der Audiodaten Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 6

MPEG 1 Encoder 2D- DCT Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 7

MPEG 1 GOP Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 8

MPEG 1 GOP Group Of Pictures (GOP) - feste Anzahl aufeinander folgender Einzelbilder - Festlegung der einzelnen Bildtypen - in einer GOP mindestens ein I-Bild, ansonsten Bildtypen frei (theoretisch) wählbar Intra- (I-)Bilder: - werden nur unter Benutzung eigener Daten kodiert - nach Aufteilung in Makroblöcke k kann jedem eine eigene Quantisierungstabelle zugeordnet werden - Huffman- und Lauflängenkodierung Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 9

MPEG 1 GOP Predicted- (P-)Bilder - zusätzlich zu eigenen Daten können Daten eines zeitlich früheren Referenzbildes hinzugezogen werden (letztes I- oder P-Bild) - Aufteilung in Slices und Makroblöcke - Makroblöcke können Bewegungskompensation durchlaufen oder intrakodiert werden entspr. implementierter Auswahlverfahren - bei Bewegungskompensation zusätzlichen Fehler-MB DCT-kodiert Bilinear Predicted (B-)Bild - neben eigenen Daten auch die von einem zeitlich vorherigen und/oder nachfolgenden Referenzbild genutzt werden (letztes/nächstes I- oder P-Bild) - Rückwärts- u. Vorwärts-Bewegungskompensation möglich, liefert 2 Vektoren und Matches, daraus durch lineare Interpolation 3. Vektor und Match, Auswahl des besten Treffers Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 10

MPEG 1 GOP Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 11

Motion Compensation Basis der Motion Compensation bei MPEG ist Makroblock k optionale Suche im Halbpixelraster Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 12

MPEG -2 Aufhebung der Beschränkungen von MPEG-1 Datenraten bis 100 MBit/s, z.b. Main Profile at Main Level bis 15 MBit/s (ab 9 MBit/s visuelle Transparenz, d.h. keine sichtbaren Unterschiede zum Original) Anwendung im Bereich Fernsehtechnik Zusammenfassung mehrerer Programme zu einem Datenstrom volle Auflösung nach ITU-R 601 und HDTV verschiedene Qualitätsstufen und Optionen über Profile/Level-Tabellen unterschiedlichste Abtastraster der Chrominanzen unterstützt Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 13

MPEG -2 Halbbilder werden unterstützt (Vollbild- und Halbbildmodus des Encoders) erhöhte Kodiereffizienz durch optionale nichtlineare Quantisierung der DCT Koeffizienten Skalierbarkeit für eine fehlerträchtige Übertragung (SNR- Scalability sowie Spatial Scalability) und hierarchische Modulation bei Fernsehübertragung Spezifikation von Übertragungsgliedern sowie an Kanaleigenschaften angepasster Fehlerschutz, Modulationsverfahren sowie Service-Informationen sind nicht Bestandteil des Standards Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 14

MPEG -2 Beispiele typischer Bildgrößen in Bits I-Frame Distance of 15 (N=15), P-Frame Distance of 3 (M=3) I P B Average MPEG-1 SIF @ 1.15 Mbit/s MPEG-2 601 @ 4 Mbit/s 150.000 50.000 20.000 38.000 400.000 200.000 80.000 130.000 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 15

MPEG -2 Skalierbarkeit bietet Möglichkeit von unterschiedlicher Endnutzung bei ein- und derselben feststehenden Codierung weitgehend unabhängig von Speicher- und Übertragungsmedien Örtliche Skalierbarkeit, z.b. zur adaptiven Definition eines 4:3-Bildes in einem 16:9-Videoformat Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 16

MPEG -2 Skalierbarkeit Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 17

MPEG - 2 Multiplex Zusammenfügen von Audio, Video und Zusatzdaten in einen Datenstrom Bereitstellen von Übertragungskapazität für Informationen über das laufende Programm und über den Übertragungsweg sowie Zusatzinformationen für den Benutzer/Zuschauer Taktregenerierung im Decoder Synchronisation der Audio- und Videowiedergabe z.b. DVB-Projekt benutzt Transport-Multiplex für Fernsehausstrahlung in Europa über Satellit, Kabel und terrestrische Sender Program Multiplex Transport Multiplex Alle Teilströme mit einer Zeitbasis Nahezu ungestörte Kanäle (z.b. Aufzeichnung auf Festplatten) Pakete variabler Länge Mehrere verschiedene Zeitbasen Gestörte Kanäle (z.b. Satellitenübertragung) Paket-Länge 188Bytes Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 18

MPEG -2 System Layer Grundvoraussetzung für Decodierung ist Regenerierung des Encoder-Taktes unterschiedliche lokale Zeitreferenzen für Video und Audio auf Decoderseite werden regelmäßig mit der Program Clock Referenz PCR und der System Time Clock STC abgeglichen Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 19

MPEG - 2 System Information Program Association Table PAT - Liste aller Programme im Transport-Multiplex - Verweis auf Packet-ID s der zugehörigen PMT Program Map Table PMT - Verweis auf Packet-ID s des zugehörigen Programms und Packetes mit Program - Clock Reference, Programmname, Copyright,... Conditional Access Table CAT - Private Daten für bedingten Zugriff Network Information Table NIT - Private Daten, z.b. Orbitposition, Transponder-Nr.... - 5 weitere (optionale) Tabellen verfügbar (im DVB z.b. wichtig für Service Information) Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 20

MPEG -2 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 21

MPEG -2 Profiles@Levels Profile: Subset der Syntax der Spezifikation - Grenzen innerhalb der vollen Syntax - definiert, welches Tool oder welche Funktionalität genutzt wird, um Bitstrom zu produzieren Level: Set von Einschränkungen der Wertebereiche der Parameter der Spezifikation innerhalb eines Profils - z.b. Profile gibt vor, ob Scalability genutzt oder nicht, Level beschreibt Grenzen der Bildgröße Europäisches DVB mit Main Profile und 4:2:0 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 22

MPEG -2 Profiles@Levels Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 23

MPEG -2 Optionaler Zigzag-Scan für bessere Codiereffizienz im Teilbildmodus (Alternate Scan Samsung) Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 25

MPEG-2: Systembeispiele 6 MHz CATV channel: five 5.2-Mbps programs: 26.5 Mbps (includes transport overhead) total PSI bandwidth: 75.2 Kbps CA bandwidth: 500 Kbps total ISO/IEC 13818 transport bandwidth: 27.1 Mbps PSI Overhead: 0.28 % OC-3 fiber channel (155 Mbps): 32 3.9-Mbps programs: 127.5 Mbps (includes transport overhead) total PSI bandwidth: 225.6 Kbps CA bandwidth: 500 Kbps total ISO/IEC 13818 transport bandwidth: 128.22 Mbps PSI Overhead: 0.18% PSI = Program Specific Information; CA = Conditional Access Quelle: ISO/IEC IS 13818-1 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 26

MPEG-2: Systembeispiele (2) C-band satellite transponder: 128 256-Kbps audio programs: 33.5 Mbps (includes transport overhead) total PSI bandwidth: 826.4 Kbps CA bandwidth: 500 Kbps total ISO/IEC 13818 transport bandwidth: 34.7 Mbps PSI Overhead: 2.4 % (actually would be lower if only one PID used per program) Quelle: ISO/IEC IS 13818-1 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 27

MPEG -4 The MPEG-4 standard provides a set of technologies to satisfy the needs of authors, service providers and end users alike. authors - Produktionsmethoden th d mit höherer Wiederbenutzbarkeit b it - größere Flexibilität - bessere Möglichkeiten des Schutzes von Rechten (Intellectual Property) network service providers - transparente Informationen, - QoS Deskriptoren für unterschiedliche Medien, - flexible Handhabung und Implementierung durch Provider end users - höherer Level der Interaktion mit dem Inhalt (abh. von Vorgaben des Autors) - neue Anwendungen, wie interactive multimedia broadcast and mobile communications Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 28

MPEG -4 höhere Kompressionsfaktoren bzw. extrem niedrige Datenraten unterhalb 64 kbit/s bessere visuelle Qualität Anwendung Videokonferenzen und mobile Dienste zusätzlich zu DCT-basierten Verfahren werden objektorientierte Ansätze implementiert Repräsentation von Audio- und visuellen Inhalten, sogenannte media objects media objects können natürlichen oder synthetischen Ursprungs sein beschreibt die Komposition dieser Objekte (Multiplex u. Synchronisation), erlaubt interaktive Szenarien Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 30

MPEG -4 Ausnutzung komplexerer Objekt- und Bewegungsmodelle über Analyse von monokularen Bildsequenzen Unterteilung einer Videoszene in einzelne Videoobjekte mit beliebiger Kontur Definition und Beschreibung über unterschiedlich kodierte Layer - Video Object Planes Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 32

MPEG -4 Ausnutzung komplexer 3D-Modelle zur Bewegungskompensation (z.b. face and body animation) Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 33

MPEG -4 Abstraktionsebenen der objektorientierte Codierung: Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 34

MPEG -4 3D-Wireframes: Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 35

MPEG -4 Semantische Codierung eines Gesichtsmodells Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 36

MPEG -4 Blockschaltbild MPEG-4 Hybridcoder einschließlich Formcodierung Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 37

MPEG - 4 Virtuelles Videokonferenzsystem Einen ähnlichen Ansatzpunkt wie die Online-Kommunikation mit einem Verkäufer im virtuellen Tele-Shop hat das virtuelle Videokonferenzsystem. Die Grundidee dabei ist es, die Bilder mehrerer an entfernten Orten sitzender Personen als MPEG-4-Videoobjekte zu übertragen, und in eine einzige virtuelle Szene zu integrieren. Dies kann entweder in einer vom Systemanbieter vorgegebenen Art und Weise oder nach Wahl des Benutzers erfolgen. Der Benutzer kann dann den eigenen Blickwinkel innerhalb des virtuellen Raumes beliebig einstellen. Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 38

MPEG -4 Profile Der MPEG-4-Standard d lässt sich für typische Anwendungsklassen konfigurieren und damit in der Komplexität und im Leistungsumfang an bestimmte Hardwareplattformen anpassen. Dies erfolgt mit Hilfe von im Standard spezifizierten Profilen, wobei jedes Profil in Form von nachgeordneten Ebenen (levels) feste Rahmen für die freien Coderparameter wie z.b. Datenrate, Bildgröße, Audio-Abtastfrequenz, Anzahl der Szenenobjekte festlegt. Da die Palette der MPEG-4 Anwendungen noch nicht absehbar ist, können zusätzliche Profile auch nach Abschluss der Standardisierung noch erstellt werden. Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 39

MPEG -4 Profile Das Simple Visual Profile bietet effiziente Codierung von rechteckigen Videoobjekten und die Möglichkeit zur fehlerrobusten Bildübertragung. Es ist damit im wesentlichen für zukünftige mobile Netzwerke wie z.b. UMTS konzipiert. Das Simple Scalable Visual Profile bietet darüber hinaus noch die Möglichkeit zur zeitlichen und örtlichen Skalierbarkeit. Damit eignet es sich für Anwendungen, die auf Grund von Beschränkungen in der Datenrate oder der Decoder-Komplexität mehr als eine Qualitätsstufe benötigen. Dies ist z.b. bei softwarebasierten Videoabruf der Fall. Das Core Visual Profile ergänzt zusätzlich noch die Funktionalität der Formcodierung und eignet sich damit insbesondere für Anwendungen, die von inhaltsbasierter Interaktivität profitieren, wie z.b. Multimediakommunikation im Internet. Das Main Visual Profile erlaubt ergänzend die Codierung von semi-transparenten Videoobjekten im Zeilensprungverfahren und zielt damit insbesondere auf hochqualitative Fernsehdienste und DVD- Anwendungen. Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 40

Organisatorisches Nächste Vorlesung: Dienstag, 03.01. 01 2012, 13:00 Uhr, K-HS 2 Nächstes Seminar: Montag, 09.01. 2012, 17:00 Uhr, SrHU 129 Prof. Dr.-Ing. Karlheinz Brandenburg, karlheinz.brandenburg@tu-ilmenau.de b il d Seite 41