Multimedia Kommunikation

Transkript

1 1 Überblick Besprechung der 1. Aufgabe Multimedia Kommunikation Übung 2: Real-Time Streaming Protocol Ziel der heutigen Übung RTSP RTSP Client RTSP Server Neue Aufgabenstellung Implementierung eines Senders zur Übertragung von Video Schematische JMF-Umsetzung 0(1) Implementierung eines Senders zur Übertragung von Video (1) Erzeugen Data Source (Input) DataSource ds = Manager.createDataSource(new MediaLocator(file)); Datei Data Source Processor Data Source Data Sink Netzwerk (2) Erzeugen Processor processor = Manager.createProcessor(ds); Entwicklungs-Schritte (1) Erzeugen Data Source (Input) (2) Erzeugen Processor Format setzen Content Deskriptor setzen, etc. (3) Erzeugen Data Sink (Output) 2.1 boolean result = waitforstate(processor, Processor.Configured); if (result == false){// Fehler boolean waitforstate(processor p, int state) { if (state == Processor.Configured) p.configure(); if (state == Processor.Realized) p.realize(); // Warten auf Erfolg (while, wait) if (failed) return false; else return true; 2.2

2 Implementierung eines Senders zur Übertragung von Video Implementierung eines Senders zur Übertragung von Video Video-Track suchen und Output-Format setzen (JPEG/RTP) Content Deskriptor setzen, etc. TrackControl [] tracks = processor.gettrackcontrols(); // DEMUX boolean programmed = false; for (int i = 0; i < tracks.length; i++) { cd = new ContentDescriptor(ContentDescriptor.RAW_RTP); processor.setcontentdescriptor(cd); result = waitforstate(processor, Controller.Realized); Format format = tracks[i].getformat(); if ( tracks[i].isenabled() &&format instanceof VideoFormat &&!programmed) { // Überprüfen ob dimension mehrfaches von 8 (JPEG) VideoFormat jpegformat = new VideoFormat( VideoFormat.JPEG_RTP, new Dimension(w, h), Format.NOT_SPECIFIED, Format.byteArray, framerate); tracks[i].setformat(jpegformat); programmed = true; else tracks[i].setenabled(false); 2.3 setjpegquality(processor, 0.5f); (3) Erzeugung Data Sink (Output) dataoutput = processor.getdataoutput(); String rtpurl = "rtp://"+receiveripaddr+":"+port+"/video"; MediaLocator outlocator = new MediaLocator(rtpURL); rtptransmitter = Manager.createDataSink(dataOutput, outlocator); rtptransmitter.open(); rtptransmitter.start(); dataoutput.start(); processor.start(); 2.4 Implementierung eines Senders zur Übertragung von Audio und Video Implementierung eines Senders zur Übertragung von Audio und Video Schematische JMF-Umsetzung Data Source RTP Manager Netzwerk 0 (1) Erzeugen Data Source (Input) [identisch] DataSource ds = Manager.createDataSource(new MediaLocator(file)); 0 Data Source Processor Datei Entwicklungs-Schritte (1) Erzeugen Data Source (Input) (2) Erzeugen Processor Format setzen Data Source RTP Manager Netzwerk (2) Erzeugen des Processors [identisch] processor = Manager.createProcessor(ds); boolean result = waitforstate(processor, Processor.Configured); if (result == false){ // Fehler Content Deskriptor setzen, etc. (3) Erzeugen RTP Manager (Output)

3 Implementierung eines Senders zur Übertragung von Audio und Video Audio/Video-Track suchen und Output-Format setzen TrackControl [] tracks = processor.gettrackcontrols(); // DEMUX boolean atleastonetrack = false; for (int i = 0; i < tracks.length; i++) { if (tracks[i].isenabled()) { supported = tracks[i].getsupportedformats(); if (supported.length > 0) { if (supported[0] instanceof VideoFormat) { chosen = checkforvideosizes( tracks[i].getformat(),supported[0]); else // Audio chosen = supported[0]; tracks[i].setformat(chosen); else tracks[i].setenabled(false); else tracks[i].setenabled(false); 2.7 Implementierung eines Senders zur Übertragung von Audio und Video Content Decriptor setzen, etc. cd = new ContentDescriptor(ContentDescriptor.RAW_RTP); processor.setcontentdescriptor(cd); result = waitforstate(processor, Controller.Realized); setjpegquality(processor, 0.5f); (3) Erzeugen RTP Manager pbds = (PushBufferDataSource) processor.getdataoutput(); PushBufferStream pbss[] = pbds.getstreams(); rtpmgrs = new RTPManager[pbss.length]; for (int i = 0; i < pbss.length; i++) { rtpmgrs[i] = RTPManager.newInstance(); port = portbase + 2*i; rtpmgrs[i].initialize(localaddr); // IP + Port rtpmgrs[i].addtarget(destaddr); // IP + Port sendstream = rtpmgrs[i].createsendstream(dataoutput, i); sendstream.start(); Schematische JMF-Umsetzung Data Source Netzwerk RTP Manager Data Source Entwicklungs-Schritte (1) Klassendefinition (Listener-Interfaces) (2) Initialisierung RTP Manager (3) Implementierung ReceiveStream Listeners (4) Implementierung Controller Listener (5) Implementierung der Player Darstellung PlayerWindow PlayerPanel Player Player (1) Klassendefinition (Listener-Interfaces) public class Receiver implements ReceiveStreamListener, SessionListener, ControllerListener{ (2) Initialisierung RTP Manager mgrs = new RTPManager[sessions.length]; playerwindows = new Vector(); // wird später benötigt for (int i = 0; i < sessions.length; i++) { session = new SessionLabel(sessions[i]); mgrs[i] = (RTPManager) RTPManager.newInstance(); mgrs[i].addsessionlistener(this); mgrs[i].addreceivestreamlistener(this); ipaddr = InetAddress.getByName(session.addr); if( ipaddr.ismulticastaddress()) { localaddr = new SessionAddress( ipaddr, session.port, session.ttl); destaddr = new SessionAddress( ipaddr, session.port, session.ttl); 2.10

4 Initialisierung RTP Manager (Fortsetzung) else { localaddr= new SessionAddress( InetAddress.getLocalHost(), session.port); destaddr = new SessionAddress( ipaddr, session.port); // typischerweise: destaddr == localaddr mgrs[i].initialize(localaddr); BufferControl bc = (BufferControl)mgrs[i].getControl( "javax.media.control.buffercontrol"); if (bc!= null) bc.setbufferlength(350); mgrs[i].addtarget(destaddr); // for 2.11 (3) Implementierung ReceiveStream Listener public synchronized void update(receivestreamevent evt) { RTPManager mgr = (RTPManager)evt.getSource(); Participant participant = evt.getparticipant(); if (evt instanceof NewReceiveStreamEvent) { stream = ((NewReceiveStreamEvent)evt).getReceiveStream(); DataSource ds = stream.getdatasource(); RTPControl ctl = (RTPControl)ds.getControl( "javax.media.rtp.rtpcontrol"); Player p = javax.media.manager.createplayer(ds); p.addcontrollerlistener(this); p.realize(); PlayerWindow pw = new PlayerWindow(p, stream); playerwindows.addelement(pw); 2.12 (4) ControllerListener public synchronized void controllerupdate(controllerevent ce) { Player p = (Player)ce.getSourceController(); if (ce instanceof RealizeCompleteEvent) { PlayerWindow pw = find(p); pw.initialize(); pw.setvisible(true); p.start(); if (ce instanceof ControllerErrorEvent) { p.removecontrollerlistener(this); PlayerWindow pw = find(p); pw.close(); playerwindows.removeelement(pw); 2.13 (5) Implementierung der Player Darstellung PlayerWindow class PlayerWindow extends Frame {// Abstract Window Toolkit (AWT) PlayerWindow(Player p, ReceiveStream strm) { public void initialize() { add(new PlayerPanel(player)); public void close() { player.close(); setvisible(false); dispose(); 2.14

5 PlayerPanel class PlayerPanel extends Panel { Component vc, cc; PlayerPanel(Player p) { setlayout(new BorderLayout()); if ((vc = p.getvisualcomponent())!= null) add("center", vc); if ((cc = p.getcontrolpanelcomponent())!= null) add("south", cc); Noch einige kleinere Hilfsmethoden nötig Kompletter Download auf der Vorlesungsseite als Eclipse-Projekt Was fehlt jetzt noch? Signalisierung/Steuerung Konfigurieren, Starten, Pausieren, Stoppen der Übertragung Verwendung von RTSP, SIP, etc. public Dimension getpreferredsize() { return new Dimension(w, h); Spezifiziert von der IETF MMUSIC Group RFC 2326 Protokoll zur Steuerung von Multimedia-Datenübertragungen Fernbedienung, v.a. für Video-on-Demand Keine Datenübertragung mit RTSP (=> z.b. RTP) Aufteilung der Nachrichten in Requests und Respones Client/Server Prinzip Zugriff auf einen RTSP Server mit dem JMF Implementierung String url= "rtsp:// :55555/test"; MediaLocator mrl= new MediaLocator(url); Player player = Manager.createPlayer(mrl); player.addcontrollerlistener(this); player.realize(); PlayerWindow pw = new PlayerWindow(player); playerwindows.addelement(pw); JMF unterstützt RTSP nur Client-seitig Teilweise kommerzielle Server: Helix, Sun Streaming Server, Apple Darwin Streaming Server

6 Zugriff auf einen RTSP Server mit dem JMF ControllerListener public class SimpleRTSPClient implements ControllerListener{ public synchronized void controllerupdate(controllerevent ce){ Player p = (Player)ce.getSourceController(); if (ce instanceof RealizeCompleteEvent) { PlayerWindow pw = find(p); pw.initialize(); pw.setvisible(true); p.start(); Verhalten des JMF Clients Vereinfachter Zustandsautomat für den Server DESCRIBE INIT SETUP READY PLAY PAUSED PAUSE PLAYING PLAY Nachrichtenverlauf DESCRIBE-Request DESCRIBE-Response Abruf der Beschreibung zu einem Medium Content-Base: Referenziertes Medium Session Description Protocol (SDP) SDP Beschreibung als Attachment Identifikation mit Hilfe der URL CSeq: Sequenznummer für Request/Response Paar DESCRIBE rtsp:// /test RTSP/1.0 CSeq: 224 Accept: application/sdp User-Agent: JMF RTSP Player Version 2.1.1e Aufgabe des Servers Überprüfen, ob Medium unter URL existiert SDP Beschreibung erzeugen Antwort generieren 2.21 RTSP/ OK CSeq: 224 Content-Base: rtsp:// /test/ Content-Type: application/sdp Content-Length: 302 v=0 o=test IN IP s=matrix i=matrix Trailer u= e=neo@thematrix.com (Neo) c=in IP a=recvonly m=video 2232 RTP/AVP 31 a=control:trackid=4 2.22

7 Aufgabe des Clients Verarbeitung der Informationen v.a. Track-ID als Identifikation für nächste Nachricht verwenden! Nächster Schritt: SETUP SETUP Request (VoD) Session einrichten Verwendete Client Ports zum Empfang von RTP/RTCP SETUP rtsp:// /test/trackid=4 RTSP/1.0 CSeq: 225 Transport: RTP/AVP;unicast;client_port= client port: User-Agent: JMF RTSP Player Version 2.1.1e Aufgabe des Servers Initialisierung der Datenquelle (Videoname, hier: /test) Konfiguration des Datentransfers (IP, Port) Antwort generieren SETUP Response Verwendete Server Ports, IP-Adresse (Empfang RTP/RTCP) Rückgabe der erzeugten Session ID RTSP/ OK CSeq: 225 Transport: rtp/avp/udp;source= ;server_port= Aufgabe des Clients Verwendung der Session-ID für alle folgenden Nachrichten JMF: Verwendung der Server Ports zum Empfang Nächster Schritt: PLAY PLAY Request Wiedergabe der angegebenen Session starten Range: Was soll abgespielt werden? Normal Play Time (npt): <START>-<ENDE> PLAY rtsp:// /test RTSP/1.0 CSeq: 226 Range: npt=0.0- User-Agent: JMF RTSP Player Version 2.1.1e Aufgabe des Servers Starten des bereits konfigurierten Datentransfers Antwort generieren

8 PLAY Response RTP-Info url für welche die Informationen gelten seq für die Sequenznummer des 1. Pakets (v.a. für Suche im Stream) rtptime für Client um Mapping rtptime auf npt zu berechnen RTSP/ OK CSeq: 226 RTP-Info: url=trackid=4;seq=1;ssrc=1;rtptime=0 Aufgabe des Clients Daten werden übertragen => Daten können dargestellt werden! Nächste mögliche Schritte: PAUSE oder TEARDOWN PAUSE Request Medien-Wiedergabe pausieren Identifikation des Tracks über die Session ID PAUSE rtsp:// /test RTSP/1.0 CSeq: 227 User-Agent: JMF RTSP Player Version 2.1.1e Aufgabe des Servers Stoppen des Datentransfers Antwort generieren PAUSE Response RTSP/ OK CSeq: 227 Aufgabe des Clients Warten (solange bis Benutzer Wiedergabe startet/beendet) Nächste mögliche Schritte: PLAY oder TEARDOWN TEARDOWN Request Beenden der Session TEARDOWN rtsp:// /test RTSP/1.0 CSeq: 618 User-Agent: JMF RTSP Player Version 2.1.1e Aufgabe des Servers Stoppen des Datentransfers Aufräumen Antwort generieren

9 TEARDOWN Response RTSP/ OK CSeq: 618 Implementierung eines RTSP Servers RTSP ist Text-basiert Client/Server Modell Requests werden verschickt, Antworten (Responses) kommen zurück Aufgabe des Clients Stoppen des Datenempfangs Aufräumen Wie könnte ein RTSP Server mit Hilfe von Java realisiert werden? Implementierung eines RTSP Servers Wie baue ich einen RTSP Stack? Socket, das auf eingehende Verbindungen wartet Parser, der wichtige Informationen aus den eintreffenden Nachrichten extrahiert Logik für die eigentliche Informationsverarbeitung (Zustandsautomat) Nachrichtengenerator für die Antworten (Responses) Server Socket unter Java ServerSocket listensocket = new ServerSocket(serverPort); while (true){ Socket s = listensocket.accept(); // Wichtig für spätere RTP Datenübertragung! clientipaddr = s.getinetaddress(); reader = new BufferedReader(new InputStreamReader( s.getinputstream())); writer = new BufferedWriter(new OutputStreamWriter( s.getoutputstream())); // Verarbeitung Zeile für Zeile String line = reader.readline(); 2.33 // Antwort writer.write("ok"+"\r\n"); writer.write("\r\n"); writer.flush(); 2.34

10 Einfacher Parser unter Java Einlesen aller Zeilen über reader.readline() Bestimmen des Request-Types DESCRIBE, SETUP, PLAY, PAUSE, TEARDOWN Falls SETUP oder DESCRIBE Extrahieren des Video-Namens Extrahieren und Verarbeiten der wichtigen Header CSeq Transport Logik für die Informationsverarbeitung (Zustandsautomat) while, if/else, switch/case, etc. DESCRIBE INIT SETUP READY PLAY PAUSE PAUSED PLAYING PLAY Einfache Parser Implementierung Verwendung von StringTokenizer, String.substring() Aufteilung des Strings in Tokens 2.35 Nachrichtengenerator Erzeugen der Nachricht als String Senden mit writer.write(message) Letzte Zeile: writer.write("\r\n") Literatur 5 Aufgaben Java Media Framework (JMF) Real-Time Streaming Protocol (RTSP) Java Tutorials - All About Sockets Implementierung eines RTSP Servers Gerüst zum Download auf der Vorlesungsseite vorhanden Zur Vereinfachung: Lediglich 1 Verbindung zulassen, danach beenden Nur Übertragung von Video (kein Audio) Optional Implementierung eines RTSP Client from scratch Übertragung von Audio und Video Anpassung SDP Übertragung von Audio und Video mit RTP