Systemnahe Programmierung in C/C++

Transkript

1 Systemnahe Programmierung in C/C++ Interprozesskommunikation (IPC) Knut Stolze Lehrstuhl für Datenbanken und Informationssysteme Fakultät für Mathematik und Informatik Knut Stolze (DBIS) C/C++ Programmierung / 55

2 Agenda 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

3 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

4 Pipes Direkte Kopplung zweier Prozesse Shell-Beispiel $ ls -l less FILE-Stream wird von beiden Prozessen verwendet Uni-direktional Ein Prozess schreibt; der andere liest das Geschriebene Kann wie normale Dateien verwendet werden Knut Stolze (DBIS) C/C++ Programmierung / 55

5 Pipe öffnen FILE *popen(const char *command, const char *type) command Programm, dass gestartet wird Wird durch eine Shell ausgefuhrt, falls es Sonderzeichen enthält Ergebnis type r Aktueller Prozess liest von der Pipe; gestartetes Programm schreibt auf die Pipe = Standardausgabe (stdout) w Aktueller Prozess schreibt in die Pipe; gestartetes Programm liest von der Pipe = Standardeingabe (stdin) Zeiger auf Pipe wenn Kindprozess erfolgreich gestartet Knut Stolze (DBIS) C/C++ Programmierung / 55

6 Pipe schließen int pclose (FILE *stream) Ergebnis stream Pipe, die geschlossen werden soll von popen Exit-Status des Kindprozess Einzige Möglichkeit, erfolgreiches Beenden des Kindprozesses zu ermitteln Knut Stolze (DBIS) C/C++ Programmierung / 55

7 Named Pipes FIFO Existiert als Directory-Eintrag im Dateisystem Ist keine regulare Datei Special Device Nicht an Lebensdauer den beteiligten Prozesse gebunden Prozesse verbinden sich mit bestehender Pipe Beispiel: gzip alles, was in my_pipe ankommt $ mkfifo my_pipe $ gzip -9 -c < my_pipe > gzip.out $ cat file > my_pipe Knut Stolze (DBIS) C/C++ Programmierung / 55

8 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

9 Shared Memory Speicherbereich, auf den mehrere Prozesse Zugriff haben Also kein privater Speicher Schnellste Form der Inter-Prozess-Kommunikation (IPC) Asynchron Speicherbereich 1x allokiert Prozesse verbinden sich Shared Memory Segment im Adressbereich jedes einzelnen (verbundenen) Prozesses abgebildet Knut Stolze (DBIS) C/C++ Programmierung / 55

10 Shared Memory Hauptspeicher Adressraum Prozess 1 Shared Memory Segment Adressraum Prozess 2 Prozess 1 Prozess 2 Knut Stolze (DBIS) C/C++ Programmierung / 55

11 Gotchas Zeiger (Pointer) sind Werte, die Adressen zu anderen Daten beinhalten Shared Memory Segmente können an unterschiedlichen Adressen in Adressräume der einzelnen Prozesse abgebildet werden Im Shared Memory darf kein Zeiger hinterlegt werden!! Offsets vom Beginn des Segments verwenden Zeiger in privaten Speicherbereichen können in Shared Memory zeigen Knut Stolze (DBIS) C/C++ Programmierung / 55

12 Gotchas Zeiger (Pointer) sind Werte, die Adressen zu anderen Daten beinhalten Shared Memory Segmente können an unterschiedlichen Adressen in Adressräume der einzelnen Prozesse abgebildet werden Im Shared Memory darf kein Zeiger hinterlegt werden!! Offsets vom Beginn des Segments verwenden Zeiger in privaten Speicherbereichen können in Shared Memory zeigen Knut Stolze (DBIS) C/C++ Programmierung / 55

13 Gotchas Zeiger (Pointer) sind Werte, die Adressen zu anderen Daten beinhalten Shared Memory Segmente können an unterschiedlichen Adressen in Adressräume der einzelnen Prozesse abgebildet werden Im Shared Memory darf kein Zeiger hinterlegt werden!! Offsets vom Beginn des Segments verwenden Zeiger in privaten Speicherbereichen können in Shared Memory zeigen Knut Stolze (DBIS) C/C++ Programmierung / 55

14 Erzeugen eines SHM Segments Ein Prozess legt Segment an int shmget(key_t key, size_t size, int flags) key Schlüssel für Segment; üblicherweise mittels Funktion ftok generiert size Größe des Segments in Bytes Vergleichbar mit Größe bei malloc flags IPC_CREAT Segment erzeugen IPC_EXCL zu erzeugendes Segment darf noch nicht existieren; sonst Fehler Zugriffsrechte rwx wie bei Dateien Ergebnis: ID des Segments (oder -1 bei Fehler) Nicht gleich dem key Knut Stolze (DBIS) C/C++ Programmierung / 55

15 shmget Es wird keine Verbindung zum Segment hergestellt, d.h. das Segment wird nicht in den aktuellen Prozessraum abgebildet. Besonderheit unter Windows: SHM Segment existiert nur so lange, wie der Prozess lebt, der das Segment erzeugt hat. Knut Stolze (DBIS) C/C++ Programmierung / 55

16 ftok Generiert Schlüssel für shmget, msgget oder semget key_t ftok(const char *pathname, int proj_id) file Existierende Datei (inode kann herangezogen werden) proj_id Identifikator für aktuelles Projekt/Programm Schlüssel ist immer identisch für ein (file, proj_id)-tupel Prozessübergreifend Andere Datei/andere proj_id gibt (i. A.) anderen Schlüssel Knut Stolze (DBIS) C/C++ Programmierung / 55

17 Verbinden zu existierenden SHM Segment Jeder Prozess, der auf SHM Segment zugreifen will, muss sich mit dem Segment verbinden (attach). void *shmat(int shmid, const void *addr, int flags) shmid ID des Shared Memory Segments von shmget addr Zieladresse des abgebildeten Segments flags SHM_RDONLY nur lesender Zugriff möglich SHM_RND abrunden einer gegebenen Adresse (addr Zum nächsten Seitenanfang Üblicherweise 4K-Grenze Knut Stolze (DBIS) C/C++ Programmierung / 55

18 shmat Segment wird in den prozesseigenen Adressraum abgebildet. Ähnlich zu malloc Nach shmat kann mit dem Segment wie mit jedem anderen Speicherblock gearbeitet werden Bei Fehler wird Zeiger mit Wert -1 zurückgegeben ptr = shmat(...); if ((char *)ptr == (char *)(-1)) {... /* Fehler */... } Knut Stolze (DBIS) C/C++ Programmierung / 55

19 Verbindung zum SHM Segment trennen Aktueller Prozess beendet Verbindung zum Shared Memory Segment int shmdt(const void *shmaddr) shmaddr Zeiger zum Beginn des Segments Ergebnis von shmat Zugriff auf Speicher des SHM Segments nach shmdt nicht möglich Vergleichbar zu free Segment wird nicht zerstört Andere Prozesse können Segment noch verwenden Knut Stolze (DBIS) C/C++ Programmierung / 55

20 Weitere SHM Operationen int shmctl(int shmid, int cmd, struct shmid_ds *buf) shmid ID des Shared Memory Segments Ergebnis von shmget cmd Operation auf dem Segment IPC_RMID Segment zerstören Nur markiert Zerstörung/Freigabe erfolgt nach dem letzten detach IPC_STAT Informationen über das Segment in buf kopieren IPC_SET Setze Zugriffsrechte für Segment Knut Stolze (DBIS) C/C++ Programmierung / 55

21 shmctl Betriebssystem zerstört Segment wenn letzte Verbindung aller Prozesse getrennt wird. Aktueller Prozess kann immer noch Verbindung haben Beispiel: Start von X-Server id = shmget(..., IPC_CREAT IPC_EXCL); segment = shmat(id,...); shmctl(id, IPC_RMID, NULL);... shmdt(segment,...); Knut Stolze (DBIS) C/C++ Programmierung / 55

22 Verwendung von SHM Segment ist ein zusammenhängender Speicherbereich. Muss von Anwendung(en) selbständig organisiert und strukturiert werden struct Entry { int x, y; }; ptr = shmat(...); int *count = (int *)ptr; struct Entry *entries = (struct entry *)(count + 1); Interpretiere Speicherbereich durch Casts int entry entry... entry Knut Stolze (DBIS) C/C++ Programmierung / 55

23 Verwendung von SHM (cont.) Konkurrierender Zugriff auf Segment muss synchronisiert werden Semaphoren Nur bei Nutzung mehrerer Prozesse Multi-Threading braucht keinen Shared Memory Knut Stolze (DBIS) C/C++ Programmierung / 55

24 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

25 Semaphoren Mittel zur Synchronisation mehrerer Prozesse Zugriff auf Dateien, Shared Memory,... Werden vom Betriebssystem verwaltet Können zur Implementierung von Sperren verwendet werden Verschiedene Variantionen System V Semaphoren Posix Semaphoren Knut Stolze (DBIS) C/C++ Programmierung / 55

26 Semaphoren Mittel zur Synchronisation mehrerer Prozesse Zugriff auf Dateien, Shared Memory,... Werden vom Betriebssystem verwaltet Können zur Implementierung von Sperren verwendet werden Verschiedene Variantionen System V Semaphoren Posix Semaphoren Knut Stolze (DBIS) C/C++ Programmierung / 55

27 Funktionalität 1 Setze Semaphore 2 Warte bis Semaphore frei 3 Warte bis Semaphore frei und dann setze (test-and-set) Operationen auf Semaphoren sind atomar. Knut Stolze (DBIS) C/C++ Programmierung / 55

28 Funktionalität 1 Setze Semaphore 2 Warte bis Semaphore frei 3 Warte bis Semaphore frei und dann setze (test-and-set) Operationen auf Semaphoren sind atomar. Knut Stolze (DBIS) C/C++ Programmierung / 55

29 Erzeugen von Semaphoren Prozess legt Menge (set) von Semaphoren an Ergebnis: int semget(key_t key, int nsems, int flags) key Schlüssel für den Semaphoren-Set; Üblicherweise mittels ftok generiert Auch IPC_PRIVATE möglich nsems Anzahl der Semaphoren im Set flags IPC_CREAT Set erzeugen IPC_EXCL zu erzeugender Set darf noch nicht existieren; sonst Fehler Zugriffsrechte auf Set rwx wie bei Dateien ID des Semaphoren-Set (oder -1 bei Fehler) Knut Stolze (DBIS) C/C++ Programmierung / 55

30 Modifizieren von Semaphoren Ändern des Zustandes einer oder mehrerer Semaphoren eines Sets (atomar) int semop(int id, struct sembuf *ops, size_t num) id ID des Semaphoren-Sets von semget ops Array mit den Operationen auf dem Semaphoren-Set Jedes Element im Array beschreibt eine Operation, z.b. test auf 0 num Anzahl der Elemente in ops Knut Stolze (DBIS) C/C++ Programmierung / 55

31 semop Beschreibung einer einzelnen Operation (struct sembuf) sem_num Nummer der Semaphore im Semaphoren-Set Start bei 0 sem_op > 0 Erhöhe Zähler der Semaphore um angegebenen Wert Prozess wird nie geblockt < 0 Reduziere Zähler der Semaphore um angegebenen Wert Prozess wartet ggfs. bis Zähler der Semaphore >= angegebenen Wert = 0 Teste ob Zähler der Semaphore gleich 0 Prozess wartet bis Zähler der Semaphore 0 wird Knut Stolze (DBIS) C/C++ Programmierung / 55

32 Flags für Operationen SEM_UNDO Änderungen des aktuellen Prozesses auf der Semaphore werden beim Ende des Prozesses zurückgesetzt Betriebssystem akkumuliert Zustandsänderungen des Zählers SEM_NOWAIT Sofortiger Fehler falls die Operation nicht ausgeführt werden kann Kein Blockieren des Prozesses Knut Stolze (DBIS) C/C++ Programmierung / 55

33 Weitere Operationen int semctl(int semid, int semnum, int cmd,...) id ID des Semaphoren-Set von semget cmd Kommando auf dem Semaphoren-Set oder einzelner Semaphore IPC_RMID Set zerstören IPC_STAT Informationen über Set zurückgeben IPC_SET Setze Zähler einer Semaphore im Set GETALL Gib Zähler aller Semaphoren des Sets zurück... Knut Stolze (DBIS) C/C++ Programmierung / 55

34 Gotchas Erzeugen (semget) und Initialisieren (semctl) nicht atomar Konkurrierendes Erzeugen von Semaphoren kann ein Problem werden Dedizierter Prozess zum Anlegen der Semaphoren hilfreich Knut Stolze (DBIS) C/C++ Programmierung / 55

35 Implementierung Sperre/Latch 3 Semaphoren in einem Set 1 Zähler für aktive Leser (S-Sperre) 2 Flag für Schreiber (X-Sperre) 3 Flag zum Blockieren neuer Leser, wenn ein Schreiber bereits wartet Starvation verhindern Abhängig vom Einsatz der Sperre nicht unbedingt notwendig Knut Stolze (DBIS) C/C++ Programmierung / 55

36 Initialisierung Zähler für Lese- und Schreibsemaphore jeweils auf 0 Flag für Blockieren neuer Leser auf 1 Inverse Logik Knut Stolze (DBIS) C/C++ Programmierung / 55

37 Schreibsperre anfordern 1 Zähler für blockierte Leser um 1 reduzieren damit keine neuen Leser oder Schreiber hinzukommen können Warten bis Zähler > 0 falls anderer Schreiber bereits reduziert hat 2 Test auf Zähler für Schreiber gleich 0 3 Test auf Zähler für Leser gleich 0 4 Zähler für Schreiber um 1 erhöhen Knut Stolze (DBIS) C/C++ Programmierung / 55

38 Lesesperre anfordern 1 Zähler für blockierte Leser um 1 reduzieren Warten bis Zähler > 0, d. h. keine wartenden Schreiber 2 Zähler für Leser um 1 erhöhen 3 Zähler für blockierte Leser um 1 erhöhen Kompensieren von Schritt 1 4 Test auf Zähler von Schreiber gleich 0 Redundant mit Schritt Knut Stolze (DBIS) C/C++ Programmierung / 55

39 Sperre freigeben Schreibsperre freigeben 1 Zähler für blockierte Leser um 1 erhöhen Leser oder neue Schreiber zulassen 2 Zähler für Schreiber um 1 reduzieren Lesesperre freigeben 1 Zähler für Leser um 1 reduzieren Knut Stolze (DBIS) C/C++ Programmierung / 55

40 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

41 Message Queues Sende Nachrichten zwischen Prozessen Publish/Subscribe-System Shared Memory und Synchronisation automatisch vom Betriebssystem abgedeckt Verschiedene Messaging Systeme 1 POSIX message queues mq_open, mq_send, mq_receive,... Erlaubt Benachrichtigung bei neuen Messages in der Queue 2 XSI message queues msgget, msgsnd, msgrcv und msgctl Sehr ähnlich zu Shared Memory und Semaphoren 3... Knut Stolze (DBIS) C/C++ Programmierung / 55

42 Öffnen einer neuen oder existierenden MQ Ergebnis mqd_t mq_open(const char *name, int oflag [, mode_t mode, mq_attr attr ] ) name Name der Queue in Form /somename oflag O_RDONLY, O_WRONLY oder O_RDWR plus O_NONBLOCK, O_CREAT, O_EXCL mode Zugriffsrechte rwx wie bei Dateien Nur für O_CREAT attr Attribute für neu angelegte Queue Maximale Anzahl an Messages Maximale Größe einer Message Deskriptor der MQ (oder (mqd_t)-1 bei Fehler) Knut Stolze (DBIS) C/C++ Programmierung / 55

43 Schließen und Zerstören einer MQ Trennen der Verbindung zur MQ mqd_t mq_close(mqd_t mqdes) mqdes Deskriptor der MQ von mq_open Zerstören der MQ mqd_t mq_unlink(const char *name) name Name der Queue in Form /somename Knut Stolze (DBIS) C/C++ Programmierung / 55

44 Senden von Messages mqd_t mq_send(mqd_t mqdes, const char *msg_ptr, size_t msg_len, unsigned msg_prio) mqdes Deskriptor der MQ von mq_open msg_ptr & msg_len Message und Länge msg_prio Priorität der Message Messages mit fallender Priorität in Queue Stelle Message in Queue ein Blockiert bei vollen Queue Außer bei O_NONBLOCK Timeout mit mq_timedsend möglich Empfänger werden notified wenn Queue zuvor leer war Knut Stolze (DBIS) C/C++ Programmierung / 55

45 Empfangen von Messages mqd_t mq_receive(mqd_t mqdes, char *msg_ptr, size_t msg_len, unsigned *msg_prio) mqdes Deskriptor der MQ von mq_open msg_ptr & msg_len Puffer und Länge für Message msg_prio Priorität der Message Messages mit fallender Priorität in Queue Gibt Meldung mit höchster Priorität zurück Blockiert bei leerer Queue Außer bei O_NONBLOCK Timeout mit mq_timedreceive möglich Knut Stolze (DBIS) C/C++ Programmierung / 55

46 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

47 Werkzeuge System V (IXS) IPC-Resourcen auflisten Message Queues, Semaphore, Shared Memory Segmente ipcs Löschen einer IPC-Resource ipcrm Beispiel um alle Resources des aktuellen Nutzers zu löschen $ ipcs grep user \ > awk { system("ipcrm -" $1 " " $2); } Knut Stolze (DBIS) C/C++ Programmierung / 55

48 Outline 1 Pipes 2 Shared Memory 3 Semaphoren 4 Message Queues 5 Werkzeuge 6 Aufgaben Knut Stolze (DBIS) C/C++ Programmierung / 55

49 Aufgabe 1 Pipes Schreiben Sie zwei Programme 1 und 2, welche mit einer Unnamed Pipe kommunizieren. 1 Öffnen einer Datei, deren Dateiname als Kommandozeilenparameter übergeben wurde. Der Inhalt der Datei ist zeilenweise in die Pipe zu schreiben, die vom zweiten Programm gelesen wird. 2 Lies die Daten von der Pipe (zeilenweise). Für jede Zeile ist eine zeichenweise Umkehrung zu implementieren und das Ergebnis auf die Standardausgabe auszugeben. D. h. für jede Zeile ist zuerst das letzte, dann das vorletzte,..., das dritte, das zweite, und schlussendlich das erste Zeichen auszugeben. Z. B. wird aus dem String abcdef der String fedcba. Die Umkehrung der Reihenfolge ist in-place und ohne zusätzlichen Puffer umzusetzen. Lediglich der Speicher für eventuell benötigte Zeiger und ein zusätzlichen char ist erlaubt. Beachten Sie, dass die Zeilen beliebig lang sein können! Knut Stolze (DBIS) C/C++ Programmierung / 55

50 Aufgabe 2 Shared Memory & Semaphoren Schreiben Sie eine kleine Pufferverwaltung, die 1 in mehreren Prozessen parallel ablaufen kann, und 2 einen gemeinsamen Speicherbereich (den Puffer) für alle parallelen Prozesse verwendet, um Daten zu hinterlegen. Jeder Prozess liest Daten aus einer angegebenen Datei und schreibt Sie in den Puffer. Anschliessend ist eine (ebenfalls angegebene) Zeit zu warten, und der Pufferinhalt ist auszulesen und auf die Standardausgabe auszugeben. Wer möchte, kann den Puffer in mehrere Seiten unterteilen und eine geeignete Verwaltung von genutzten und leeren Seiten sowie eine Seitenersetzungsstrategie implementieren. Knut Stolze (DBIS) C/C++ Programmierung / 55

51 Aufgabe 3 Message Queues Implementieren Sie die gleiche Funktionalität wie in Aufgabe 1, nutzen Sie jedoch diesmal Message Queues (POSIX), um die Daten zwischen beiden Prozessen auszutauschen. Der zweite Prozess ist vom ersten Prozess aus zu starten, z. B. mit system, exec oder fork. Knut Stolze (DBIS) C/C++ Programmierung / 55