Queue-Management. Wie qmgr arbeitet KAPITEL 5

Transkript

1 KAPITEL 5 Queue-Management Der Queue-Manager-Daemon qmgr ist in vieler Hinsicht das Herz Ihres Postfix-Systems. 1 Alle Nachrichten, interne wie externe, müssen die Queue durchlaufen. Sie sollten die Queue und wie Postfix sie nutzt verstehen, damit Sie im Fehlerfall reagieren können. Der Queue-Manager verwaltet fünf unterschiedliche Queues: incoming, active, deferred, hold und corrupt. Postfix verwendet unterhalb des im queue_directory-parameter festgelegten Verzeichnisses ein separates Verzeichnis für jede Queue. Normalerweise lautet dieser Pfad /var/spool/postfix und in Bezug auf die vom Queue-Manager qmgr verwalteten Queues besitzt er folgende Verzeichnisstruktur: 2 /var/spool/postfix/incoming /var/spool/postfix/active /var/spool/postfix/deferred /var/spool/postfix/hold /var/spool/postfix/corrupt Der im Hintergrund laufende qmgr-daemon übernimmt automatisch die meisten Queue- Management-Aufgaben. Die Befehle postsuper und postqueue werden zur manuellen Verwaltung der Queue verwendet. Dieses Kapitel zeigt, wie qmgr und das Kommandozeilen- Tool arbeiten, und stellt die Postfix-Parameter vor, die die Queue beeinflussen. Wie qmgr arbeitet Abbildung 5-1 zeigt, wie Nachrichten die Queue durchlaufen. In der incoming-queue treten Nachrichten in das Postfix-System ein. Der Queue-Manager schützt das Queue- 1 Ältere Konfigurationsdateien und Dokumentationen könnten noch auf nqmgr verweisen. Frühere Postfix-Versionen wurden mit zwei Queue-Manager-Daemons, qmgr und nqmgr, geliefert. Der ursprüngliche qmgr wurde durch den aktuellen ersetzt, der einen besseren Scheduling-Algorithmus besitzt. Während der Koexistenz mit dem ursprünglichen Queue-Manager-Daemon wurde er nqmgr genannt. Nachdem er so weit war, die Nachfolge anzutreten, wurde er in qmgr umbenannt. 2 Unabhängig von den hier genannten Verzeichnissen des Queue-Managers verwendet Postfix noch weitere Queue-Unterverzeichnisse, die jedoch von anderen Komponenten des Postfix-Systems verwendet werden z.b. die Verzeichnisse bounce oder defer des Postfix-Daemons»bounce«63

2 Dateisystem durch den queue_minfree-parameter. Voreingestellt ist der Wert 0. Sie können sicher sein, dass die Festplatte, die die Queue enthält, nie überläuft, wenn Sie dieses Limit setzen. Abbildung 5-1: Wie Nachrichten die Queue durchlaufen Aus der incoming-queue verschiebt der Queue-Manager die Nachrichten in die active- Queue und ruft den entsprechenden Delivery Agent auf, um sie zu verarbeiten. In den meisten Fällen, wenn es keine Probleme mit der Zustellung gibt, wird die Queue so schnell durchlaufen, dass Sie keine Nachrichten in der Queue sehen. Wenn Postfix versucht, an einen langsamen oder nicht verfügbaren SMTP-Server auszuliefern, könnten Sie Nachrichten in der active-queue finden. Postfix wartet 30 Sekunden, um zu entscheiden, ob ein entferntes System zu erreichen ist oder nicht. Eine nicht zustellbare Datei wird in der deferred-queue abgelegt. Nachrichten werden nur dann in der deferred-queue zwischengespeichert, wenn ein temporäres Problem mit der Zustellung erkannt wird, etwa ein temporäres DNS-Problem oder wenn der Ziel-Server ein temporäres Problem meldet. Bei abgelehnten Nachrichten oder wenn ein permanenter Fehler erkannt wird, werden die Nachrichten direkt in einer Fehlermeldung an den Sender zurückgeschickt und verbleiben nicht in der Queue. Verzögerte Zustellung von Nachrichten bleiben in der deferred-queue, bis sie entweder erfolgreich zugestellt werden können oder für veraltet erklärt (expire) und an den Sender zurückgeschickt werden. Der bounce_size_limit-parameter legt fest, wie viel einer nicht zuzustellenden Nachricht mit der Fehlermeldung zurück an den Sender geschickt wird. Voreingestellt sind Bytes. Ist die Zustellung einer Nachricht fehlgeschlagen, markiert Postfix sie mit einem Timestamp, der angibt, wann der nächste Versuch einer Zustellung erfolgen soll. Postfix hält eine kurzfristige Liste der Systeme vor, die nicht zu erreichen sind, um unnötige Zustellversuche zu vermeiden. Ist eine zwischengespeicherte Nachricht für einen erneuten Zustellungsversuch vorgesehen, und ist genug Platz in der active-queue verfügbar, dann 64 Kapitel 5: Queue-Management

3 wechselt der Queue-Manager zwischen Nachrichten aus den deferred- und incoming- Queues ab, so dass neue Nachrichten nicht durch einen großen Rückstand noch nicht zugestellter Nachrichten blockiert werden. Queue-Scheduling Postfix fragt die Queue regelmäßig ab, um zu sehen, ob noch nicht zugestellte Nachrichten vorliegen, deren Timestamps einen weiteren Zustellungsversuch anzeigen. Bei weiteren fehlerhaften Zustellungsversuchen werden die planmäßigen Wartezeiten (Delays) verdoppelt, d.h., Postfix wartet immer länger, je öfter es versucht, eine Nachricht zuzustellen. Sie können die maximale Verzögerung mit dem Parameter maximal_queue_ lifetime festlegen. Wird diese Zeitspanne überschritten, gibt Postfix den Versuch, die Nachricht zuzustellen, auf und sendet sie an den Sender zurück. Standardmäßig beträgt diese Zeitspanne 5 Tage (5d). Sie können eine beliebige Zeitspanne einstellen oder 0, wenn die Mail sofort zurückgeschickt werden soll. Die Abfrage der Queues erfolgt in einem Intervall, das im Parameter queue_run_delay festgelegt wird. Standardmäßig ist dieser Parameter mit 1000 Sekunden (1000s) voreingestellt. Mit dieser Einstellung prüft Postfix alle 1000 Sekunden, ob in der deferred-queue irgendwelche Nachrichten auf eine erneute Zustellung warten. Die Parameter minimal_backoff_time und maximal_backoff_time legen die minimalen und maximalen Zeitlimits dafür fest, wie oft Postfix versuchen soll, noch nicht ausgelieferte Nachrichten zuzustellen. Jedes Mal, wenn eine Nachricht nicht zugestellt werden kann, erhöht der Queue-Manager die Zeitspanne, die er wartet, bevor er eine erneute Zustellung dieser Nachricht versucht. Die berechnete Erhöhung der Zeit darf maximal_ backoff_time (standardmäßig 4000 Sekunden) nie überschreiten und ist niemals kleiner als minimal_backoff_time (standardmäßig 1000 Sekunden). Wenn Sie einen großen Rückstand noch nicht zugestellter Nachrichten entdecken, können Sie maximal_backoff_time erhöhen, damit Postfix seine Ressourcen nicht damit verschwendet zu versuchen, Nachrichten an nicht verfügbare Server zuzustellen. Zustellung von Nachrichten Der Queue-Manager sorgt für die Auslieferung von Nachrichten durch Aufruf der geeigneten Delivery Agents. Postfix achtet dabei darauf, die Zielsysteme nicht zu überlasten, und stellt verschiedene Parameter bereit, die die Ressourcen für ausgehende Nachrichten kontrollieren. In den meisten Fällen sind die Voreinstellungen korrekt. Wenn es aber zu Problemen mit den Ressourcen kommt oder wenn Sie die Zustellung optimieren wollen, können Sie mit der Queue-Manager-Konfiguration experimentieren. Ausgehende Nachrichten können über jeden Transport zugestellt werden, der in der master.cf-datei verfügbar ist. Jeder Transport kann ein Limit für die Gesamtzahl von Prozessen besitzen, die in der maxproc-spalte (siehe den Abschnitt»master.cf«in Kapitel 4) festgelegt Wie qmgr arbeitet 65

4 wird. Wenn dort kein Wert spezifiziert wurde, verwendet Postfix default_process_limit als Grenze. Der initial_destination_concurrency-parameter beschränkt die Zahl der anfänglich gesendeten Nachrichten (voreingestellt sind fünf). Sie können den Wert erhöhen, er kann aber den maxproc- oder default_process_limit-wert des verwendeten Transports nicht übersteigen. Sind nach der ersten Zustellung weitere Nachrichten für ein bestimmtes Ziel in der Queue, erhöht Postfix die Zahl gleichzeitiger Zustellungsversuche, solange es mit der aktuellen Last kein Problem auf dem Zielsystem erkennt. Postfix erhöht die Anzahl gleichzeitiger Zustellungen bis zu dem Wert, der im default_destination_concurrency_limit-parameter festgelegt wurde. Er liegt standardmäßig bei 20. Im Allgemeinen sollten Sie dieses Limit nicht erhöhen, da Sie sonst Gefahr laufen, das empfangende System zu überlasten. Sie können den default_destination_concurrency_limit-wert für jeden Transport überschreiben, indem Sie einen Parameter der Form transport_destination_concurrency_ limit setzen. Zum Beispiel können Sie gleichzeitige Verbindungen zu externen Systemen mit dem Parameter smtp_destination_concurrency_limit beschränken und die lokale Zustellung mit local_destination_concurrency_limit. Es gibt auch Parameter der Form transport_destination_recipient_limit, die festlegen, wie viele Empfänger Postfix für eine einzige Kopie einer -Nachricht erlaubt. Ist ein transport-spezifischer Wert nicht konfiguriert, wird die Voreinstellung aus default_ destination_recipient_limit übernommen. Übersteigt die Anzahl der Empfänger einer Nachricht diese Grenze, teilt Postfix die Liste der Empfänger in kleinere Adressgruppen auf und sendet separate Kopien der Nachricht an jede dieser Gruppen. Beschädigte Nachrichten Die corrupt-queue wird nur dazu verwendet, um beschädigte oder auf andere Weise unleserliche Nachrichten zu speichern. Ist eine Nachricht zu beschädigt, um irgendetwas mit ihr anzufangen, legt Postfix sie hier ab. Wenn Sie die Sache untersuchen wollen, ist die Nachricht in der Queue verfügbar und kann bei Bedarf betrachtet werden. Beschädigte Nachrichten sind sehr selten. Kommen sie vor, ist das ein Hinweis auf ein zugrunde liegendes Betriebssystem- oder Hardware-Problem. Benachrichtigungen bei Fehlern Postfix kann bestimmte Fehler melden, indem es Fehlermeldungen an einen Administrator sendet. Postfix klassifiziert Fehler für solche Benachrichtigungen wie in Tabelle 5-1. Der notify_classes-parameter in main.cf enthält die Liste der Fehlerklassen, die solche Fehlermeldungen erzeugen sollen. Standardmäßig enthält der Parameter die Fehler»resource«und»software«. Jede Fehlerklasse kann so konfiguriert werden, dass die Benachrichtigung an eine bestimmte -Adresse geschickt wird. Hierzu dienen Parameter der Form klasse_ 66 Kapitel 5: Queue-Management

5 notice_recipient. Per Voreinstellung wird alles an postmaster geschickt. Tabelle 5-1 enthält eine Liste möglicher Fehlerklassen, zusammen mit den Parametern, die festlegen, wer die Fehlermeldungen erhalten soll. Tabelle 5-1: -Fehlermeldungen Fehlerklasse Beschreibung Parameter für Empfänger bounce Sendet Header für alle zurückgeschickten (bounced) bounce_notice_recipient Nachrichten. 2bounce Sendet unzustellbare, zurückgeschickte Nachrichten. 2bounce_notice_recipient delay Sendet Header noch nicht zugestellter Nachrichten. delay_notice_recipient policy Sendet das Transkript einer SMTP-Transaktion, wenn error_notice_recipient eine Nachricht auf Grund von Anti-Spam-Beschränkungen abgelehnt wurde. protocol Sendet das Transkript jeder fehlerhaften SMTP-Transaktion. error_notice_recipient resource Sendet eine Meldung, dass die Nachricht auf Grund error_notice_recipient eines Problems mit den Systemressourcen noch nicht ausgeliefert werden konnte. software Sendet eine Meldung, dass die Nachricht auf Grund eines Softwareproblems nicht ausgeliefert werden konnte. error_notice_recipient Wenn Sie alle Fehlermeldungen empfangen wollen, setzen Sie den Parameter wie folgt: notify_classes = bounce, 2bounce, delay, policy, protocol, resource, software Queue-Tools Postfix stellt Kommandozeilen-Tools zur Verfügung, mit deren Hilfe Sie die Nachrichten in Ihrer Queue ansehen und verwalten können. Die primären Befehle sind postsuper und postqueue. Sie können folgende Dinge mit den Nachrichten in der Queue machen: Auflisten von Nachrichten Löschen von Nachrichten Festhalten von Nachrichten Requeuing von Nachrichten Ausgabe von Nachrichten Flushing von Nachrichten Jede dieser Arbeiten und die Befehle, die dazu erforderlich sind, sind in den folgenden Abschnitten aufgeführt. Queue-Tools 67

6 Auflisten der Queue Das Queue-Listing enthält einen Eintrag für jede Nachricht, der die Message-ID, die Größe, den Zeitpunkt des Eintreffens sowie die Sender- und Empfänger-Adresse angibt. Noch nicht zugestellte Nachrichten enthalten auch den Grund für die verzögerte Auslieferung. Nachrichten in der active-queue werden mit einem Sternchen hinter der Queue- ID markiert. Nachrichten in der hold-queue werden mit einem Ausrufezeichen markiert. Noch nicht zugestellte Nachrichten werden nicht markiert. Sie können sich alle Nachrichten in der Queue mit dem Befehl postqueue -p ansehen. Postfix stellt auch einen Sendmail-kompatiblen mailq-befehl zur Verfügung. Der Postfix- Ersatz für mailq erzeugt die gleiche Ausgabe wie postqueue -p. Ein typischer Queue-Eintrag sieht wie folgt aus: $ postqueue -p -Queue ID- --Size Arrival Time---- -Sender/Recipient DBA3F1A9 553 Mon May 5 14:42:15 kdent@example.com (connect to mail.ora.com[ ]: Connection refused) kdent@ora.com Da dieser Eintrag weder mit einem Sternchen noch mit einem Ausrufezeichen markiert ist, liegt er in der deferred-queue. Löschen von Nachrichten Der postsuper-befehl erlaubt das Löschen von Nachrichten aus der Queue. Um die Nachricht im obigen Beispiel-Eintrag zu löschen, führen Sie postsuper mit der Option -d aus: # postsuper -d DBA3F1A9 postsuper: DBA3F1A9: removed postsuper: Deleted: 1 message Müssen viele Nachrichten entfernt werden, können Sie die gesamte Queue mit dem Argument ALL löschen: # postsuper -d ALL postsuper: Deleted: 23 messages Das ALL-Argument muss großgeschrieben werden. Sie müssen bei der Verwendung dieses Befehls vorsichtig sein, weil er alle in der Queue liegenden Nachrichten löscht, ohne irgendwelche Fragen zu stellen. Anstatt alle oder nur eine Nachricht aus der Queue zu löschen, möchten Sie häufig Nachrichten mit einer bestimmten -Adresse entfernen. Beispiel 5-1 ist ein Perl-Skript, das eine praktische Möglichkeit bietet, eine -Adresse anzugeben und entsprechende Nachrichten aus der Queue zu entfernen. 68 Kapitel 5: Queue-Management

7 Beispiel 5-1: Nachrichten basierend auf der -Adresse aus der Queue löschen #!/usr/bin/perl -w # # pfdel - Löscht Nachrichten mit einer bestimmten Adresse aus der # Postfix-Queue. Prüft Sender- und Empfänger-Adresse. # # Verwendung: pfdel < -Adresse> # use strict; # Pfade bei Bedarf anpassen. my $LISTQ = "/usr/sbin/postqueue -p"; my $POSTSUPER = "/usr/sbin/postsuper"; my $ _addr = ""; my $qid = ""; my $euid = $>; if 1 ) { die "Verwendung: pfdel < -Adresse>\n"; else { $ _addr = $ARGV[0]; if ( $euid!= 0 ) { die "Nur root kann Queue-Dateien löschen.\n"; open(queue, "$LISTQ ") die "Kann keine Pipe mit $LISTQ herstellen: $!\n"; my $entry = <QUEUE>; # Einzelne Headerzeile überspringen $/ = ""; # Restliche Queue-Einträge sind auf # mehrere Zeilen verteilt. while ( $entry = <QUEUE> ) { if ( $entry =~ / $ _addr$/m ) { ($qid) = split(/\s+/, $entry, 2); $qid =~ s/[\*\!]//; next unless ($qid); close(queue); # # postsuper -d mit der Queue-ID ausführen. # postsuper liefert eine Rückmeldung, wenn es # Nachrichten löscht. Ausgabe durchlassen. # if ( system($postsuper, "-d", $qid)!= 0 ) { # Bei Problem mit postsuper abbrechen. die "Ausführungsfehler bei $POSTSUPER: Fehler". "code ". ($?/256). "\n"; Queue-Tools 69

8 Beispiel 5-1: Nachrichten basierend auf der -Adresse aus der Queue löschen (Fortsetzung) if (! $qid ) { die "Keine Nachrichten mit der Adresse <$ _addr> ". "in der Queue gefunden.\n"; exit 0; Festhalten von Nachrichten Die hold-queue steht für Nachrichten zur Verfügung, die Sie für unbestimmte Zeit in der Queue festhalten wollen. Abbildung 5-2 zeigt die hold-queue und wie man Nachrichten in die hold-queue verschiebt. Von dort werden die Nachrichten nicht zugestellt, bis Sie sie explizit löschen oder wieder an die normale Queue zur Verarbeitung übergeben. Um die Beispiel-Nachricht in der hold-queue zu platzieren, verwenden Sie den Befehl postsuper -h: # postsuper -h DBA3F1A9 Der Queue-Eintrag enthält nun ein Ausrufezeichen, um anzuzeigen, dass die Verarbeitung angehalten wurde: -Queue ID- --Size Arrival Time---- -Sender/Recipient DBA3F1A9! 553 Mon May 5 14:42:15 kdent@example.com (connect to mail.ora.com[ ]: Connection refused) kdent@ora.com Abbildung 5-2: Nachrichten in der hold-queue ablegen Um die Nachricht für die normale Verarbeitung wieder in die normale Queue zu verschieben, führen Sie den Befehl mit einem großen -H aus: # postsuper -H DBA3F1A9 Nachdem die Nachricht wieder zurückverschoben wurde, markiert der Queue-Manager sie entsprechend seinem normalen Zeitplan für die erneute Zustellung. Alternativ können Sie ein Flushing der Nachricht vornehmen, um sie sofort zu senden (siehe den Abschnitt»Flushing von Nachrichten«). 70 Kapitel 5: Queue-Management

9 Requeuing von Nachrichten Wurden Nachrichten auf Grund eines Konfigurationsproblems in der deferred-queue zwischengespeichert und wurde das Problem zwischenzeitlich behoben, dann können Sie die Nachrichten wieder der Queue zuführen, um sie erfolgreich zuzustellen. Wenn eine falsche Konfiguration dazu geführt hat, dass falsche Informationen über den nächsten Hop oder die Transportmethode gespeichert wurden, oder wenn die Adresse falsch umgeschrieben wurde, dann sorgt das Requeuing dafür, dass Postfix die falschen Informationen anhand auf Ihrer neuen Konfiguration aktualisiert. Der Befehl postsuper verwendet die Option -r zum Requeuing von Nachrichten. Sie können die Queue-ID für eine einzelne Nachricht oder das großgeschriebene Wort ALL für alle Nachrichten verwenden: # postsuper -r ALL Erneut in die Queue eingeführte Nachrichten erhalten eine neue Queue-ID und einen zusätzlichen Received:-Header. Ausgabe von Nachrichten Der postcat-befehl gibt den Inhalt einer Queue-Datei aus: # postcat -q DBA3F1A9 Frühe postcat-versionen haben die Option -q nicht unterstützt, sondern benötigten den vollständigen Pfad auf die Queue. Weil eine Nachricht in jeder der vorhandenen Queues (maildrop, incoming, active, deferred, hold) liegen kann und weil jede dieser Queues mehrere Unterverzeichnisse besitzt, ist der Pfad auf eine bestimmte Queue-Datei nicht sofort ersichtlich. Wenn Sie eine dieser frühen postcat-versionen nutzen, die die Option -q nicht unterstützt, können Sie ein Shell-Skript wie in Beispiel 5-2 verwenden. Es bietet eine bequeme Möglichkeit, sich eine Queue-Datei anhand ihrer Queue-ID anzusehen. Das Skript akzeptiert die Queue-ID als Argument, durchsucht alle Queue-Verzeichnisse nach der Queue-Datei und führt dann postcat mit dem vollständigen Pfad als Argument aus. Der Inhalt der Datei wird dann ausgegeben. Dieses einfache Skript gibt nur jeweils eine Queue-Datei aus. Beispiel 5-2: Wrapper-Skript für postcat #!/bin/sh PATH=/usr/bin:/usr/sbin QS="deferred active incoming maildrop hold" QPATH=`postconf -h queue_directory` if [ $# -ne 1 ]; then echo "Verwendung: pfcat <Queue-ID>" exit 1 fi if [ `whoami`!= "root" ]; then Queue-Tools 71

10 Beispiel 5-2: Wrapper-Skript für postcat (Fortsetzung) fi echo "Nur root kann sich Queue-Dateien ansehen." exit 1 if [! -d $QPATH ]; then echo "Kann Queue-Verzeichnis $QPATH nicht finden." exit 1 fi for q in $QS do FILE=`find $QPATH/$q -type f -name $1` if [ -n "$FILE" ]; then postcat $FILE exit 0 fi done if [ -z $FILE ]; then echo "Queue-Datei $1 nicht gefunden" exit 1 fi Flushing von Nachrichten Das Flushing der Queue veranlasst Postfix zu dem Versuch, die Nachrichten in der Queue sofort zuzustellen. Das Flushing der Queue erfolgt mit dem Befehl postqueue -f. Solange Sie allerdings Grund haben anzunehmen, dass die Zustellung erfolgreich ist, sollten Sie diese Arbeit dem Postfix-Queue-Manager überlassen. Wiederholtes Queue-Flushing kann sich deutlich auf die Performance Ihres Mailservers auswirken. Ein Flushing von Nachrichten für eine bestimmte Site ist mit der Option -s möglich. Die Site muss zu einem sog. fast flush berechtigt sein, damit das funktionieren kann. Diese Berechtigung erhält die Site durch einen Eintrag im fast_flush_domains-parameter. Standardmäßig umfasst fast_flush_domains alle in relay_domains aufgeführten Hosts, Sie können aber zusätzliche Sites aufnehmen, die vor den planmäßigen erneuten Zustellungsversuchen herausgeschrieben werden sollen. fast_flush_domains = $relay_domains example.com Wenn Sie wissen, dass eine zeitweilig nicht verfügbare, berechtige Site wieder s annimmt, führen Sie postqueue mit der Option -s aus und übergeben gleichzeitig den Namen der Site: # postqueue -s example.com Weitere Informationen zum»fast Flush«und zum SMTP-Befehl ETRN finden Sie in Kapitel Kapitel 5: Queue-Management