Management und Überwachung des Squid- Proxy-Servers

Transkript

1 :35. 1/17 Management und Überwachung des Squid-Proxy-Servers Management und Überwachung des Squid- Proxy-Servers Im letzten Kapitel befassen wir uns nun mit dem Managemnt und Überwachung unseres Squid-Proxy- Server unter CentOS 6.x. Cache Manager Interface Der Squid-Proxy-Server bringt bei der Installation das CMI 1), ein sehr umfangreiches WEB-basierendes Management Interface, mit. Das CMI ist ein CGI (Common Gateway Interface). Dieses CGI 2) kann auf einen beliebigen Webserver installiert werden, der natürlich eine Verbindung zu unserem Proxyserver haben, wie auch die CGI-Funktionalität unterstützen muss. cachemgr.conf In der cachemgr.conf auf welchen Zielhost (Squid_Server zugegriffen werden soll. Mit dem Editor unserer Wahl bearbeiten wir diese Konfigurationsdatei. vim /etc/squid/cachemgr.conf /etc/squid/cachemgr.conf This file controls which servers may be managed by the cachemgr.cgi script The file consists of one server per line on the format hostname:port description Specifying :port is optional. If not specified then the default proxy port is assumed. :* or :any matches any port on the target server. hostname is matched using shell filename matching, allowing * and other shell wildcards. Django Definition des Squid-Proxy-Servers default : localhost proxy.dmz.nausch.org

2 Last update: :28. centos:squid:management squid.conf In der zentralen Konfigurationsdatei unseres Squid-Servers, nehmen wir nun noch die notwendigen Konfigurationen vor. So erlauben wir nicht nur den Zugriff auf den CMI vom lokalen Host aus, sondern auch aus dem lokalen Netzwerk. Hierzu erweitern wir Freigabe der ACL für unseren manager http_access allow manager localnet Ferner setzen wir noch ein Passwort für unseren Cache-Manager cache_mgr, den wir bereits bei der Erstkonfiguration angelegt hatten. cachemgr_passwd S0g3ned! all Den Zugriff auf die Menüpunkte: shutdown offline_toggle reconfigure sperren wir. Hierzu tragen wir die folgende Zeile am Ende unserer Konfigurationsdatei ein: cachemgr_passwd disable shutdown offline_toggle reconfigure Wollen wir einzelnen Befehle sperren, so Hilft die Dokumentation der Squid configuration directives bei weiter. All dies erledigen wir mit unserem Lieblingseditor, z.b.: vim vim /etc/squid/squid.conf In Summer ergibt sich somit folgende Gesamtkonfiguration unseres Squid-Servers. /etc/squid/squid.conf Django : LDAP-Benutzerauthentifizierung auth_param basic program /usr/lib64/squid/squid_ldap_auth -b "ou=people,dc=nausch,dc=org" -f "uid=%s" -h ldap.dmz.nausch.org -D "cn=technischeruser,dc=nausch,dc=org" -W "/etc/squid/ldap_passwd" -d auth_param basic children 4 auth_param basic utf8 on auth_param basic concurrency on auth_param basic realm Bitte geben Sie Ihren Benutzernamen und Passwort fuer die Internetberechtigung ein! auth_param basic credentialsttl 60 minutes auth_param basic casesensitive off Recommended minimum configuration: Django : NICHT cachen von dynamischen Inhalten (cgiscripte) Printed on :35.

3 :35. 3/17 Management und Überwachung des Squid-Proxy-Servers acl QUERY urlpath_regex cgi_bin \? acl manager proto cache_object acl localhost src /32 Django : IPv6 deaktiviert acl localhost src ::1/128 acl to_localhost dst / /32 Django : IPv6 deaktiviert acl to_localhost dst ::1/128 Example rule allowing access from your local networks. Adapt to list your (internal) IP networks from where browsing should be allowed Django : Definition des/der eigenen Netzwerke acl localnet src /8 RFC1918 possible internal network acl localnet src /12 RFC1918 possible internal network acl localnet src /16 RFC1918 possible internal network acl localnet src fc00::/7 RFC 4193 local private network range acl localnet src fe80::/10 RFC 4291 link-local (directly plugged) machines acl localnet src /24 acl localnet src /26 Django : LDAP-Benutzerauthentifizierung acl ldap_auth proxy_auth REQUIRED acl SSL_ports port 443 acl Safe_ports port 80 http acl Safe_ports port 21 ftp acl Safe_ports port 443 https acl Safe_ports port 70 gopher acl Safe_ports port 210 wais acl Safe_ports port unregistered ports acl Safe_ports port 280 http-mgmt acl Safe_ports port 488 gss-http acl Safe_ports port 591 filemaker acl Safe_ports port 777 multiling http acl CONNECT method CONNECT Django : Ausnahmeregelung für den Zugriff ohne caching aktiviert acl noauthsites url_regex repository\.nausch\.org/* acl noauthsites url_regex static-cdn\.addons\.mozilla\.net:443 acl noauthsites url_regex ocsp\.digicert\.com/* acl noauthsites url_regex ocsp\.verisign\.com/* acl noauthsites url_regex evsecure-ocsp\.verisign\.com/* acl noauthsites url_regex releases\.mozilla\.org/* acl noauthsites url_regex addons\.mozilla\.org:443 acl noauthsites url_regex services\.addons\.mozilla\.org:443

4 Last update: :28. centos:squid:management Django : Anpassen der Request-IP-Adresseder Clients bei Verwendung von Dansguardian follow_x_forwarded_for allow localhost follow_x_forwarded_for allow localnet Recommended minimum Access Permission configuration: Only allow cachemgr access from localhost http_access allow manager localhost Django Zugriff auch aus dem lokalen Netz erlauben http_access allow manager localnet http_access deny manager Deny requests to certain unsafe ports http_access deny!safe_ports Deny CONNECT to other than secure SSL ports http_access deny CONNECT!SSL_ports We strongly recommend the following be uncommented to protect innocent web applications running on the proxy server who think the only one who can access services on "localhost" is a local user http_access deny to_localhost INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS Example rule allowing access from your local networks. Adapt localnet in the ACL section to list your (internal) IP networks from where browsing should be allowed Django : Zugriffsregeln für die LDAP- Benutzerauthentifizierung default: http_access allow localnet http_access allow localhost http_access allow localhost noauthsites http_access allow localhost ldap_auth http_access allow localnet noauthsites http_access allow localnet ldap_auth And finally deny all other access to this proxy http_access deny all Squid normally listens to port 3128 http_port 3128 We recommend you to use at least the following line. Printed on :35.

5 :35. 5/17 Management und Überwachung des Squid-Proxy-Servers hierarchy_stoplist cgi-bin? Uncomment and adjust the following to add a disk cache directory. cache_dir ufs /var/spool/squid Django : Squid Cache aktiviert cache_dir ufs /var/spool/squid Django : Cache-Memory heruntergesetzt, wegen der Fehlermeldung WARNING cache_mem is larger than total disk cache space! default cache_mem 256 MB cache_mem 100 MB Leave coredumps in the first cache dir coredump_dir /var/spool/squid Django : Aktivieren der ACL-Regel zum Unterdrücken des Cachen von dynamischen Inhalten cache deny QUERY Add any of your own refresh_pattern entries above these. refresh_pattern ^ftp: % refresh_pattern ^gopher: 1440 % 1440 refresh_pattern -i (/cgi-bin/ \?) % refresh_pattern. 20% 4320 Django : Definition des Squid-Logformates logformat squid %tl.%03tu %6tr %>a %un %Ss/%03>Hs %<st %rm %ru %Sh/%<A %mt Django : deutsche Rückmeldungen bei den Fehlermeldungen aktiviert error_directory /usr/share/squid/errors/de error_default_language de Django : Serveralias statt des Hostnamens ausgeben: visible_hostname proxy.dmz.nausch.org Django : Unterdrücken der Squidversion bei der Ausgabe von Fehlerseiten httpd_suppress_version_string on Django : Setzen des Cache-Admins und Angabe der adresse cache_mgr squid-manager@nausch.org Django : Setzen der -absendeadresse im Fehlerfall mail_from squid-proxy@nausch.org Django : Konfiguration des CMI (Sperren von Menüpunkten

6 Last update: :28. centos:squid:management uns setzen des Manager-Passwortes) cachemgr_passwd disable shutdown offline_toggle reconfigure cachemgr_passwd S0g3ned! all Zur Aktivierung unserer Konfiguration starten wir nun unseren Squid-Server einmal durch. service squid restart Stopping squid:... [ OK ] Starting squid:. [ OK ] Apache Konfiguration Bei der Installation unseres Squid-Proxy-Servers wurde bereits die nötige Apache-Konfigurationsdatei squid.conf im Verzeichnis /etc/httpd/conf.d/squid.conf abgelegt. Diese Datei passen wir nun unseren Bedürfnissen an. Die Konfiguration wird sich dabei im ersten Schritt wohl auf die Definition der erlaubten Zugriffe, also allow from beschränken. vim /etc/httpd/conf.d/squid.conf /etc/httpd/conf.d/squid.conf This is /etc/httpd/conf.d/squid.conf ScriptAlias /Squid/cgi-bin/cachemgr.cgi /usr/lib64/squid/cachemgr.cgi Only allow access from localhost by default <Location /Squid/cgi-bin/cachemgr.cgi> order allow,deny allow from /24 allow from /26 allow from localhost.localdomain Add additional allowed hosts as needed allow from.example.com </Location> Zugriffstest auf das CMI Mit einem Browser greifen wir dann auf die definierte Webseite zu und erreichen die WEB-GUI des CMI. Printed on :35.

7 :35. 7/17 Management und Überwachung des Squid-Proxy-Servers Hier geben wir den Namen des definierten Managers cache_mgr sowie das zugehörieg Passwort, welches wir unter cachemgr_passwd definiert hatten, ein.

8 Last update: :28. centos:squid:management Squid Graph Zur Darstellung der Squid-Acces Logs gibt es im Netz unzählige Scripte und Programme. Eine einfache Variante zur übersichtlichen graphischen Aufbereitung kann mittels dem Projekt Squid Graph erfolgen. vorbereitende Installation Die für Squid-Graph notwenigen Programmabhängigkeiten installieren wir vor der eigentlichen Installation von Squid-Graph via yum. yum install gd perl-gdgraph3d -y Printed on :35.

9 :35. 9/17 Management und Überwachung des Squid-Proxy-Servers Download Von der Projektseite bei Sourceforge holen wir uns das Pgrogrammarchiv auf unseren Rechner. wget raph-3.2.tar.gz Installation Die Installation von Squid-Graph selbst ist relativ einfach und schnell erledigt. Als erstes entpacken das heruntergeladene Archiv. tar -zxvf squid-graph-3.2.tar.gz Anschließend verscheiben wir das erhaltene Verzeichnis an den Platz unserer Wahl. mv squid-graph /usr/local/ Konfiguration Zur Darstellung der Auswertungsergebnisse werden wir einen internen Webserver verwenden. Wir legen hierzu auf diesem ein Zielverzeichnis an. mkdir /var/www/html/squid-graph Als nächstes holen wir uns noch die Logo-Graphik auf unseren Server; hierzu wechseln wir einfach in unser zuvor angelegtes Webserver-Verzeichnis. cd /var/www/html/squid-graph wget vhost-definition Da wir für die Präsentation der Ergebnisse einen vhost auf unserem Webserver verwenden wollen, benötigen wir noch eine entsprechende Konfigurationsdatei. Diese legen wir im nächsten Schritt an. vim /etc/httpd/conf.d/vhosts.conf vim /etc/httpd/conf.d/vhosts.conf squid-graph.nausch.org

10 Last update: :28. centos:squid:management <VirtualHost *:80> ServerAdmin ServerName squid-graph.nausch.org:80 ServerAlias squid-graph.nausch.org ServerPath / DocumentRoot "/var/www/squid-graph" <Directory "/var/www/squid-graph"> Options -Indexes FollowSymLinks Order deny,allow Deny from all Allow from Allow from /24 Allow from /26 </Directory> DirectoryIndex index.html ErrorLog logs/squid-graph_error.log CustomLog logs/squid-graph_access.log combined </VirtualHost> Bevor wir die Konfiguration neu laden, überprüfen wir noch die Ändewrungen auf Syntaxfehler. service httpd configtest Syntax OK Zur Aktivierung starten wir nun den Apache-Webserver einmal durch. service httpd restart Programmstart Der Aufruf von Squid-Graph selbst ist sehr einfach, beschränkt es sich doch beim Programmaufruf auf folgende Parameter: output-dir=/var/www/squid-graph/ dem Ausgabeverzeichnis </var/log/squid/access.log dem Squidlog /usr/local/squid-graph/squid-graph --output-dir=/var/www/squid-graph/ </var/log/squid/access.log [Thu Nov 17 17:16: ] Squid-graph 3.2 release OK. Program started. [Thu Nov 17 17:16: ] Graph domain is seconds. [Thu Nov 17 17:16: ] Setting report title to "Squid Graph Logfile Analysis Report". [Thu Nov 17 17:16: ] Configured for default histograms. [Thu Nov 17 17:16: ] Configured have_tcp and have_udp. [Thu Nov 17 17:16: ] Transfer duration graph(s) enabled. [Thu Nov 17 17:16: ] Configured start time to Printed on :35.

11 :35. 11/17 Management und Überwachung des Squid-Proxy-Servers [Thu Nov 17 17:16: ] Reading STDIN for logfile input. [Thu Nov 17 17:16: ] Calculating averages for TCP/UDP transfer duration. [Thu Nov 17 17:16: ] Done reading 2188 lines from logfile on STDIN. ( errors) [Thu Nov 17 17:16: ] Analysis duration is 1 seconds, 2188 lines/sec. [Thu Nov 17 17:16: ] Creating TCP image objects. [Thu Nov 17 17:16: ] Creating UDP image objects. [Thu Nov 17 17:16: ] Plotting graph of TCP accesses. [Thu Nov 17 17:16: ] Plotting graph of TCP transfers. [Thu Nov 17 17:16: ] Plotting graph of TCP transfer duration. [Thu Nov 17 17:16: ] Plotting graph of UDP accesses. [Thu Nov 17 17:16: ] Plotting graph of UDP transfers. [Thu Nov 17 17:16: ] Plotting graph of UDP transfer duration. [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/tcpaccess.png [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/tcptransfer.png [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/tcpduration.png [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/udpaccess.png [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/udptransfer.png [Thu Nov 17 17:16: ] Writing to file /var/www/squid-graph/udpduration.png [Thu Nov 17 17:16: ] Gathering additional statistics. [Thu Nov 17 17:16: ] Writing index.html file. [Thu Nov 17 17:16: ] Done. [Thu Nov 17 17:16: ] Remember to copy logo.png found in your Squid Graph images/ directory to /var/www/squid-graph! Client-Ansicht Rufen wir nun in einem Browser unseren vorher definierten vhost auf, so werden übersichtlich die wichtigsten Werte dargestellt.

12 Last update: :28. centos:squid:management Printed on :35.

13 :35. 13/17 Management und Überwachung des Squid-Proxy-Servers automatische Generierung der Webseite Damit in regelmäßigen Abständen automatisch die Übersichtsgraphiken erstellt werden, reicht es einfach aus, einen cronjob einzurichten. crontab -e Django squid-graph Seiten Update alle 5 Minuten */5 * * * * /root/bin/squid-graph.sh 1>/dev/null 2>&1 crontab: installing new crontab SARG - Squid Analysis Report Generator Eine weitere interessante Variante zum Auswerten des Squid-Access-Logfiles ist die Web-Applikation Squid Analysis Report Generator, oder kurz SARG. Download Von der Projektseite holen wir uns das passende RPM für CentOS 6 auf unseren Rechner. cd /usr/local/src/packages wget Installation Die Installation von SARG ist Dank des RPMs einfach durchzuführen. yum --nogpgcheck localinstall /usr/local/src/packages/sarg el6.rft.x86_64.rpm -y Was uns das RPM alles mitgebracht hat, erkunden wir mit Hilfe des Befehls rpm. rpm -qil sarg Name : sarg Relocations: (not relocatable)

14 Last update: :28. centos:squid:management Version : Vendor: Dag Apt Repository, Release : 1.el6.rft Build Date: Thu 26 Jan :12:09 AM CET Install Date: Mon 19 Mar :42:01 PM CET Build Host: lisse.hasselt.wieers.com Group : Applications/Internet Source RPM: sarg el6.rft.src.rpm Size : License: GPL Signature : DSA/SHA1, Thu 26 Jan :47:24 AM CET, Key ID a20e52146b8d79e6 Packager : Dag Wieers <dag@wieers.com> URL : Summary : Squid usage report generator per user/ip/name Description : Squid Analysis Report Generator is a tool that allows you to view "where" your users are going to on the Internet. Sarg generate reports in html showing users, IP addresses, bytes, sites and times. /etc/cron.daily/sarg /etc/cron.monthly/sarg /etc/cron.weekly/sarg /etc/httpd/conf.d/sarg.conf /etc/sarg /etc/sarg/exclude_codes /etc/sarg/fonts /etc/sarg/fonts/dejavusans.ttf /etc/sarg/fonts/freesans.ttf /etc/sarg/fonts/readme /etc/sarg/fonts/license /etc/sarg/images /etc/sarg/images/datetime.png /etc/sarg/images/graph.png /etc/sarg/images/sarg-squidguard-block.png /etc/sarg/images/sarg.png /etc/sarg/languages /etc/sarg/languages/afrikaans /etc/sarg/languages/bulgarian_windows1251 /etc/sarg/languages/catalan /etc/sarg/languages/czech /etc/sarg/languages/czech_utf8 /etc/sarg/languages/dutch /etc/sarg/languages/english /etc/sarg/languages/french /etc/sarg/languages/german /etc/sarg/languages/greek /etc/sarg/languages/hungarian /etc/sarg/languages/indonesian /etc/sarg/languages/italian /etc/sarg/languages/japanese /etc/sarg/languages/latvian /etc/sarg/languages/polish Printed on :35.

15 :35. 15/17 Management und Überwachung des Squid-Proxy-Servers /etc/sarg/languages/polish_windows1250 /etc/sarg/languages/portuguese /etc/sarg/languages/romanian /etc/sarg/languages/russian_utf-8 /etc/sarg/languages/russian_koi8 /etc/sarg/languages/russian_windows1251 /etc/sarg/languages/serbian /etc/sarg/languages/slovak /etc/sarg/languages/spanish /etc/sarg/languages/turkish /etc/sarg/languages/ukrainian_windows1251 /etc/sarg/sarg.conf /usr/bin/sarg /usr/share/doc/sarg /usr/share/doc/sarg-2.3.1/contributors /usr/share/doc/sarg-2.3.1/copying /usr/share/doc/sarg-2.3.1/changelog /usr/share/doc/sarg-2.3.1/donations /usr/share/doc/sarg-2.3.1/readme /usr/share/man/man1/sarg.1.gz /var/www/sarg /var/www/sarg/one-shot /var/www/sarg/daily /var/www/sarg/index.html /var/www/sarg/monthly /var/www/sarg/sarg.css /var/www/sarg/weekly vhost-definition Für die Präsentation der Ergebnisse wird im RPM bereits eine Konfigurationsdatei für den Apache- Webserver mitgeliefert. less /etc/httpd/conf.d/sarg.conf /etc/httpd/conf.d/sarg.conf Alias /sarg /var/www/sarg <Directory /var/www/sarg> DirectoryIndex index.html Order deny,allow Deny from all Allow from Allow from ::1 Allow from your-workstation.com </Directory>

16 Last update: :28. centos:squid:management Da unser Webserver aber nur die Inhalte mit Hilfe von vhosts präsentieren soll, werden wir kurzerhand die mitgelieferte Musterkonfigurationsdatei deaktivieren und eine entsprechende vhost- Definition anlegen. Die Definition des vhosts legen wir nun im nächsten Schritt an. vim /etc/httpd/conf.d/vhosts.conf vim /etc/httpd/conf.d/vhosts.conf sarg.nausch.org <VirtualHost *:80> ServerAdmin ServerName sarg.nausch.org ServerAlias ServerPath / DocumentRoot "/var/www/sarg" <Directory "/var/www/sarg"> Options -Indexes FollowSymLinks Order deny,allow Deny from all Allow from Allow from /24 Allow from /26 </Directory> DirectoryIndex index.html ErrorLog logs/sarg_error.log CustomLog logs/sarg_access.log combined </VirtualHost> Die Konfigurationsdatei für das Verzeichnis /var/www/sarg benennen wir einfach um. mv /etc/httpd/conf.d/sarg.conf /etc/httpd/conf.d/sarg.conf.rpm Bevor wir die Konfiguration neu laden, überprüfen wir noch die Änderungen auf Syntaxfehler. service httpd configtest Syntax OK Zur Aktivierung starten wir nun den Apache-Webserver einmal durch. service httpd restart Printed on :35.

17 :35. 17/17 Management und Überwachung des Squid-Proxy-Servers Links Zurück zum Kapitel >>Proxyserver Squid mit Web-Contentfilter Dansguardian und Virenfilter ClamAV unter CentOS 6.x<< Zurück zu >>Projekte und Themenkapitel<< Zurück zur Startseite 1) Cache Manager Interface 2) Common Gateway Interface From: - Linux - Wissensdatenbank Permanent link: Last update: :28.