erstellt von Markus Selinger

Transkript

1 8. Juni 2016 erstellt von Markus Selinger Dauertest: Geben Schutz-Pakete ständig viele Fehlalarme? Man vertraut seiner installierten Schutzlösung: wenn diese Alarm schlägt, dann droht Gefahr oder war es doch ein Fehlalarm? Egal, ob bei Privatanwendern oder in Unternehmen Fehlalarme sollten nicht passieren. AV-TEST hat in einem 14-monatigen Dauertest geprüft, welche Schutzlösungen den Anwender öfter mal verunsichern und welche gar nicht. Vielleicht haben Sie es selbst schon erlebt: ein meist in leuchtend rot gehaltenes Hinweisfenster am Bildschirm zeigt einen Alarm. Ausgelöst wurde dieser durch eine Datei, die man kopiert hat oder eine Anwendung, die gerade gestartet wurde. Aber was ist, wenn die Schutz-Software behauptet, dass zum Beispiel der Chrome Browser oder eine Windows-eigene Datei ein gefährlicher Angreifer sei? Dann handelt es sich um einen klassischen Fehlalarm, der den privaten Anwender verunsichert bzw. einen Administrator durch das Unternehmen scheucht. Freund-Feind-Erkennung Eine Schutzlösung muss eine perfekte Freund-Feind-Erkennung haben. Das Labor von AV-TEST hat daher 14 Monate lang von Januar 2015 bis Februar 2016 geprüft, wie gut das Security-Lösungen können. Insgesamt wurden 19 Pakete für Privatanwender und 14 Lösungen für Unternehmen getestet. Die Prüfer haben vier Testpunkte festgelegt, die sie beim Test für Benutzbarkeit bzw. Usability so in ihren Protokollen in Labor- Sprache" formulieren: - Fälschliche Warnungen oder Blockierungen während des Besuchs von Webseiten. - Fälschliche Erkennungen von normaler Software als Malware während eines Systemscans. - Fälschliche Warnungen vor bestimmten Aktionen während der Installation und Benutzung von normaler Software. - Fälschliche Blockierungen von bestimmten Aktionen während der Installation und Benutzung von normaler Software. So wurde getestet In allen Testsparten wurden nur gute Webseiten, saubere Dateien oder ungefährliche bekannte Anwendungen geprüft. Denn die in der IT-Welt vorhandene Anzahl von sauberen Dateien und Anwendungen ist übersichtlicher als die der Verseuchten. Daher arbeiten alle Lösungen mit sogenannten Whitelist-Datenbanken, in denen alle sauberen und guten Daten mit Fingerprints und Hashwerten abgelegt sind. Ist einem Programm eine Datei akut nicht bekannt, fragt es in der Cloud nach, ob diese Datei bereits registriert ist. Ist das nicht der Fall, dann wird die Datei gecheckt und katalogisiert in gut oder böse. Um ein wirklich relevantes Testergebnis in Sachen Fehlalarme erzielen zu können, muss die Anzahl der ungefährlichen Prüfdaten hoch sein. Diesen Anspruch hat das Labor voll umgesetzt: Für jede einzelne Lösung wurden in einem Zeitraum von 14 Monaten etwa Webseiten besucht und 7,7 Millionen Dateien in die Prüfung geschickt. Zusätzlich wurden zwei Mal 280 Anwendungen ausgeführt und notiert, ob fälschlich eine Warnung gezeigt wurde, oder ob die Anwendung sogar blockiert wurde. Bei dem Set mit den 7,7 Millionen Testdateien sind natürlich alle neuen Dateien von populären Programmen enthalten, wie zum Beispiel von Windows 7 bis 10 und Office. Würde eine Security-Software eine neue Systemdatei von Windows falsch einstufen, so wäre die Auswirkung meist fatal. Daher werden diese wichtigen Dateien im Testset immer aktualisiert mitgeprüft. Privatanwender-Software: Einige arbeiten perfekt Trotz der hohen Anforderungen im Test mit vielen Daten, haben es einige Anwendungen geschafft, keinen einzigen Fehlalarm auszulösen. Das bewerkstelligten Avira Antivirus Pro und Kaspersky Internet Security. Danach folgen mit weniger als 10 Fehlerkennungen im Dauertest Intel Security, Bitdefender, AVG und Microsoft. Aber selbst die Schutzpakete, die am Ende der Tabelle stehen, lieferten im Dauertest keine dramatischen Ergebnisse; im Gegenteil. Die Ergebnisse im Detail:

2 - Fälschliche Warnungen oder Blockierungen während des Besuchs von Webseiten" gab es im gesamten Test gar nicht beim Besuch von Webseiten. - Fälschliche Erkennungen von normaler Software als Malware während eines Systemscans". Der schlechteste Wert von Ahnlab V3 Internet Security liegt bei 98 falsch erkannten Dateien bei 7,7 Millionen Testfällen. Das ist eine Quote von 0,001 Prozent ein annehmbarer Wert, auch wenn es besser geht. - Fälschliche Warnungen vor bestimmten Aktionen während der Installation und Benutzung von normaler Software". Von 19 Programmen gaben 11 keinerlei Fehlalarme. 6 Lösungen warnten in 280 Tests nur 1- bis 3-mal falsch. Lediglich die Suite von K7 Computing setzte insgesamt 10 falsche Warnungen ab. - Fälschliche Blockierungen von bestimmten Aktionen während der Installation und Benutzung von normaler Software". Auch hier machten die meisten der 19 Programme eine gute Figur. Während 7 Lösungen nichts falsch blockierten, machten dies 11 Schutzpakete bei 1 bis 6 ungefährliche Anwendungen. Die Comodo Internet Security Premium blockierte 29 Mal. Unternehmens-Software: nur Kaspersky kann s fehlerfrei Auch beim Test von 14 Schutzlösungen für Unternehmen auf Benutzbarkeit bzw. Usability zeigten fast alle Produkte, dass sie bei der Freund-Feind-Erkennung kaum Fehler machen. Nur die beiden Kaspersky-Lösungen Endpoint Security und Small Office Security blieben in den Tests fehlerfrei. Allerdings nahmen sie nur an 6 von 7 Testrunden teil. Über 14 Monate hinweg zeigten die Lösungen von Sophos, Intel Security und Bitdefender eine Gesamtfehlerquote von unter 10. Aber auch alle anderen Produkte zeigten gegenüber der Menge der Testdateien nur eine geringfügige Fehlerkennung. Die Ergebnisse im Detail: - Fälschliche Warnungen oder Blockierungen während des Besuchs von Webseiten" gab es im gesamten Unternehmens-Schutz- Software-Test beim Besuch von Webseiten gar nicht. - Fälschliche Erkennungen von normaler Software als Malware während eines Systemscans". Der schlechteste Wert über alle Tests hinweg kommt hier von F-Secure mit lediglich 49 falsch erkannten Dateien bei 7,7 Millionen Testdateien. Gut, aber nicht sehr gut wie die Sophos-Lösung, die nur 2 Dateien falsch erkannte. - Fälschliche Warnungen vor bestimmten Aktionen während der Installation und Benutzung von normaler Software". Nur 4 von 14 Programmen gaben bei den jeweils 280 Tests 1 oder 2 falsche Warnungen. Ein Wert über den sich besonders Admins im Unternehmen freuen. - Fälschliche Blockierungen von bestimmten Aktionen während der Installation und Benutzung von normaler Software". Auch in diesem Testbereich sind die Ergebnisse extrem gut. Nach 280 Tests bei jedem Programm sah es folgendermaßen aus: 8-mal alles fehlerfrei und 6-mal nur 1 bis 5 falsche Blockierungen. Zum Vergleich: bei den Consumer-Lösungen lag der schlechteste Wert bei 29! Unternehmens-Lösungen erzeugen weniger Fehlalarme Stellt man die beiden Tests mit Schutz-Software für Unternehmen und Privatanwender nebeneinander, so zeigt sich, dass Unternehmenslösungen im Schnitt weniger Fehlalarme produzieren. Allerdings fällt auf, dass die Hersteller mit Produkten für beide Gruppen auch in beiden Fällen die besten Testwerte haben. Das trifft zu auf die Produkte von Kaspersky, Bitdefender, Microsoft, Trend Micro, Symantec und F-Secure. Insgesamt kann man aber allen Produkten eine gute Qualität in Sachen Benutzbarkeit bzw. Usability bescheinigen. Das Labor zieht bei der Wertung zwar immer Punkte bei Fehlalarmen ab, aber nüchtern betrachtet bemängelt es eine Leistung auf sehr hohem Niveau. Mancher Hersteller wird sich ärgern, wenn er die Programme sieht, die die Fehlalarme ausgelöst haben. Eine Zusammenfassung ist in den Top-15- und Top-30-Tabellen gelistet. Dabei handelt es sich um bekannte Programme, wie zum Beispiel Notepad++, den Yahoo Messenger oder WinRAR. Das sind wahrlich keine Exoten, sondern Standard-Software, die man kennen sollte. Bei der geringen Menge an Fehlalarmen sollten die Hersteller das in den kommenden Programm-Versionen schnell in den Griff bekommen. Flare Projekt: Täglicher Nachschub von tausenden neuen Testdateien

3 Die IT-Welt produziert jeden Tag neue, saubere Dateien die von Security-Produkten nicht falsch erkannt werden dürfen. AV-TEST sammelt daher mit seinem Flare Projekt täglich die neuen Dateien ein und verwendet sie auch im Test. Gute und saubere Dateien erkennen Security-Produkte an eindeutigen Hash-Werten und Fingerprints, die sie beispielsweise in ihrer Cloud hinterlegen. Dank den Datenbanken mit Hash-Werten und Fingerprints geht der Scan rasend schnell. Die bekannten Dateien lösen daher in der Regel keine Fehlalarme aus. Um die Security-Produkte professionell auf Fehlalarme prüfen zu können, muss das Testlabor ständig die neuesten Dateien vor Ort haben, die von der IT-Welt produziert werden: Anwendungen, Programm-Updates, Plugins, Beschreibungen, Treiber usw. Dafür nutzt AV-TEST sein internes Flare Projekt. Flare durchsucht jeden Tag das Internet nach neuen Dateien, zum Beispiel bei Herstellerseiten oder Download-Portalen. Gibt es neue Produkte, werden diese heruntergeladen und automatisiert installiert. Maik Morgenstern, Danach wird alles auf Malware oder unerwünschte Programme geprüft. CTO AV-TEST GmbH Ist die Anwendung samt den dazugehörigen Dateien sauber, landet sie in der Datenbank. Auf diese Weise füllt sich die Datenbank mit zehntausenden neuer Dateien pro Tag! Aktuell verzeichnet die Flare-Datenbank knapp 40 Millionen saubere Dateien mit einer Gesamtgröße von annähernd 25 Terabyte. Übrigens: mit in der Sammlung sind natürlich auch ständig alle neuen populären Updates wie etwa von Microsoft Windows, Office, Adobe, Oracle, Mozilla, Google, Intel, IBM oder SAP. Wenn eine Datei von diesen Firmen von einer Security-Suite falsch eingestuft wird, dann endet das meist fatal. Daher sind diese Dateien in dem 7,7 Millionen Dateien umfassenden Testset von AV-TEST immer mit dabei. Fehlalarm oder nicht? AV-TEST hat 33 Produkte 14 Monate lang geprüft.

4 Usability-Dauertest für Privatanwender: In der Übersicht stehen alle Fehlalarme der einzelnen Produkte wahrlich nicht viele.

5 Kaum Fehlalarme: 5 Produkte bekamen in allen Testabschnitten über 14 Monate jeweils die Bestpunktzahl von 6.

6

7 Falsch eingestufte Dateien bei Software für Privatanwender: Selbst bekannte Dateien werden immer wieder falsch erkannt.

8 Usability-Dauertest von Unternehmenslösungen: Die Fehlalarmquote ist sehr gering das wissen Administratoren zu schätzen.

9 Hohe Punkteschnitte pro Test: Die in 6 oder 7 Tests geprüften Firmenlösungen bewegten sich fast alle immer nahe an der Bestpunktzahl von 6.

10 Kaum falsche Warnungen: Die Unternehmenslösungen hielten in den Tests kaum eine Anwendung fälschlicherweise auf.

11 Copyright 2015 by AV-TEST GmbH, Klewitzstr. 7, Magdeburg, Germany Phone +49 (0) , Fax +49 (0) ,