Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Peter Uruh SRC Security Research & Cosultig GmbH peter.uruh@src-gmbh.de Eileitug Biometrische Systeme werde durch zwei wichtige Parameter charakterisiert: FAR (False Acceptio Rate) ud FRR (False Rejectio Rate). Dabei häge diese Fehlerrate vo eiem Schwellwert ab, der i der meiste Systeme eistellbar ist ud als Kriterium für die JA/NEIN- Etscheidug verwedet wird. Der Schwellwert sagt aus, wie viel Prozet der Merkmale übereistimme solle, um vom biometrische System erkat zu werde. Maßgeblich für die Wahl des Schwellwertes ud dadurch auch der Fehlerrate sid die Aforderuge der geplate Awedug. Steht die Sicherheit im Vordergrud, wird der Schwellwert so hoch gewählt, dass möglichst weig, im Idealfall keie Falschakzeptaze vorkomme. Die FAR ist i diesem Fall klei. Wird bei der Awedug mehr Wert auf Komfort gelegt als auf die Sicherheit, so sorgt der icht so hoch gesetzte Schwellwert dafür, dass möglichst weig Zurückweisuge vo Berechtigte stattfide. Die FRR ist i diesem Fall klei. Aufgabestellug Die Frage, die sich jeder Hersteller vo biometrische Systeme stellt, lautet: Wie viele Testversuche reiche aus, um mit Hilfe eier statistische Methode zu beweise, dass die agegebee Fehlerrate bei eiem festgelegte Schwellwert mit großer Wahrscheilichkeit eie bestimmte Tolerazwert icht überschreite? Dabei ka für die FAR der Tolerazwert wichtig sei, um ebe dem typische Wert FAR- TYP die Agabe für FAR MAX = FAR+ mit großer Wahrscheilichkeit garatiere zu köe. FAR- ist für diese Problematik ukritisch, weil das System eie bessere als typisch agegebe Fehlerrate aufweist. Statistische Sigifikaz I der Sprache der Statistik lautet die obe gestellte Frage folgedermaße: Wie groß muss der Stichprobeumfag gewählt werde, damit bei festem Sigifikaziveau α eie vorgegebee Abweichug zwische dem arithmetische Mittel der Stichprobe (FAR MAX ) ud dem ageommee Sollwert µ (FAR TYP ) gerade och als sigifikat erkat wird (damit wäre FAR MAX verbidlich ). Abweichuge kleier als köe praktisch als ubedeuted agesehe werde ud brauche icht achgewiese werde.
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Mit adere Worte soll die Wahrscheilichkeit, dass die Abweichug - µ größer als ist, de Wert α (Irrtumswahrscheilichkeit) icht überschreite: P µ ) α. ( Bei der Herleitug des Stichprobeumfags wird vo Eigeschafte ud Fuktioe der Normalverteilug ausgegage, deshalb werde sie hier aufgeführt [STAT]: Die stetige Zufallgröße X, die alle Werte der reelle Zahle zwische ud + aehme ka, geügt der Normalverteilug, we ihre Dichte durch ( µ ) ( ; µ, ) = e ϕ für < < + gegebe ist. π Der Erwartugswert µ ud die Streuug (oder Variaz) heiße Parameter der Normalverteilug N ( µ ; ). Die zu der obe beschriebee Dichte gehörede Verteilugsfuktio ist ( t µ ) ( Φ ; µ, ) = e dt. π Werde für die Parameter µ = ud = gesetzt, so ist die stadardisierte Form der Normalverteilug N (; ) gegebe. Dichte ud Verteilugsfuktio sid da: ϕ ( ;,) = ϕ( ) = e, π t Φ( ;,) = Φ( ) = e dt. π Für beide Fuktioe gibt es Tabelle, aus dee für vorgegebee Werte vo die Dichte ϕ () ud die Verteilugsfuktio Φ () abgelese werde ka. Ist X eie ormalverteilte Zufallsgröße mit de Parameter µ ud, so ist µ die Zufallsgröße Z = X ormalverteilt mit de Parameter ud. Für jede reelle Zahl gilt da µ ϕ( ; µ, ) = ϕ( ), µ Φ( ; µ, ) = Φ( ). Dies ermöglicht die Verwedug der Tabelle für die stadardisierte Normalverteilug N (; ) zur Berechug der Dichte ud der Verteilugsfuktio eier ach N ( µ ; ) ormalisierte Zufallsgröße X mit beliebige Parameter µ ud. 4.5.3 Security Research & Cosultig GmbH Seite
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Uter der Aahme, dass Stichprobe i geomme werde, so dass = i, ka für i= vo eier Normalverteilug N( µ ; ) ausgegage werde. Dabei geügt die Stichprobefuktio Z = der stadardisierte Normalverteilug N (; ) [WAHR]. µ Die Wahrscheilichkeit P der Beziehug P ( µ ) α ka folgedermaße umgeschriebe werde: P( µ µ ) = P( ) = P( Z ). Die Beziehug P ( Z ) α ka durch P ( Z < ) ersetzt werde. Aus [WAHR] ist zu etehme, dass P( Z < ) = Φ( ) ud Φ( Z α ) =, deshalb ka die Beziehug P ( µ ) α als Φ( ), oder als Φ( ) Φ( Z α ) aufgeschriebe werde. Für die Ermittlug des Stichprobeumfags wird u die Ugleichug Z α verwedet: Z α. Mit Hilfe dieser Formel ka der Testumfag bestimmt werde, we bei de Tests als Ergebis ei Wert mit bestimmter Variaz (oder bekater Stadardabweichug ) zu erwarte ist. Der Wert Z wird aus der Tabelle der Verteilugsfuktio Φ Z ) ausgelese. ( Bei der Ermittlug der FAR werde Tests durchgeführt, dere Ergebisse bei festgelegte Schwellwert sich etweder als akzeptiert oder als abgewiese zusammefasse lasse. Dadurch ist eie Biomialverteilug vorgegebe. We die Wahrscheilichkeit eies Ergebisses mit p bezeichet wird, da ka der Erwartugswert µ ud die Streuug etspreched durch p ud p( defiiert werde [STAT]. Die Stichprobefuktio ist für diese Fall: p p Z = = p( p) 4.5.3 Security Research & Cosultig GmbH Seite 3
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Für usere Fragestellug ist es wichtig, dass die Wahrscheilichkeit, dass die Abweichug zwische relativer Häufigkeit ud der Wahrscheilichkeit p größer ist als, uter der Irrtums- wahrscheilichkeit α liegt: P ( p ) α Die Wahrscheilichkeit P der Beziehug P ( p ) α ka folgedermaße umgeschriebe werde: p ( ) ( P p = P ) = P( Z ). Die Beziehug P ( Z ) α ka durch P ( Z < ) ersetzt werde. Da P( Z < ) = Φ( ) ud Φ Z ) =, ( α ka die Beziehug P ( p ) α als Φ( ) Φ( ) Φ( Z α ) aufgeschriebe werde. Für die Ermittlug des Stichprobeumfags ka u die Ugleichug verwedet werde: oder Z α. Für die Irrtumswahrscheilichkeit α werde i der Prais folgede Werte verwedet:,5,, ud,. Mit Hilfe der Tabelle der Verteilugsfuktio Φ( Z ) wird der etsprechede Wert Z bestimmt: α,5,, Z,645,36 3,9 Z als 4.5.3 Security Research & Cosultig GmbH Seite 4
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme I der folgede Tabelle ist für jede Irrtumswahrscheilichkeit α abhägig vo der FAR ud der Abweichug der Testumfag agegebe: FAR TYP FAR MAX α=, 5 α=, α=,,5,,6.85.57 4.535,5,5,55 5.4.8 8.4,5,,5 8.536 56.988 453.535,4,,5.39.78 3.666,4,5,45 4.56 8.3 4.666,4,,4 3.9 7.755 366.647,3,,4 787.574.778,3,5,35 3.5 6.98.4,3,,3 78.745 57.439 77.85,,,3 53.6.87,,5,5. 4.4 7.486,,, 53.38 6.4 87.43,,, 68 536 945,,5,5.7.4 3.78,,, 6.79 53.56 94.56,5,,6 3.46 6.96 47.5,5,5,55 53.85 7.664 9.7,5,,5.346.47.69.6 4.75.8,,,.73 5.45 9.539,,5,5.83.69 38.54,,, 7.33 54.487 953.855,,, 7.58 54.97 95.47,,5,5 8.3 6.389 38.886,,,.75.754 5.49.735 9.547.45,,, 7.6 54. 954.8,,5,5.8.399.64.89 3.89.,,, 7.59.979 54..9 95.48.45 Vergleichbare Ergebisse bekommt ma, we die Regel Rule of 3 ud Rule of 3 agewadt werde. Diese Regel werde z. B. i [BEM] ud [BPTEST] zur Ermittlug des Testumfags vorgeschlage, we der Vergleichsalgorithmus eies biometrische Systems getestet werde soll. Der Uterschied im Vergleich zum Teste auf Systemebee besteht dari, dass die reale Bediguge sowie die Systemumgebug icht berücksichtigt werde. Für die Tests werde biometrische Date verwedet, die etweder früher vom System erfasst ud gespeichert wurde oder möglicherweise durch Verwedug aderer Systeme erzeugt wurde. Aalog zu FAR ist beim Teste des Vergleichsalgorithmus der Parameter FMR (False Match Rate) aus Sicherheitssicht vo etscheideder Bedeutug. Mit Rule of 3 ka die folgede Frage beatwortet werde: Welche miimale Fehlerrate ka bei N uabhägige Vergleiche statistisch begrüdet werde? Die Wahrscheilichkeit, dass 3 die ach der Rule of 3 ermittelte Fehlerrate p fehlerhaft ist ud bei N Vergleichsversuche eie fehlerhafte Übereistimmug vorkommt, ist kleier als N 5%. 4.5.3 Security Research & Cosultig GmbH Seite 5
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Mit adere Worte, we bei N Vergleichsversuche keie fehlerhafte Übereistimmug zu Stade kam, da ka mit großer Wahrscheilichkeit (95%) garatiert werde, dass die FMR kleier als N 3 ist. Die folgede Tabelle ethält eiige auf diese Weise ermittelte Zahlebeispiele: N 6 3 3. 3. p,5,,, Die Rule of 3 stammt vo Doddigto [RULE3] ud bietet folgedermaße Hilfe für die Ermittlug der Testumfäge: Um mit 9%-er Sicherheit behaupte zu köe, dass die echte Fehlerrate vo der bei Vergleiche festgestellte Fehlerrate höchstes um ± 3% abweicht, müsse midestes 3 fehlerhafte Übereistimmuge beobachtet werde. Die Relatio ist icht liear, midestes 6 fehlerhafte Übereistimmuge sid zu beobachte, um eie Höchstabweichug vo ± % zu garatiere. We es beispielsweise zu 3 fehlerhafte Übereistimmuge ierhalb vo 3. Versuche gekomme ist, da liegt die echte FMR zwische,7 ud,3. Um für eie Algorithmus eie FMR vo, ± % agebe zu köe, müsse 6 fehlerhafte Übereistimmuge beobachtet werde. Dies bedeutet, dass 6. Vergleiche durchgeführt wurde. Dabei wird vorausgesetzt, dass die Vergleichsversuche statistisch uabhägig sid. Streg geomme sid für das letzte Beispiel 6. verschiedee biometrische Persoedate erforderlich, die mit eier Referez vergliche werde. Die Forderug der statistische Uabhägigkeit hat zur Folge, dass die Azahl der Testpersoe sich verdoppel muss, we sowohl die FAR als auch die FRR statistisch korrekt zu ermittel sid. I der Prais wird oft auf die statistische Uabhägigkeit verzichtet, um die Azahl der Testpersoe zu verriger. Dabei ka die Irrtumswahrscheilichkeit icht so präzise (wie obe) agegebe werde. Ageomme, es ehme N Persoe teil, dere biometrische Date erfasst ud als Referezdate gespeichert werde. Bei gegeseitigem Vergleich der erfasste Date mit Referezdate sid N(N-)/ Vergleichsversuche möglich. Mit 5 Testpersoe köe etwa 3. Vergleichsversuche durchgeführt werde, um die FMR zu ermittel. Wird keie Übereistimmug festgestellt, so ka die FMR im beste Fall ach Rule of 3 de Wert, erhalte. 4.5.3 Security Research & Cosultig GmbH Seite 6
Testumfag für die Ermittlug ud Agabe vo Fehlerrate i biometrische Systeme Refereze [STAT] Statistische Methode ud ihre Aweduge, Erwi Kreyszig, 4., uveräd. Nachdr. der 7. Auflage, 99 [WAHR] Wahrscheilichkeitsrechug mathematische Statistik ud statistische Qualitätskotrolle, Regia Storm, 7. Auflage, 979 [BEM] [BPTEST] [RULE3] Commo Criteria, Commo Methodology for Iformatio Techology Security Evaluatio, Biometric Evaluatio Methodology Supplemet, Commo Criteria Biometric Evaluatio Methodology Workig Group, Versio., August Best Practices i Testig ad Reportig Performace of Biometric Devices, By A. J. Masfield, Natioal Physical Laboratory ad J. L. Wayma, Sa Jose State Uiversity, Versio., August The NIST speaker recogitio evaluatio: Overview methodology, systems, results, perspective. Doddigto, G. R., Przybocki, M. A., Marti, A. F., ad Reyolds, D. A., Speech Commuicatio,, 3(-3), 5-54 4.5.3 Security Research & Cosultig GmbH Seite 7