Soutěž o ověřování otisků prstů - Fingerprint Verification Competition - Wikipedia

The Soutěž o ověřování otisků prstů (FVC) je zastaralá mezinárodní soutěž zaměřená na otisk prstu ověření softwaru. [1] Jakmile americký národní institut pro vědu a technologii (NIST) představil bezplatný, ale veřejný proprietární test otisků prstů (PFT I, II a III, který probíhá od roku 2004 do současnosti), stal se pro poskytovatele komerčních otisků prstů do značné míry irelevantní. Jakmile byl test NIST k dispozici, všichni významní komerční prodejci otisků prstů přešli na test NIST a přestali platit za účast na FVC. Testy FVC, které následovaly v roce 2006 a později, byly naplněny převážně anonymními účastníky a výzkumníky. Několik oportunistických komerčních prodejců, kteří se z důvodů, které znají jen oni, neúčastnili veřejného testu NIST, místo toho využili příležitosti k účasti na testu FVC, poté hovořili o tom, že „porazili“ kádr anonymních účastníků. Je důležité podívat se na účastníky, které prodejce „porazil“, a rozhodnout, zda prodejce klame.

Další klamnou praxí bylo použití průměrů přesnosti FVC pro charakterizaci výkonu a přesnosti všech produktů otisků prstů konkurenty proti otiskům prstů, které jsou horší než jejich alternativní biometrická modalita.

Jak funguje FVC: Registrovaným účastníkům byla poskytnuta podmnožina otisků prstů získaných pomocí různých senzorů, aby mohli upravovat parametry svých algoritmů. Účastníci byli požádáni, aby poskytli registraci a párování spustitelných souborů svých algoritmů; hodnocení bylo provedeno v zařízeních organizátorů pomocí předložených spustitelných souborů v oddělované databázi získané pomocí stejných senzorů jako tréninková sada.

Organizátoři FVC jsou:

Každý účastník může do otevřené a světelné kategorie odeslat až jeden algoritmus.

První, druhá a třetí mezinárodní soutěž o ověřování otisků prstů (FVC2000, FVC2002 a FVC2004) byly uspořádány v letech 2000, 2002 a 2004. Těmto událostem byla věnována velká pozornost jak akademických, tak průmyslových biometrických komunit. Stanovili společné měřítko, které vývojářům umožnilo jednoznačně porovnat jejich algoritmy, a poskytlo přehled nejmodernějšího rozpoznávání otisků prstů. Na základě reakce biometrické komunity byly FVC2000, FVC2002 a FVC2004 nepochybně úspěšnými iniciativami. Zájem o předchozí vydání ze strany biometrické výzkumné komunity přiměl organizátory naplánovat novou soutěž na rok 2006.

V roce 2006 bylo:

  • Čtyři nové databáze (tři skutečné a jedna syntetická)
  • Dvě kategorie (otevřená a lehká)
  • 53 účastníků (27 průmyslových, 13 akademických a 13 nezávislých vývojářů)
  • 70 předložených algoritmů (44 v otevřené kategorii a 26 v lehké kategorii)

Cíl

  • Neustálý pokrok v oblasti biometrických systémů a zejména v systémech založených na otiscích prstů (jak v technikách párování, tak ve snímacích zařízeních) vyžaduje, aby bylo hodnocení biometrických systémů prováděno v pravidelných intervalech.
  • Cílem FVC2006 je sledovat nedávný pokrok v ověřování otisků prstů pro akademickou i průmyslovou sféru a srovnávat nejmodernější technologii otisků prstů.
  • Další testování týkající se otázek interoperability a kvality bude provedeno ve druhé fázi po dokončení soutěže.
  • Tato soutěž by neměla být považována za „oficiální“ certifikaci výkonu biometrických systémů, protože pouze části systémového softwaru budou hodnoceny pomocí obrázků ze senzorů, které nejsou pro každý systém nativní. Výsledky této soutěže nicméně poskytnou užitečný přehled o nejnovějších poznatcích v této oblasti a poskytnou účastníkům vodítko pro zdokonalení jejich algoritmů.

Kategorie

  • Dvě stejné dílčí soutěže (otevřená kategorie a lehká kategorie) budou organizovány pomocí stejných databází.
  • Každý účastník může do každé kategorie odeslat pouze jeden algoritmus.
  • Otevřená kategorie nemá žádná omezení požadavků na paměť a velikost šablony. Z praktických testovacích důvodů je maximální doba odezvy algoritmů omezena následovně: maximální čas pro každou registraci je pět sekund a maximální čas pro každou shodu jsou tři sekundy. Test bude proveden v systému Windows XP Professional O.S. na PC Intel Pentium 4 - 3,20 GHz - 1,00 GB RAM.
  • Kategorie Light je určena pro algoritmy koncipované pro lehké architektury, a proto se vyznačuje nízkými výpočetními nároky, omezeným využitím paměti a malou velikostí šablony. Maximální čas pro registraci je 0,3 sekundy a maximální čas pro párování je 0,1 sekundy. Test bude proveden v systému Windows XP Professional O.S. na PC Iintel Pentium 4 - 3,20 GHz - 1,00 GB RAM. Maximální paměť, kterou mohou procesy přidělit, je 4 MB. Maximální velikost šablony je 2 kB. Účastníkům bude zpřístupněn nástroj k otestování, zda jejich spustitelné soubory splňují požadavek na paměť.

Databáze

Jedním z nejdůležitějších a časově náročných úkolů při hodnocení jakéhokoli biometrického systému je sběr dat. Organizátoři vytvořili multi-databázi obsahující čtyři disjunktní databáze otisků prstů, z nichž každá byla shromážděna pomocí jiné technologie senzorů.

  • Čtyři odlišné databáze poskytované organizátory tvoří měřítko: DB1, DB2, DB3 a DB4. Každá databáze má šířku 150 prstů a hloubku 12 vzorků na prst (1 800 otisků prstů). Každá databáze je rozdělena na dvě nesouvislé podmnožiny A a B:
  • pro hodnocení výkonu algoritmu se používají podmnožiny DB1-A, DB2-A, DB3-A a DB4-A, které obsahují prvních 140 prstů (1680 obrázků) DB1, DB2, DB3 a DB4.
  • podmnožiny DB1-B, DB2-B, DB3-B a DB4-B, obsahující posledních 10 prstů (120 obrázků) DB1, DB2, DB3 a DB4, budou účastníkům k dispozici jako vývojová sada, která umožní ladění parametrů před odesláním.
  • Během hodnocení výkonu budou otisky prstů patřící do stejné databáze vzájemně porovnány.
  • Formát obrázku je BMP, 256 úrovní šedé, nekomprimovaný.
  • Velikost a rozlišení obrazu se liší v závislosti na databázi (účastníkům jsou k dispozici podrobné informace).
  • Sběr dat ve FVC2006 byl proveden bez úmyslného zavedení obtíží, jako je přehnané zkreslení, velké množství rotace a přemístění a mokré a suché otisky (jak tomu bylo v předchozích vydáních), ale populace je heterogennější a zahrnuje také manuální pracovníky a starší osoby lidé. Dobrovolníci jsou jednoduše požádáni, aby přirozeně přiložili prsty na pořizovací zařízení, ale nebyla vynucena žádná omezení, aby byla zajištěna minimální kvalita získaných snímků. Konečné datové soubory byly vybrány z větší databáze výběrem nejobtížnějších prstů podle indexu kvality, aby bylo měřítko dostatečně obtížné pro vyhodnocení technologie.

Hodnocení výkonnosti

Pro každou databázi a pro každý algoritmus:

  • Každý vzorek v podmnožině A je porovnán se zbývajícími vzorky stejného prstu, aby se vypočítala míra falešného nesouladu (FNMR) (označovaná také jako míra falešného odmítnutí - FRR). Pokud se obrázek g shoduje s h, symetrická shoda (tj. H proti g) se neprovede, aby se zabránilo korelaci ve skóre. Celkový počet originálních testů (v případě, že nedojde k odmítnutí registrace) je:
     ((12*11) /2) * 140 = 9,240
  • První vzorek každého prstu v podmnožině A je porovnán s prvním vzorkem zbývajících prstů v A, aby se vypočítala míra falešné shody (FMR) (také označovaná jako míra falešného přijetí - FAR). Pokud se obrázek g shoduje s h, symetrická shoda (jako h proti g) se neprovede, aby se zabránilo korelaci ve skóre. Celkový počet testů podvodníků (v případě, že nedojde k odmítnutí registrace) je:
     ((140*139) /2) = 9,730

I když je možné při registraci obrázky odmítnout, důrazně se nedoporučuje. Ve skutečnosti je ve FVC2006, stejně jako ve FVC2004 a FVC2002, odmítnutí při registraci spojeno s dalšími chybami pro konečné hodnocení; zejména každé odmítnutí při registraci vytvoří šablonu "duchů", která se nebude shodovat (shodné skóre nula) se všemi zbývajícími otisky prstů.

Pro každý algoritmus a pro každou databázi jsou hlášeny následující ukazatele výkonu:

  • REJENROLL (počet odmítnutých otisků prstů během registrace)
  • REJNGRA (počet odmítnutých otisků prstů během skutečných zápasů)
  • REJNIRA (Počet odmítnutých otisků prstů během zápasů podvodníků)
  • Distribuce Impostor a Genuine skóre
  • Křivky FMR (t) / FNMR (t), kde t je mezní hodnota pro přijetí
  • ROC (t) křivka
  • EER (stejná míra chyb)
  • EER * (hodnota, kterou by EER přijal, pokud by selhání výpočtu byly vyloučeny z výpočtu FMR a FNMR)
  • FMR100 (nejnižší FNMR pro FMR <= 1%)
  • FMR1000 (nejnižší FNMR pro FMR <= 0,1%)
  • ZeroFMR (nejnižší FNMR pro FMR = 0%)
  • ZeroFNMR (nejnižší FMR pro FNMR = 0%)
  • Průměrná doba registrace
  • Průměrná doba shody
  • Průměrná a maximální velikost šablony
  • Maximální množství přidělené paměti

Následující průměrné ukazatele výkonu se vykazují ve čtyřech databázích:

  • Průměrný EER
  • Průměrné FMR100
  • Průměrné FMR1000
  • Průměrné ZeroFMR
  • Průměrný REJENROLL (průměrný počet odmítnutých otisků prstů během registrace)
  • Průměrný REJMATCH (průměrný počet odmítnutých otisků prstů během skutečných a podvodných zápasů)
  • Průměrná doba registrace
  • Průměrná doba shody
  • Průměrná velikost šablony (počítáno z průměrné velikosti šablony pro každou databázi)
  • Průměrná přidělená paměť (počítáno z maximálního množství paměti přidělené pro každou databázi)

Účastníci

  • Účastníci mohou být z akademické obce, průmyslu nebo nezávislých vývojářů.
  • Bude přijata anonymní účast: účastníci budou mít možnost rozhodnout se, zda chtějí zveřejnit svá jména společně s výkonem svého algoritmu. Účastníci budou důvěrně informováni o výkonu svého algoritmu dříve, než se od nich bude vyžadovat toto rozhodnutí. V případě, že se účastník rozhodne zůstat v anonymitě, použije se označení „anonymní organizace“ a skutečná identita nebude odhalena.
  • Spolu se svými příspěvky budou účastníci povinni poskytnout některé obecné informace na vysoké úrovni o svých algoritmech (podobné těm, které jsou uvedeny ve FVC2004, viz [R. Cappelli, D. Maio, D. Maltoni, JL Wayman a AK Jain, “ Hodnocení výkonu systémů pro ověřování otisků prstů “, IEEE Transaction on Pattern Analysis Machine Intelligence, leden 2006]). I když tato požadovaná informace nebude prozrazovat průmyslová tajemství, protože se jedná o popis přístupů na velmi vysoké úrovni, mohla by být zajímavá pro celou komunitu otisků prstů.
  • Organizátoři FVC2006 se soutěže nezúčastní.

Viz také

Reference

  1. ^ „Soutěž o ověřování otisků prstů | Sémantický učenec“. www.semanticscholar.org. Citováno 2020-11-15.

externí odkazy