Jsou testy opravdu objektivní?

Mnoho uživatelů dává při výběru bezpečnostního řešení, a nejen těch, na nejrůznější testy spolehlivosti, výkonnosti a spotřeby. O tom, že podobně koncipovaný test může dopadnout naprosto jinak než druhý test, není pochyb. Vzpomínám si, že před několika lety nebylo mnoho organizací, které se testování čehokoliv věnovaly. To samé platí pro testování antivirů. Virus Bulletin, AV-TEST, AV-Comparatives, PC Magazine, DTEST a mnoho dalších dnes testuje bezpečnostní produkty. Několikrát jsme řešili objektivitu testů, zmiňovali jsme rozdíly v použité metodě testování, a další aspekty, které mohou naprosto zásadně ovlivnit výsledky testů, a tím samozřejmě i mínění a rozhodovací preference lidí.

Během testů se používají sbírky škodlivého kódu, probíhají pokusy o zneužití bezpečnostních děr, testuje se, jak dokáže antivir detekovat nejnovější hrozby s pomocí třeba týden starých virových databází. Proč to všechno? Vždyť se jedná o syntetické testy, které mohou mít s reálnou ochranou pramálo společného. Třeba proto, aby měli uživatelé přehled o dostupných funkcích, technologiích a možných řešeních. V neposlední řadě mají uživatele přesvědčit, aby si daný produkt zakoupil. Testy toho opravdu mohou prozradit hodně. Bohužel, nebo naopak naštěstí, nejsou, a z podstaty ani nemohou, být vždy objektivní.

Narážím na zprávu, které se objevila na Facebookovém profilu společnosti AV-Comparatives:

“AV-C odhalila porušení dohody o testování jedním z výrobců. Zjistili jsme, že produkt zaslaný výrobcem pro testování byl speciálně vytvořen pro hlavní testovací laboratoře, včetně AV-C; dostupnost tohoto produktu pro veřejnost byla omezena. Druhý výrobce je prověřován ze stejného důvodu. AV-C po ukončení vyšetřování oznámí opatření, která provede proti výrobcům, u nichž se prokáže porušení dohody.”

A reakce uživatelů? Velké množství z nich chce znát pravdu. To chci ostatně i já. Zajímá nás, který výrobce se sníží k tomu, aby si uměle vylepšil výsledky. Říká se, že lež má krátké nohy, a v bezpečnosti to dle mého platí stejně. Vystavit uživatele reálným hrozbám s řešením optimalizovaným pro syntetické testy? Riskovat bezpečnost uživatelů kvůli dobrému umístění? ESET touto cestou nikdy nešel a nepůjde, i za cenu ne vždy perfektních výsledků v syntetických testech. Pro nás je totiž reálná bezpečnost uživatelů tím hnacím motorem.

Netvrdím, že testy nemají smysl. Jen je stejně jako doporučení / kritiku berme s rezervou. Udělejme si názor sami i v případě zmiňované kauzy antivirových firem. Nedělejme z toho senzaci, přesto je to situace k zamyšlení. Sám jsem zvědavý, jak to dopadne.

Petr Šnajdr