Come interpretiamo i test di laboratorio antivirus

Il tuo antivirus funziona? Probabilmente non vuoi rilasciare un virus dal vivo solo per controllare. Fortunatamente, i laboratori di test antivirus indipendenti in tutto il mondo stanno facendo del loro meglio per rispondere a questa domanda senza metterti in pericolo.

The Labs

Per avere un'idea delle prestazioni di vari prodotti antivirus, seguo sei specifici laboratori di test. Tutti questi laboratori eseguono regolarmente test su base continuativa e i risultati sui quali faccio affidamento sono liberamente disponibili al pubblico.

I fornitori di servizi di sicurezza pagano per far testare e certificare i loro prodotti ICSA Labs e West Coast Labs. Come parte del servizio, il laboratorio collabora con il fornitore per correggere eventuali errori. In particolare, guardo alle certificazioni per il rilevamento di malware e la pulizia del malware.

Il venerabile Virus Bulletin esegue test mensili di rilevazione, assegnando la certificazione VB100 ai prodotti che rilevano tutti i loro campioni "wildlist". Si noti, tuttavia, che anche un solo falso positivo (un programma valido rilevato come malware) è sufficiente per far fallire un prodotto. Stando così le cose, guardo la percentuale di successo negli ultimi dodici mesi.

Con sede a Magdeburgo, in Germania, AV-Test valuta regolarmente i prodotti antivirus in tre aree: protezione, prestazioni e usabilità. La protezione si riferisce alla protezione dagli attacchi di malware, le prestazioni si riferiscono alla riduzione al minimo dell'utilizzo delle risorse di sistema e l'usabilità comprende numerosi fattori tra cui i falsi positivi. Con sei punti possibili in ogni categoria, il punteggio massimo possibile è 18.

AV-Comparatives esegue una vasta gamma di test, alcuni con l'aiuto e il supporto del governo austriaco. Il test di rilevamento file misura sia il rilevamento statico sia il rilevamento dopo l'avvio. Un test analogo che utilizza definizioni di malware obsolete tenta di misurare l'efficacia rispetto agli attacchi zero-day. E un test dinamico della durata di un mese sfida ogni prodotto a resistere alle infezioni del malware più recente. I prodotti che passano sono classificati STANDARD; i prodotti migliori possono ottenere un punteggio di AVANZATO o AVANZATO +.

I ricercatori dei Dennis Technology Labs di Londra lavorano molto duramente per simulare l'esperienza del mondo reale di un utente. Identificano il malware sul Web, catturano l'intero sito Web dannoso e lo replicano in un ambiente controllato, in modo che ogni prodotto subisca lo stesso attacco. Contando sia la protezione che la mancanza di falsi positivi, i prodotti possono ottenere la certificazione a cinque livelli: AAA, AA, A, B e C.

Che cosa significa tutto questo?

In passato, ho riassunto i risultati effettivi di laboratorio, ma il risultato non è stato così facile da interpretare. In una colonna 3.0 era il punteggio più alto, mentre in un'altra 3.0 sarebbe stato terribile. Altre colonne potrebbero contenere "100%" o "Y." Ho rivisto il mio grafico per riassumere invece i risultati in cinque categorie: rilevamento, pulizia, protezione, falsi positivi e prestazioni, insieme a un punteggio di riepilogo generale. Clicca qui per vedere un esempio.

La parte difficile qui è che tutti i laboratori testano diverse collezioni di prodotti e numeri diversi. Test AV e comparativi AV in genere includono da 20 a 25 prodotti in una prova, ad esempio, mentre Dennis Labs tende a fare più come otto o dieci. Devo solo accontentarmi dei dati disponibili e ponderare i vari test in base alla mia impressione soggettiva del loro valore.

La mia valutazione di rilevamento si basa sul test VB100 e sui due test di rilevamento file di AV-Comparatives. Ottenere la certificazione per il rilevamento da ICSA Labs e West Coast Labs può elevare il rating di un prodotto, ma non averlo non lo abbassa.

AV-Comparatives esegue un test di pulizia del malware che verifica in modo molto preciso quanto bene i prodotti rimuovono il malware che rilevano. Lo includo nella mia valutazione di pulizia, con una possibile spinta se West Coast e ICSA Labs certificano la tecnologia del fornitore per la pulizia del malware. AV-Test ha discusso un simile test specifico per la pulizia; Aggiungerò quello quando disponibile.

Il test del mondo reale di Dennis Labs riguarda la protezione dagli attacchi di malware, così come il test dinamico di AV-Comparatives. Guardo entrambi quelli per il mio grado di protezione, così come il componente di protezione di AV-Test.

AV-Comparatives verifica l'impatto che vari prodotti di sicurezza hanno sulle prestazioni del sistema; L'analisi in tre parti di AV-Test include un componente prestazionale. Entrambi entrano nella mia valutazione delle prestazioni.

I falsi positivi possono essere un vero problema; se il tuo antivirus continua a mettere in quarantena gli ultimi giochi, è probabile che lo spegni. Dennis Labs chiama un punteggio falso positivo separato che uso nella mia valutazione di falsi positivi. Prendo anche atto se un prodotto ha perso un livello di classificazione a causa di falsi positivi in ​​uno dei test di AV-Comparatives. Infine, aggiungo il componente di usabilità di AV-Test.

Perfetto? no

Alcuni fornitori non approvano determinati test. Lo stile di difesa di Webroot contro le nuove minacce non è compatibile con alcuni test. Symantec ha affermato che i test statici hanno scarso valore e che solo i test dinamici su tutto il prodotto forniscono informazioni utili. Alcuni non scelgono di partecipare o partecipano a così pochi test che non è possibile alcuna valutazione complessiva.

Anche così, c'è molto da imparare qui. Un prodotto che ottiene cinque stelle su tutta la linea sta facendo qualcosa di giusto. Uno che rileva gli assi ma non pulisce probabilmente non è la scelta giusta per sradicare un'infestazione di malware esistente. Ho sicuramente messo a punto la mia interpretazione nel processo di elaborazione di questo sistema.