Microsoft supera le prestazioni di Symantec nel test antivirus

Nell'ultimo test su richiesta di AV-Comparatives, alcuni prodotti hanno perso punti a causa di falsi positivi, identificando erroneamente un programma valido come malware. Symantec e Microsoft hanno ottenuto lo stesso punteggio in base al rilevamento di campioni di malware, ma Symantec ha perso punti a causa di falsi positivi. C'è di più nella storia di quello, però.

Scansione su richiesta

Il test di scansione su richiesta espone ogni prodotto testato a una raccolta di "campioni delle ultime settimane / mesi che stanno colpendo gli utenti sul campo". I campioni vengono ulteriormente analizzati per classificare file simili e ridurre le dimensioni del set di campioni, quindi "ogni errore è destinato a rappresentare un gruppo perso". Questo particolare test utilizza 136.610 campioni recenti. Il punteggio iniziale di un prodotto è la percentuale di campioni rilevati.

Sorprendentemente, Norton AntiVirus di Symantec ha dimostrato il tasso di rilevamento più basso (prima di considerare i falsi positivi), con un rilevamento del 91, 2 percento. Microsoft Security Essentials ha raggiunto un livello superiore, rilevando il 92 percento dei campioni. Con il rilevamento del 99, 9 percento, G Data AntiVirus è in cima alla lista. Molti altri sono riusciti meglio del 99 percento.

Falsi positivi

I ricercatori di AV-Comparatives utilizzano una tecnica di clustering per identificare i punti di taglio che separano ADVANCED + (il punteggio più alto) da ADVANCED e ADVANCED da STANDARD. Questo è il punto di partenza, ma un prodotto con molti (da 16 a 50) falsi positivi perderà un livello di valutazione e uno con molti (da 51 a 100) ne perderà due. Indipendentemente dalla sua valutazione iniziale, se un prodotto mostra "falsi molti" (oltre 100) falsi positivi riceverà sempre la valutazione non passata di TESTED.

Nove dei venti prodotti testati hanno perso un livello di classificazione a causa di molti falsi positivi. Almeno nessuno di loro aveva molti o "folli" FP. Norton, a partire da un punteggio di STANDARD, affondò a TESTED, così come AhnLab. Nella cerchia dei vincitori, con un punteggio di ADVANCED +, troviamo Avira, Bitdefender, BullGuard, F-Secure e Kaspersky. Fai clic qui per visualizzare il rapporto completo.

Nota che non troverai Microsoft elencato nella sezione premi. All'inizio ho pensato che fosse una svista, ma il co-fondatore di AV-Comparatives Peter Stelzhammer mi ha messo in chiaro. "Abbiamo deciso di non elencare più Microsoft nella sezione Award (e in ulteriori test)", ha spiegato Stelzhammer, "poiché la loro protezione out-of-box è abilitata in Windows per impostazione predefinita". In modo simile, AV-Test ha scelto di trattare il punteggio di Microsoft come base minima.

Falso positivo ponderato

Symantec ha soddisfatto per anni che un semplice conteggio di falsi positivi non è utile. I ricercatori Symantec raccomandano che qualsiasi test di falsi positivi includa la ponderazione basata sulla prevalenza del file in questione. Sostengono che il loro sistema di analisi Norton Insight preclude la possibilità di un falso positivo su qualsiasi file ad eccezione di quelli con bassa prevalenza. Un documento secondario di AV-Comparatives suggerisce che potrebbero avere ragione.

L'appendice Falsi positivi al rapporto su richiesta elenca ogni singolo file che ogni prodotto ha erroneamente rilevato come malware, insieme al nome del malware utilizzato e una stima della prevalenza. Hanno identificato cinque livelli, da "probabilmente meno di un centinaio di utenti" a "probabilmente diverse centinaia di migliaia (o milioni)".

Per vedere, scelgo un numero rappresentativo di utenti per ogni livello, 50 utenti per il primo livello e dieci volte maggiore per ogni livello superiore, con 500.000 utenti dei programmi più diffusi. Ho quindi calcolato il numero di utenti che potrebbero essere interessati dai falsi positivi di ciascun prodotto. I risultati, mostrati nella tabella qui sotto, mi suggeriscono che AV-Comparatives dovrebbe prendere in considerazione l'uso di un calcolo FP ponderato simile.

In questo grafico, i prodotti che hanno perso un livello di classificazione a causa di falsi positivi sono visualizzati in grassetto corsivo. Il mio calcolo ponderato ha fatto che Norton FP abbia un impatto su 13.750 utenti. Diversi prodotti che non sono stati modificati in base al numero di FP hanno effettivamente avuto un effetto maggiore rispetto a Symantec, inclusi i vincitori Kaspersky e F-Secure.

Nel complesso, Emsisoft ha registrato il maggior numero di falsi positivi, 38 dei quali. Terribile, vero? Ma nessuno era tra i due più alti livelli di prevalenza, quindi il suo effetto teorico è inferiore a quello di Sophos, con un totale di 6 FP o ESET, con 9 FP.

McAfee ha ottenuto un punteggio AVANZATO nel test di base su richiesta. Con 15 falsi positivi, è poco al di sotto del numero che causerebbe la perdita di un livello di valutazione. Tuttavia, il mio calcolo ponderato ha potenzialmente la responsabilità di interessare ben oltre duecentomila utenti, quasi 16 volte più di Norton.

Questi non sono numeri del mondo reale, solo un esperimento mentale per capire cosa significherebbe usare la prevalenza nella misurazione dei falsi positivi. Dopo aver svolto questo esercizio, mi viene da sperare che AV-Comparatives troverà un modo per valutare la prevalenza nei loro test di falsi positivi. Il semplice conteggio dei numeri chiaramente non è abbastanza.