Molte suite di sicurezza migliorano la protezione nei test del mondo reale

I ricercatori della AV-Comparatives di Innsbruck lavorano instancabilmente per testare il potere protettivo delle suite di sicurezza in un modo il più vicino possibile all'esperienza dell'utente reale. Ogni giorno sottopongono una ventina di suite a veri e propri attacchi di malware, utilizzando un sistema automatizzato per registrare la capacità del prodotto di resistere al test. Negli ultimi sei mesi hanno superato oltre 3.000 casi di test. I risultati semestrali sono arrivati ​​e un numero impressionante di prodotti è migliorato dall'ultima relazione.

L'importanza della dimensione del campione

È intuitivamente ovvio che un test del genere otterrà risultati più accurati con un set di campioni più ampio, ma questa volta AV-Comparatives ha chiaramente spiegato le conseguenze di un set di campioni troppo piccolo. Un semplice report separato presenta le statistiche e sono un po 'sorprendenti.

Supponiamo che un determinato prodotto abbia rilevato l'80 percento su un set di 10.000 campioni di malware. Supponiamo ora di scegliere solo dieci campioni a caso dalla stessa raccolta. Utilizzando un grafico di tutti i possibili risultati, il rapporto dimostra che è quasi altrettanto probabile ottenere lo stesso tasso di rilevamento, un tasso di rilevamento più elevato o un tasso di rilevamento inferiore. Sì, ridurre fino a dieci campioni è un caso estremo, ma sicuramente fa il punto.

Metodi di prova

Utilizzando metodi di ricerca automatici e manuali, il team di ricerca raccoglie ogni giorno URL dannosi nel mondo reale. Selezionano specificamente un mix di collegamenti diretti a file malware e siti di download drive-by. Esaminando i campioni del giorno uno per uno, espongono tutti i prodotti a un determinato URL contemporaneamente e guardano come ogni prodotto reagisce. Se qualsiasi componente della suite respinge il malware, è un successo. Se il malware passa e imposta le pulizie, è un errore.

A volte la suite si aprirà con una notifica che ha trovato qualcosa , chiedendo all'utente se bloccarlo o consentirlo. A scopo di test, gli analisti di AV-Comparatives scelgono sempre di consentire l'azione. Un prodotto che difende con successo il sistema nonostante questa azione ottenga pieno credito; un prodotto che consente al sistema di essere compromesso a causa di una scelta sbagliata da parte dell'utente ottiene un mezzo credito.

Una volta completato un determinato caso di test, tutti i sistemi di test vengono reimmaginati in uno stato pre-malware, pronto per il prossimo caso di test.

Falsi positivi

Un risultato falso positivo si verifica quando il software di sicurezza blocca erroneamente l'accesso a un file o sito Web legittimo. Chiaramente non vuoi che la tua suite di sicurezza cancelli file validi o ti tenga lontano da siti Web innocui. AV-Comparatives ha testato ogni prodotto con circa un migliaio di domini scelti casualmente e un centinaio di programmi nuovi e popolari. A scopo di test, hanno scaricato ciascun programma dal sito dello sviluppatore, non da un portale di download.

Il rapporto rileva che l'analisi della sicurezza statistica e basata sulla reputazione spesso bloccherà o metterà in guardia su programmi e siti nuovi di zecca. Afferma: "Anche se tali tecniche di protezione… aiutano a ottenere punteggi più alti… questo può anche portare al rilevamento / blocco di file e URL innocenti / puliti solo perché sono… troppo nuovi". Norton, un forte sostenitore di questo tipo di rilevamento, non partecipa ai test AV-Comparatives.

Molto miglioramento

Più della metà dei prodotti inclusi nel presente rapporto ha ottenuto un punteggio migliore rispetto alla precedente edizione di questo rapporto. Vipre, McAfee e Fortinet hanno fallito tutte l'ultima volta, nemmeno guadagnando STANDARD, il voto più basso. Questa volta Fortinet e McAfee hanno valutato ADVANCED e Vipre sono diventati STANDARD. Tutti e tre i loro rating sono stati ridotti a causa di falsi positivi; basandosi solo sul rilevamento, McAfee e Fortinet avrebbero valutato ADVANCED +, il punteggio più alto.

eScan è passato da STANDARD a ADVANCED +, mentre avast!, ESET e Trend Micro sono passati da AVANZATO a AVANZATO +. Molti altri che avevano precedentemente valutato STANDARD hanno gestito una valutazione AVANZATA questa volta.

Bitdefender guadagna regolarmente i migliori punteggi su tutta la linea in test di laboratorio indipendenti. Basandosi solo sul rilevamento di malware avrebbe valutato ADVANCED +, come ha fatto l'ultima volta, ma i falsi positivi lo hanno ridotto a ADVANCED. Lo stesso è accaduto per F-Secure e BullGuard.

Il test dinamico dell'intero prodotto AV-Comparatives è tra i test più laboriosi che abbia mai incontrato. Non sorprende, quindi, che il laboratorio si basi sul supporto dell'Università di Innsbruck e del governo austriaco. È un sacco di lavoro, ma il risultato finale è un test che approssima molto da vicino quanto bene un prodotto proteggerà gli utenti del mondo reale.