Come testiamo antivirus e software di sicurezza

Ogni prodotto antivirus o suite di sicurezza promette di proteggerti da una moltitudine di rischi e fastidi per la sicurezza. Ma in realtà rispettano le loro promesse? Nel valutare questi prodotti per la revisione, mettiamo alla prova le loro affermazioni in molti modi diversi. Ogni recensione riporta i risultati dei nostri test, nonché l'esperienza pratica con il prodotto. Questo articolo approfondirà, spiegando come funzionano questi test.

Naturalmente, non tutti i test sono appropriati per ogni prodotto. Molte utility antivirus includono la protezione dal phishing, ma altre no. La maggior parte delle suite include il filtro antispam, ma alcune omettono questa funzionalità e alcuni prodotti antivirus la aggiungono come bonus. Indipendentemente dalle caratteristiche offerte da un determinato prodotto, le mettiamo alla prova.

Test dell'antivirus in tempo reale

Ogni strumento antivirus completo include uno scanner su richiesta per individuare e distruggere le infestazioni di malware esistenti e un monitor in tempo reale per respingere nuovi attacchi. In passato, abbiamo effettivamente gestito una raccolta di macchine virtuali infestate da malware per testare la capacità di ciascun prodotto di rimuovere malware esistente. I progressi nella codifica del malware hanno reso troppo pericolosi i test con malware in tempo reale, ma possiamo comunque esercitare la protezione in tempo reale di ogni prodotto.

Ogni anno all'inizio della primavera, quando la maggior parte dei vendor di sicurezza ha terminato il proprio ciclo di aggiornamento annuale, raccogliamo una nuova raccolta di campioni di malware per questo test. Iniziamo con un feed degli ultimi URL di hosting malware, scarichiamo centinaia di campioni e li riconosciamo fino a un numero gestibile.

Analizziamo ogni campione usando vari strumenti codificati a mano. Alcuni esempi rilevano quando sono in esecuzione in una macchina virtuale e si astengono da attività dannose; semplicemente non li usiamo. Cerchiamo una varietà di tipi diversi e esempi che apportano modifiche al file system e al registro. Con un po 'di sforzo, abbiniamo la raccolta a un numero gestibile e registriamo esattamente quali modifiche al sistema fanno ogni campione.

Per testare le capacità di blocco del malware di un prodotto, scarichiamo una cartella di campioni dall'archivio nel cloud. La protezione in tempo reale di alcuni prodotti interviene immediatamente, eliminando i malware noti. Se necessario per attivare la protezione in tempo reale, facciamo clic su ciascun campione o copiamo la raccolta in una nuova cartella. Prendiamo nota di quanti campioni l'antivirus elimina a vista.

Successivamente, lanciamo ogni campione rimanente e notiamo se l'antivirus lo ha rilevato. Registriamo la percentuale totale rilevata, indipendentemente da quando è avvenuta la rilevazione.

Il rilevamento di un attacco malware non è sufficiente; l'antivirus deve effettivamente prevenire l'attacco. Un piccolo programma interno controlla il sistema per determinare se il malware è riuscito a apportare modifiche al Registro di sistema o installare uno dei suoi file. Nel caso di file eseguibili, controlla anche se qualcuno di questi processi è effettivamente in esecuzione. E non appena la misurazione è completa, spegniamo la macchina virtuale.

Se un prodotto impedisce l'installazione di tutte le tracce eseguibili da un campione di malware, guadagna 8, 9 o 10 punti, a seconda di quanto bene ha impedito di ingombrare il sistema con tracce non eseguibili. Rilevare malware ma non riuscire a impedire l'installazione di componenti eseguibili ottiene un credito medio di 5 punti. Infine, se, nonostante il tentativo di protezione dell'antivirus, uno o più processi malware sono effettivamente in esecuzione, vale solo 3 punti. La media di tutti questi punteggi diventa il punteggio finale di blocco del malware del prodotto.

Test del blocco degli URL dannosi

Il momento migliore per annientare il malware è prima che raggiunga il tuo computer. Molti prodotti antivirus si integrano con i tuoi browser e li allontanano da URL di hosting malware noti. Se la protezione non inizia a quel livello, c'è sempre la possibilità di cancellare il payload del malware durante o immediatamente dopo il download.

Mentre il test di blocco del malware oue di base utilizza lo stesso set di campioni per una stagione, gli URL di hosting malware che utilizziamo per testare la protezione basata sul Web sono ogni volta diversi. Riceviamo un feed dei nuovissimi URL dannosi da MRG-Effitas con sede a Londra e in genere utilizziamo URL che non sono più di un giorno.

Usando una piccola utility appositamente creata, scendiamo l'elenco, avviando a turno ogni URL. Eliminiamo quelli che non indicano effettivamente un download di malware e quelli che restituiscono messaggi di errore. Per il resto, notiamo se l'antivirus impedisce l'accesso all'URL, cancella il download o non fa nulla. Dopo aver registrato il risultato, l'utilità passa all'URL successivo nell'elenco che non si trova nello stesso dominio. Saltiamo qualsiasi file di dimensioni superiori a 5 MB e saltiamo anche i file che sono già comparsi nello stesso test. Continuiamo fino a quando non abbiamo accumulato dati per almeno 100 URL di hosting malware verificati.

Il punteggio in questo test è semplicemente la percentuale di URL per i quali l'antivirus ha impedito il download di malware, tagliando completamente l'accesso all'URL o cancellando il file scaricato. I punteggi variano ampiamente, ma i migliori strumenti di sicurezza gestiscono almeno il 90 percento.

Test del rilevamento di phishing

Perché ricorrere a elaborati trojan che rubano i dati, quando puoi semplicemente indurre le persone a rinunciare alle loro password? Questa è la mentalità dei malfattori che creano e gestiscono siti Web di phishing. Questi siti fraudolenti imitano banche e altri siti sensibili. Se inserisci le tue credenziali di accesso, hai appena dato le chiavi del regno. E il phishing è indipendente dalla piattaforma; funziona su qualsiasi sistema operativo che supporti la navigazione sul Web.

Questi siti Web fasulli in genere vengono inseriti nella lista nera non molto tempo dopo la loro creazione, quindi per i test utilizziamo solo i nuovissimi URL di phishing. Li raccogliamo da siti Web orientati al phishing, favorendo quelli che sono stati segnalati come frodi ma non ancora verificati. Ciò costringe i programmi di sicurezza a utilizzare l'analisi in tempo reale anziché fare affidamento su liste nere semplici.

Per questo test utilizziamo quattro macchine virtuali, una per il prodotto in fase di test e una per ciascuna che utilizza la protezione antiphishing integrata in Chrome, Firefox e Microsoft Edge. Un piccolo programma di utilità avvia ciascun URL nei quattro browser. Se qualcuno di loro restituisce un messaggio di errore, scartiamo tale URL. Se la pagina risultante non tenta attivamente di imitare un altro sito o non tenta di acquisire dati relativi a nome utente e password, la eliminiamo. Per il resto, registriamo se ciascun prodotto ha rilevato la frode o meno.

In molti casi, il prodotto in fase di test non può nemmeno fare così come la protezione integrata in uno o più browser.

Test del filtro antispam

Al giorno d'oggi gli account di posta elettronica per la maggior parte dei consumatori hanno rimosso lo spam dal provider di posta elettronica o da un'utilità in esecuzione sul server di posta elettronica. In effetti, la necessità di filtrare lo spam è in costante calo. Il laboratorio di test austriaco AV-Comparatives ha testato la funzionalità antispam alcuni anni fa, scoprendo che anche solo Microsoft Outlook ha bloccato quasi il 90 percento dello spam e la maggior parte delle suite ha funzionato meglio, alcune molto meglio. Il laboratorio non promette nemmeno di continuare a testare i filtri antispam rivolti ai consumatori, rilevando che "diversi fornitori stanno pensando di rimuovere la funzione antispam dai loro prodotti di sicurezza dei consumatori".

In passato, abbiamo eseguito i nostri test antispam utilizzando un account del mondo reale che riceve sia spam che posta valida. Il processo di download di migliaia di messaggi e analisi manuale del contenuto della cartella Posta in arrivo e della posta indesiderata ha richiesto più tempo e sforzi rispetto a qualsiasi altro test pratico. Spendere il massimo sforzo su una caratteristica di importanza minima non ha più senso.

Ci sono ancora punti importanti da segnalare sul filtro antispam di una suite. Quali client di posta elettronica supporta? Puoi usarlo con un client non supportato? È limitato agli account di posta elettronica POP3 o gestisce anche messaggi di posta elettronica IMAP, Exchange o Web? In futuro, considereremo attentamente le funzionalità antispam di ogni suite, ma non scaricheremo e analizzeremo più migliaia di e-mail.

Test delle prestazioni di Security Suite

Quando la tua suite di sicurezza è impegnata nella ricerca di attacchi di malware, nella difesa dalle intrusioni della rete, nell'impedire al tuo browser di visitare siti Web pericolosi e così via, utilizza chiaramente parte della CPU del tuo sistema e altre risorse per fare il suo lavoro. Alcuni anni fa, le suite di sicurezza si sono guadagnate la reputazione di risucchiare così tante risorse del sistema che ne è stato influenzato l'uso del proprio computer. Al giorno d'oggi le cose vanno molto meglio, ma eseguiamo ancora alcuni semplici test per avere un'idea dell'effetto di ciascuna suite sulle prestazioni del sistema.

Il software di sicurezza deve essere caricato il più presto possibile nel processo di avvio, per evitare che trovi malware già sotto controllo. Ma gli utenti non vogliono aspettare più del necessario per iniziare a utilizzare Windows dopo il riavvio. Il nostro script di test viene eseguito immediatamente dopo l'avvio e inizia a chiedere a Windows di segnalare il livello di utilizzo della CPU una volta al secondo. Dopo 10 secondi consecutivi con un utilizzo della CPU non superiore al 5 percento, dichiara il sistema pronto per l'uso. Sottraendo l'inizio del processo di avvio (come riportato da Windows), sappiamo quanto tempo ha richiesto il processo di avvio. Eseguiamo molte ripetizioni di questo test e confrontiamo la media con quella di molte ripetizioni quando non era presente alcuna suite.

In verità, probabilmente riavvierai non più di una volta al giorno. Una suite di sicurezza che ha rallentato le operazioni quotidiane sui file potrebbe avere un impatto più significativo sulle tue attività. Per verificare questo tipo di rallentamento, temporizziamo uno script che sposta e copia una grande raccolta di file da grandi a enormi tra le unità. In media diverse esecuzioni senza suite e diverse esecuzioni con la suite di sicurezza attiva, possiamo determinare quanto la suite ha rallentato queste attività sui file. Uno script simile misura l'effetto della suite su uno script che comprime e decomprime la stessa raccolta di file.

Il rallentamento medio in questi tre test da parte delle suite con il tocco più leggero può essere inferiore all'1 percento. All'altra estremità dello spettro, poche suite hanno una media del 25 percento o anche di più. Potresti effettivamente notare l'impatto delle suite più pesanti.

Test della protezione del firewall

Non è facile quantificare il successo di un firewall, perché diversi fornitori hanno idee diverse su cosa dovrebbe fare un firewall. Anche così, ci sono una serie di test che possiamo applicare alla maggior parte di essi.

In genere un firewall ha due lavori, proteggendo il computer dagli attacchi esterni e garantendo che i programmi non utilizzino in modo improprio la connessione di rete. Per testare la protezione dagli attacchi, utilizziamo un computer fisico che si collega attraverso la porta DMZ del router. Questo dà l'effetto di un computer collegato direttamente a Internet. Questo è importante per i test, perché un computer collegato tramite un router è effettivamente invisibile a Internet in generale. Raggiungiamo il sistema di test con scansioni delle porte e altri test basati sul Web. Nella maggior parte dei casi troviamo che il firewall nasconde completamente il sistema di test da questi attacchi, mettendo tutte le porte in modalità invisibile.

Il firewall integrato di Windows gestisce furtivamente tutte le porte, quindi questo test è solo una base. Ma anche qui, ci sono opinioni diverse. I progettisti di Kaspersky non vedono alcun valore nelle porte invisibili finché le porte sono chiuse e il firewall impedisce attivamente l'attacco.

Il controllo del programma nei primi firewall personali era estremamente pratico. Ogni volta che un programma sconosciuto ha tentato di accedere alla rete, il firewall ha lanciato una query che chiedeva all'utente se consentire o meno l'accesso. Questo approccio non è molto efficace, poiché l'utente generalmente non ha idea di quale azione sia corretta. La maggior parte consentirà tutto. Altri fanno clic su Blocca ogni volta, fino a quando non interrompono un programma importante; dopo ciò permettono tutto. Eseguiamo un controllo pratico di questa funzionalità utilizzando una piccola utility del browser codificata in ore, che si qualificherà sempre come un programma sconosciuto.

Alcuni programmi dannosi tentano di aggirare questo tipo di semplice controllo dei programmi manipolando o mascherandosi come programmi affidabili. Quando incontriamo un firewall di vecchia scuola, testiamo le sue abilità usando programmi di utilità chiamati test di tenuta. Questi programmi utilizzano le stesse tecniche per eludere il controllo del programma, ma senza alcun payload dannoso. Troviamo sempre meno test di tenuta che funzionano ancora con le moderne versioni di Windows.

All'altra estremità dello spettro, i migliori firewall configurano automaticamente le autorizzazioni di rete per programmi validi noti, eliminano programmi dannosi noti e intensificano la sorveglianza su incognite. Se un programma sconosciuto tenta una connessione sospetta, il firewall entra in quel punto per fermarlo.

Il software non è e non può essere perfetto, quindi i cattivi lavorano sodo per trovare falle nella sicurezza nei sistemi operativi, nei browser e nelle applicazioni più diffusi. Elaborano exploit per compromettere la sicurezza del sistema utilizzando tutte le vulnerabilità che trovano. Naturalmente il creatore del prodotto sfruttato rilascia una patch di sicurezza il più presto possibile, ma fino a quando non si applica effettivamente quella patch, si è vulnerabili.

I firewall più intelligenti intercettano questi attacchi di exploit a livello di rete, quindi non raggiungono nemmeno il tuo computer. Anche per coloro che non eseguono la scansione a livello di rete, in molti casi il componente antivirus cancella il payload di malware dell'exploit. Usiamo lo strumento di penetrazione CORE Impact per colpire ogni sistema di test con circa 30 exploit recenti e registrare quanto bene il prodotto di sicurezza li ha respinti.

Infine, eseguiamo un controllo di integrità per vedere se un programmatore di malware potrebbe facilmente disabilitare la protezione della sicurezza. Cerchiamo un interruttore on / off nel Registro di sistema e testiamo se può essere utilizzato per disattivare la protezione (anche se sono passati anni da quando abbiamo trovato un prodotto vulnerabile a questo attacco). Tentiamo di terminare i processi di sicurezza utilizzando Task Manager. E controlliamo se è possibile interrompere o disabilitare i servizi Windows essenziali del prodotto.

Test del controllo genitori

Il controllo parentale e il monitoraggio coprono un'ampia varietà di programmi e funzionalità. La tipica utility di controllo parentale tiene lontani i bambini dai siti sgradevoli, monitora il loro utilizzo di Internet e consente ai genitori di determinare quando e per quanto tempo i bambini possono utilizzare Internet ogni giorno. Altre funzionalità vanno dalla limitazione dei contatti di chat al pattugliamento dei post di Facebook per argomenti rischiosi.

Eseguiamo sempre un controllo di integrità per assicurarci che il filtro contenuto funzioni effettivamente. A quanto pare, trovare siti porno per i test è un gioco da ragazzi. Quasi ogni URL composto da un aggettivo di dimensioni e il nome di una parte del corpo normalmente coperta è già un sito porno. Pochissimi prodotti non superano questo test.

Usiamo una piccola utility interna per il browser per verificare che il filtro dei contenuti sia indipendente dal browser. Emettiamo un comando di rete di tre parole (no, non lo pubblichiamo qui) che disabilita alcuni filtri di contenuto semplici. E controlliamo se possiamo eludere il filtro utilizzando un sito Web proxy anonimo sicuro.

L'imposizione di limiti di tempo sul computer dei bambini o sull'uso di Internet è efficace solo se i bambini non possono interferire con il cronometraggio. Verifichiamo che la funzione di pianificazione temporale funzioni, quindi proviamo a evitarlo ripristinando la data e l'ora del sistema. I migliori prodotti non si basano sull'orologio di sistema per la loro data e ora.

Dopodiché, si tratta semplicemente di testare le funzionalità che il programma afferma di avere. Se promette la possibilità di bloccare l'uso di programmi specifici, attiviamo quella funzione e proviamo a romperla spostando, copiando o rinominando il programma. Se dice che elimina le parolacce dall'e-mail o dalla messaggistica istantanea, aggiungiamo una parola casuale all'elenco dei blocchi e verifichiamo che non venga inviata. Se afferma che può limitare i contatti di messaggistica istantanea, abbiamo avviato una conversazione tra due dei nostri account e quindi ne abbiamo vietato uno. Qualunque sia il potere di controllo o monitoraggio promesso dal programma, facciamo del nostro meglio per metterlo alla prova.

Interpretazione dei test di laboratorio antivirus

Non abbiamo le risorse per eseguire il tipo di test antivirus completi eseguiti da laboratori indipendenti in tutto il mondo, quindi prestiamo molta attenzione alle loro scoperte. Seguiamo due laboratori che rilasciano certificazioni e quattro laboratori che rilasciano regolarmente i risultati dei test, usando i loro risultati per aiutare a informare le nostre recensioni.

ICSA Labs e West Coast Labs offrono una vasta gamma di test di certificazione di sicurezza. Seguiamo specificamente le loro certificazioni per il rilevamento di malware e per la rimozione di malware. I fornitori di sicurezza pagano per testare i loro prodotti e il processo include l'aiuto dei laboratori per risolvere eventuali problemi che impediscono la certificazione. Quello che stiamo osservando qui è il fatto che il laboratorio ha trovato il prodotto abbastanza significativo per essere testato e il venditore era disposto a pagare per i test.

Con sede a Magdeburgo, in Germania, l'AV-Test Institute sottopone continuamente i programmi antivirus a numerosi test. Quello su cui ci concentriamo è un test in tre parti che assegna fino a 6 punti in ciascuna delle tre categorie: protezione, prestazioni e usabilità. Per ottenere la certificazione, un prodotto deve guadagnare un totale di 10 punti senza zero. I migliori prodotti portano a casa 18 punti perfetti in questo test.

Per testare la protezione, i ricercatori hanno esposto ogni prodotto al set di riferimento di AV-Test di oltre 100.000 campioni e a diverse migliaia di campioni estremamente diffusi. I prodotti ottengono credito per prevenire l'infestazione in qualsiasi fase, sia che si tratti di bloccare l'accesso all'URL di hosting del malware, di rilevare il malware utilizzando le firme o di impedirne l'esecuzione. I migliori prodotti raggiungono spesso il 100 percento di successo in questo test.

Le prestazioni sono importanti: se l'antivirus evidenzia notevolmente le prestazioni del sistema, alcuni utenti lo disattivano. I ricercatori di AV-Test misurano la differenza di tempo necessaria per eseguire 13 azioni di sistema comuni con e senza il prodotto di sicurezza presente. Tra queste azioni vi sono il download di file da Internet, la copia di file sia localmente che attraverso la rete e l'esecuzione di programmi comuni. Con una media di più esecuzioni, sono in grado di identificare l'impatto di ciascun prodotto.

Il test di usabilità non è necessariamente quello che pensi. Non ha nulla a che fare con la facilità d'uso o il design dell'interfaccia utente. Piuttosto, misura i problemi di usabilità che si verificano quando un programma antivirus segnala erroneamente un programma o un sito Web legittimo come dannoso o sospetto. I ricercatori installano ed eseguono attivamente una raccolta in continua evoluzione di programmi popolari, rilevando qualsiasi comportamento strano da parte dell'antivirus. Un test di sola scansione separato verifica che l'antivirus non identifichi nessuno dei malware legittimi tra gli oltre 600.000 file legittimi.

Raccogliamo i risultati di quattro (in precedenza cinque) dei numerosi test regolarmente pubblicati da AV-Comparatives, che ha sede in Austria e lavora a stretto contatto con l'Università di Innsbruck. Gli strumenti di sicurezza che superano un test ricevono la certificazione standard; quelli che falliscono sono designati come semplicemente testati. Se un programma va oltre il minimo necessario, può ottenere la certificazione Advanced o Advanced +.

Il test di rilevamento dei file di AV-Comparatives è un semplice test statico che verifica ogni antivirus con circa 100.000 campioni di malware, con un test di falsi positivi per garantire l'accuratezza. E il test delle prestazioni, proprio come AV-Test, misura qualsiasi impatto sulle prestazioni del sistema. In precedenza, includevamo il test euristico / comportamentale; questo test è stato abbandonato.

Consideriamo il test dinamico dell'intero prodotto di AV-Comparatives il più significativo. Questo test mira a simulare il più fedelmente possibile l'esperienza dell'utente reale, consentendo a tutti i componenti del prodotto di sicurezza di agire contro il malware. Infine, il test di riparazione inizia con una raccolta di malware che tutti i prodotti testati sono noti per rilevare e sfida i prodotti di sicurezza a ripristinare un sistema infestato, rimuovendo completamente il malware.

Laddove AV-Test e AV-Comparatives in genere includono da 20 a 24 prodotti nei test, SE Labs generalmente riporta non più di 10. Questo è in gran parte dovuto alla natura del test di questo laboratorio. I ricercatori acquisiscono siti Web di hosting di malware nel mondo reale e utilizzano una tecnica di riproduzione in modo che ogni prodotto incontri esattamente lo stesso download drive-by o altri attacchi basati sul Web. È estremamente realistico, ma arduo.

Un programma che blocca totalmente uno di questi attacchi guadagna tre punti. Se ha preso provvedimenti dopo l'inizio dell'attacco, ma è riuscito a rimuovere tutte le tracce eseguibili, vale due punti. E se ha semplicemente terminato l'attacco, senza una pulizia completa, ottiene comunque un punto. Nel malaugurato caso in cui il malware venga eseguito gratuitamente sul sistema di test, il prodotto in prova perde cinque punti. Per questo motivo, alcuni prodotti hanno effettivamente ottenuto un punteggio inferiore allo zero.

In un test separato, i ricercatori valutano quanto bene ogni prodotto si astiene dall'identificare erroneamente software dannoso come dannoso, ponderando i risultati in base alla prevalenza di ciascun programma valido e su quanto impatto avrebbe l'identificazione di falsi positivi. Combinano i risultati di questi due test e certificano i prodotti a uno dei cinque livelli: AAA, AA, A, B e C.

• Le migliori suite di sicurezza per il 2019 Le migliori suite di sicurezza per il 2019
• La migliore protezione antivirus per il 2019 La migliore protezione antivirus per il 2019
• La migliore protezione antivirus gratuita per il 2019 La migliore protezione antivirus gratuita per il 2019

Da qualche tempo abbiamo utilizzato un feed di campioni fornito da MRG-Effitas nel nostro test pratico sul blocco degli URL dannosi. Questo laboratorio rilascia anche risultati trimestrali per due test particolari che seguiamo. Il test di valutazione e certificazione 360 ​​simula la protezione del mondo reale dai malware attuali, in modo simile al test dinamico del mondo reale utilizzato da AV-Comparatives. Un prodotto che impedisce completamente qualsiasi infestazione da parte del set di campioni riceve la certificazione di livello 1. La certificazione di livello 2 indica che almeno alcuni dei malware hanno piantato file e altre tracce sul sistema di test, ma queste tracce sono state eliminate al momento del successivo riavvio. La certificazione bancaria online verifica in modo molto specifico la protezione da malware finanziario e botnet.

Elaborare un riepilogo generale dei risultati di laboratorio non è facile, poiché i laboratori non testano tutti la stessa raccolta di programmi. Abbiamo ideato un sistema che normalizza i punteggi di ciascun laboratorio a un valore compreso tra 0 e 10. Il nostro grafico aggregato dei risultati di laboratorio riporta la media di questi punteggi, il numero di test di laboratorio e il numero di certificazioni ricevute. Se solo un laboratorio include un prodotto nei test, riteniamo che siano informazioni insufficienti per un punteggio aggregato.

Potresti aver notato che questo elenco di metodi di test non copre le reti private virtuali o le VPN. Il test di una VPN è molto diverso dal test di qualsiasi altra porzione di una suite di sicurezza, quindi abbiamo fornito una spiegazione separata su come testiamo i servizi VPN.