Test antivirus 101

In varie località del mondo, team di ricercatori dedicati hanno sottoposto dozzine di prodotti antivirus a test estenuanti. Alcuni di questi laboratori di test antivirus eseguono procedure che richiedono mesi. Altri sfidano i prodotti antivirus per rilevare centinaia di migliaia di campioni. Non è possibile che un revisore solitario come me possa duplicare tali sforzi, ma insisto nell'esecuzione di test pratici per ogni recensione di antivirus. Perché? Ci sono diverse ragioni.

La tempestività è una delle ragioni. Faccio del mio meglio per recensire ogni nuovo prodotto di sicurezza non appena viene rilasciato. I laboratori eseguono i test secondo un programma che raramente soddisfa le mie esigenze. La completezza è un'altra. Non tutte le società di sicurezza partecipano con ogni laboratorio; alcuni non partecipano affatto. Per quelli che non partecipano, i miei risultati sono tutto ciò che devo fare. Infine, i test pratici mi danno un'idea di come il prodotto e l'azienda gestiscono situazioni difficili, come il malware che impedisce l'installazione del software di protezione.

Per ottenere un confronto ragionevole, devo eseguire ciascun prodotto antivirus sullo stesso set di campioni. Sì, ciò significa che non testerò mai con malware zero-day, mai visto prima. Mi affido ai laboratori, con le loro maggiori risorse, per eseguire quel tipo di test. La creazione di un nuovo set di sistemi di test infestati richiede molto tempo, quindi posso permettermi di farlo solo una volta all'anno. Dato che i miei campioni non sono remotamente nuovi, penseresti che tutti i prodotti di sicurezza li gestiranno bene, ma non è quello che osservo.

Raccolta dei campioni

I grandi laboratori indipendenti mantengono un controllo su Internet, acquisendo costantemente nuovi campioni di malware. Ovviamente devono valutare centinaia di sospetti per identificare quelli che sono veramente dannosi e determinare quale tipo di comportamento dannoso esibiscono.

Per i miei test, mi affido all'aiuto di esperti di diverse società di sicurezza. Chiedo a ciascun gruppo di fornire URL del mondo reale per una decina di minacce "interessanti". Ovviamente non tutte le aziende vogliono partecipare, ma ho un campione rappresentativo. Afferrare i file dalla loro posizione nel mondo reale ha due vantaggi. Innanzitutto, non devo occuparmi della sicurezza della posta elettronica o dello scambio di file eliminando i campioni in transito. In secondo luogo, elimina la possibilità che una società possa giocare al sistema fornendo una minaccia unica che solo il loro prodotto può rilevare.

Gli autori di malware si muovono costantemente e trasformano le loro armi software, quindi scarico immediatamente i campioni suggeriti dopo aver ricevuto gli URL. Anche così, alcuni di loro sono già scomparsi quando provo ad afferrarli.

Rilascia il virus!

Il passaggio successivo, arduo, prevede il lancio di ogni campione suggerito in una macchina virtuale, sotto il controllo del software di monitoraggio. Senza rivelare troppi dettagli, utilizzo uno strumento che registra tutte le modifiche al file e al Registro di sistema, un altro che rileva le modifiche utilizzando snapshot di sistema prima e dopo e terzo che riporta tutti i processi in esecuzione. Dopo ogni installazione eseguo anche un paio di scanner per rootkit, poiché in teoria un rootkit potrebbe eludere il rilevamento da parte di altri monitor.

I risultati sono spesso deludenti. Alcuni esempi rilevano quando sono in esecuzione in una macchina virtuale e si rifiutano di installare. Altri vogliono un sistema operativo specifico, o un codice paese specifico, prima di agire. Altri ancora potrebbero essere in attesa di istruzioni da un centro di comando e controllo. E alcuni danneggiano il sistema di test al punto da non funzionare più.

Tra i miei suggerimenti più recenti, il 10 percento era già sparito quando ho provato a scaricarli e circa la metà degli altri era inaccettabile per un motivo o per l'altro. Tra quelli rimasti, ho scelto tre dozzine, cercando di ottenere una varietà di tipi di malware suggeriti da un mix di aziende diverse.

È qui?

La selezione di esempi di malware è solo metà del lavoro. Devo anche passare a risme e risme di file di registro generati durante il processo di monitoraggio. Gli strumenti di monitoraggio registrano tutto, comprese le modifiche non correlate al campione di malware. Ho scritto un paio di programmi di filtro e analisi per aiutarmi a scoprire i file specifici e le tracce del Registro di sistema aggiunte dal programma di installazione del malware.

Dopo aver installato tre campioni ciascuno in dodici macchine virtuali altrimenti identiche, eseguo un altro piccolo programma che legge i miei registri finali e verifica che i programmi, i file e le tracce del Registro di sistema associati agli esempi siano effettivamente presenti. Abbastanza spesso, devo regolare i miei registri perché un Trojan polimorfico si è installato usando nomi di file diversi da quelli usati quando ho eseguito la mia analisi. In effetti, oltre un terzo della mia attuale collezione aveva bisogno di adattamenti per il polimorfismo.

È andato?

Una volta completata questa preparazione, analizzare il successo della pulizia di un determinato prodotto antivirus è una questione semplice. Installo il prodotto su tutti e dodici i sistemi, eseguo una scansione completa ed eseguo il mio strumento di controllo per determinare quali tracce (se presenti) rimangono dietro. Un prodotto che rimuove tutte le tracce eseguibili e almeno l'80% della posta indesiderata non eseguibile ottiene dieci punti. Se rimuove almeno il 20 percento della spazzatura, vale nove punti; meno del 20 percento ottiene otto punti. Se i file eseguibili rimangono indietro, il prodotto ottiene cinque punti; che scende a tre punti se uno dei file è ancora in esecuzione. E ovviamente una mancanza totale non ottiene alcun punto.

La media dei punti per ciascuna delle tre dozzine di campioni mi dà una visione abbastanza buona di come il prodotto gestisce la pulizia dei sistemi di test infettati da malware. Inoltre, ho esperienza pratica del processo. Supponiamo che due prodotti ottengano punteggi identici, ma uno installato e scansionato senza problemi e l'altro ore di lavoro richieste dal supporto tecnico; il primo è chiaramente migliore.

Ora sai cosa viene inserito nella tabella di rimozione del malware che includo in ogni recensione di antivirus. È un sacco di lavoro una volta all'anno, ma quel lavoro ripaga a picche.