Jumat, 29 Oktober 2010

Pengujian terhadap Antivirus SMADAV, PCMAV, dan ANSAV

Testing

Smadav 2010 Rev. 8.0 terbaru kami dapat langsung dari situsnya yang berupa file ZIP. Berikut adalah isi paket file nya:
  • Smadav 2010 Rev. 8.0.exe
  • Readme.txt
File utamanya adalah Smadav 2010 Rev. 8.0.exe. Kami sudah cek update, dan ternyata file/database Smadav yang kami miliki sudah up-to-date. Selanjutnya, file tersebut kami jalankan pada komputer yang telah terinfeksi oleh 3 malware yang kami siapkan sebelumnya. Namun alangkah terkejutnya, kami mendapati bahwa ternyata Smadav tidak bisa dijalankan, dan muncul pesan error sebagai berikut:
Smadav error MSVBVM60.DLL
Error ini diakibatkan karena Smadav tidak menemukan file MSVBVM60.DLL pada system. Karena Smadav masih dibuat menggunakan Visual Basic, file MSVBVM60.DLL dibutuhkan oleh aplikasi VB untuk dapat berjalan dengan baik, karena file ini berisikan run-time library yang dibutuhkan oleh aplikasi tersebut. Trik untuk menghapus atau mem-block file ini sebenarnya sudah sangat sering diterapkan oleh beberapa malware, salah satu contohnya adalah Brontok. Tentu saja, dalam kasus ini file tersebut telah di-block oleh Brontok sebagai pertahanan dirinya.
Sebenarnya ini adalah error yang sangat fatal untuk Smadav, dan ini merupakan ancaman yang sangat serius untuk Smadav. Ini bisa saja dimanfaatkan oleh seorang pembuat malware untuk melakukan blocking terhadap file MSVBVM60.DLL, maka Smadav pun tidak dapat dijalankan. Semoga pembuatnya peduli akan hal ini, dan segera mencari solusinya.
Seharusnya ini sebagai pertanda bahwa Smadav tidak bisa melanjutkan ke tahap berikutnya dikarenakan error tersebut. Begini, kami mencoba memposisikan diri sebagai orang yang sangat awam mengenai komputer, dan komputer terinfeksi oleh malware, dan pada saat menjalankan antivirus, kita mendapati pesan error tersebut, sehingga antivirus tidak bisa dijalankan. Apa yang akan dilakukan selanjutnya? :)
Namun, setelah kami merundingkan masalah ini, akhirnya kami memutuskan untuk memberi kesempatan pada Smadav untuk terus meneruskan pengujian ini.
Lalu apa yang harus dilakukan jika Anda menemui masalah seperti itu?
Silakan Anda copy file MSVBVM60.DLL dari komputer lain, file tersebut lazimnya terdapat pada C:\Windows\System32\. Lalu, tempatkan file tersebut pada direktori Smadav. Maka seharusnya, Smadav akan dapat berjalan normal (Berharap semoga malware-nya tidak lagi memblock file tersebut. Karena ada beberapa malware yang akan tetap mem-block file ini bagaimanapun caranya).
Setelah kami copy kan file yang dimaksud, kini Smadav dapat berjalan normal. Layar pertama yang muncul menunjukan bahwa Smadav telah mendeteksi kehadiran dari virus:
Smadav Alert
Setelah itu ia melakukan scan otomatis dan mendeteksi beberapa virus, yang menyatakan bahwa telah terdeteksi virus di komputer tersebut  namun Smadav telah berhasil membersihkannya. Sepertinya Smadav melakukan tugasnya dengan baik:
Smadav Alert
Semua virus terdeteksi telah di-fix, lalu muncul peringatan seperti ini, yang mengharuskan kita melakukan scan secara menyeluruh. Seperti yang telah dikatakan sebelumnya, kami akan melakukan semua hal yang dianjurkan oleh antivirus yang kami uji.
Smadav Alert 3
Beberapa saat kemudian, proses scanning selesai, dan menampilkan layar seperti di bawah ini yang menyatakan bahwa proses full scan telah selesai dan berhasil membasmi virus tersebut.
Smadav Scanning Finished
Dan berikut adalah cuplikan laporan dari hasil scan:
Smadav Scanning Results
Sesuai SOP  atau Standar Operation Procedure kami, komputer tersebut kami restart setelah selesai membasmi virus/malware. Lalu, kini barulah kami melakukan evaluasi terhadap apa yang dilakukan oleh Smadav.

Results

Hasil dari uji coba Smadav cukup mengejutkan, tidak seperti yang kami harapkan, dan ini semua diluar dugaan. Mengapa? Karena Smadav tidak berhasil dalam uji coba kali ini. Ia gagal dalam membasmi dua virus berikut ini:
  • Email-Worm.Win32.Brontok.n (alias RontokBro, Brontok, MyBro). POINT 0 [FAILED]
  • Net-Worm.Win32.Kido.ih (alias Conficker, Downadup, Kido). Point 0 [FAILED]
Ia hanya berhasil membasmi satu malware saja, yakni:
  • IM-Worm.Win32.Sohanad.bm (alias Autoit, Sohanad, Hakaglan, YahLover, SillyFDC). Point: 15 [PASSED]
Dalam setiap pengujian yang kami lakukan. Inilah yang kami maksud “berhasil” dan “tidak berhasil“:
  • Berhasil: Jika malware tersebut tidak aktif lagi, dengan kata lain, memory telah bersih, begitu juga dengan semua file malware yang terdapat di komputer tersebut telah hilang. Maka dari itu kami melakukan restart setelah system berhasil dibersihkan, untuk mencari tau apakah malware tersebut aktif lagi apa tidak. Jika antivirus berhasil mendeteksi file malware, tapi ia tidak bisa melakukan disinfeksi malware tersebut di memory, sudah sangat dipastikan bahwa antivirus tersebut tidak mampu mengatasi malware tersebut. Dan apabila antivirus dapat membasmi malware, tetap masih menyisakan traces atau jejak yang tidak berbahaya yang ditinggalkan oleh malware tersebut, ini masih dianggap berhasil.
  • Tidak berhasil: Jika malware masih aktif setelah komputer dibersihkan, atau bahkan antivirus tidak mendeteksi malware tersebut.
Dalam pengujian, Smadav tidak mendeteksi secara akurat file virus Email-Worm.Win32.Brontok.n (alias Brontok), tapi engine heuristic berhasil mendeteksi virus tersebut, dengan codename “New Heuristic (172)“, namun ternyata masih gagal dalam proses disinfeksi. Untuk Net-Worm.Win32.Kido.ih (alias Conficker), Smadav berhasil mendeteksi file malware secara tepat dengan nama “Conficker”, namun ia gagal dalam melakukan disinfeksi Conficker secara menyeluruh terutama di memory.
Berikut adalah cuplikan process dari Brontok yang masih aktif:
Smadav Process Explorer
Traces:
Traces atau jejak dari virus yang masih tertinggal, seperti file pendukung, registry, file hosts, dan lain sebagainya:
  • Email-Worm.Win32.Brontok.n: All traces [FAILED]
  • Net-Worm.Win32.Kido.ih: All traces [FAILED]
  • IM-Worm.Win32.Sohanad.bm: No traces. [SUCCESS]
Bagaimana kami menilai?
Masing – masin malware yang kami uji memiliki point masing – masing tergantung tingkat kesulitan dan kompleksitasnya:
  • IM-Worm.Win32.Sohanad.bm = 15
  • Email-Worm.Win32.Brontok.n = 35
  • Net-Worm.Win32.Kido.ih = 50
Apabila Antivirus tersebut berhasil membasmi ketiganya, maka akan mendapat point 100. Dan apabila proses pembasmian suatu malware dikatakan berhasil, namun masih menyisakan traces atau jejak yang ditinggalkan malware, walau dianggap berhasil, namun nilai akan dikurangi 5 untuk tiap malware yang masih tersisa traces-nya.
Untuk itu, nilai pengujian kali ini untuk Smadav adalah: 15

Conclusion

Sungguh disayangkan bagi Smadav yang merupakan antivirus yang paling banyak digemari oleh masyarakat Indonesia (sesuai hasil research kami), namun tidak berhasil dalam membasmi malware seperti yang telah kami uji. Worm lokal sekelas Brontok, yang kenyataannya sudah lama menyebar luas, yang secara teori seharusnya Smadav mampu membersihkannya, namun ternyata gagal. Kalau yang terjadi pada Conficker, kami tidak terlalu kaget, karena dari awal Smadav memang menyatakan tidak mampu dalam membasmi malware yang datang dari luar Indonesia. Alasan ketidakmampuan ini kami belum dapat pastikan, apakah karena memang kurangnya sampel virus atau dari segi teknis antivirus itu sendiri. Kami perlu adakan research tersendiri atas hal ini.
Serta kami juga memberikan saran untuk pembuat Smadav agar menyertakan file MSVBVM60.DLL pada paket Smadav yang mereka distribusikan, paling tidak ini untuk berjaga-jaga agar tidak terjadi error seperti yang kami alami, dan mungkin juga dialami oleh para pengguna Smadav lainnya.

Testing

PC Media Antivirus atau lebih dikenal dengan nama PCMAV kami dapat dari majalah PC Media edisi 03/2010. PCMAV yang kami dapat adalah versi terbaru yakni PCMAV 2.3. Berikut adalah isi paket file nya:
  • $P^C@M^4$V\PCMAV-CLN.EXE
  • $P^C@M^4$V\PCMAV-RTP.exe
  • $P^C@M^4$V\README.txt
  • $P^C@M^4$V\lib\iscan.dll
  • $P^C@M^4$V\lib\rtpmain.exe
  • $P^C@M^4$V\lib\rtpscan.dll
  • $P^C@M^4$V\lib\rtpsvc.exe
  • $P^C@M^4$V\vdb\pcmav.vdb
Paket PCMAV
File utama Cleaner adalah PCMAV-CLN.EXE, seperti yang dijelaskan pada README.txt. Sebelum menggunakannya, PCMAV telah kami update dengan signature terbaru. Selanjutnya, PCMAV kami jalankan pada komputer yang telah kami infeksikan dengan 3 malware, seperti yang telah kami paparkan sebelumnya.
PCMAV detect Conficker at memory
Sesaat setelah kami menjalankan PCMAV-CLN, sebuah message dialog muncul yang menyatakan bahwa Conficker aktif di memory dan mengkonfirmasi apakah kita ingin membersihkannya dari memory? Tentu saja!
PCMAV detect Brontok at memory
Setelah kami klik Yes, muncul lagi message dialog yang menyatakan Brontok telah aktif di memory, dan lagi-lagi mengkonfirmasikan apakah kita infin membersihkan Brontok dari memory? Tentu saja kami klik Yes lagi.
Setelah proses cleaning memory selesai dan splash screen pun menghilang, muncul layar yang memberitahukan hasil pembersihan memory tadi.

Dari sini kita dapat melihat bahwa PCMAV telah mendeteksi dan membersihkan Conficker yang dideteksinya sebagai Conficker.A. Autoit sebagai Autoit.DA. Dan Brontok sebagai Brontok-22.MyBro.A. Setelah itu kami lakukan lagi proses scanning dan cleaning dengan men-scan seluruh drive. Berikut adalah hasil yang kami dapat:

Dari layar tersebut kita dapat mengetahui bahwa semua virus telah dapat berhasil dideteksi dan dibasmi. Setelah itu, kami tekan tombol exit, PCMAV menyarankan untuk melakukan restart. Untuk itu kami lakukan restart segera.
Setelah komputer di-restart kini barulah kita melakukan investigasi. Apakah semua virus telah berhasil dibasmi dengan tuntas?

Results

Seperti yang kami beritahu sebelumnya, PCMAV berhasil mendeteksi ketiga virus tersebut secara akurat, dan bukan dideteksi dengan engine heuristic. Dan setelah kami lakukan pemeriksaan lebih lanjut pada komputer uji coba, hasil yang didapat cukup memuaskan. PCMAV berhasil membasmi ketiga virus tersebut:
  • Email-Worm.Win32.Brontok.n. Point 35 [PASSED]
  • Net-Worm.Win32.Kido.ih. Point 50 [PASSED]
  • IM-Worm.Win32.Sohanad.bm. Point 15 [PASSED]
Jika Anda belum tahu bagaimana kami menilai, silakan lihat hasil review kami terhadap Smadav, di situ kami memaparkan cara bagaimana kami menilai.
Traces:
Walaupun virusnya berhasil dimusnahkan, tapi, kami juga memeriksa segala traces yang ditinggalkan oleh virus yang kemungkinan tidak berhasil diatasi oleh PCMAV, hal yang sama juga telah kami lakukan pada saat melakukan tes antivirus Smadav. Dari hasil penyelidikan, ternyata PCMAV belum cukup tuntas dalam membasmi Brontok.
Kami mendapati, bahwa pada komputer uji coba masih terdapat beberapa direktori yang dibuat oleh Brontok:
  • C:\WINDOWS\Ad22098
  • C:\WINDOWS\system32\s8787
  • C:\WINDOWS\system32\s8787\Spread.Mail.Bro
  • C:\WINDOWS\system32\s8787\Spread.Sent.Bro
  • C:\Documents and Settings\Administrator\Local Settings\Application Data\dv6211500x
Dan berikut adalah hasil lengkap untuk traces:
  • Email-Worm.Win32.Brontok.n: 5 traces [FAILED]
  • Net-Worm.Win32.Kido.ih: No traces [SUCCESS]
  • IM-Worm.Win32.Sohanad.bm: No traces. [SUCCESS]
Untuk itu, walau dianggap berhasil, tapi karena masih menyisakan traces, dan walaupun traces ini tidak berbahaya, nilai untuk Brontok kami kurangi dengan 5.
Berarti, nilai total keseluruhan untuk PCMAV adalah: 95.

Conclusion

Hasil yang didapat oleh PCMAV cukup memuaskan dengan hasil 95 dari 100. PCMAV mampu membasmi Conficker yang terbukti ganas dan cukup sulit dibasmi. Namun dari hasil test yang kami lakukan, PCMAV belum cukup tuntas dalam membasmi Brontok. Seperti yang kami kutip dari file README.txt yang disertakan dalam paket PCMAV:
- BERSIH TUNTAS: Dengan daya basmi PCMAV yang tangguh, virus yang
membandel sekalipun dapat diburu sekaligus dibersihkan secara tuntas
sampai ke “akar-akarnya” tanpa sisa.
Saran untuk pembuat PCMAV, mungkin sebaiknya untuk tidak menyertakan kalimat tersebut sebelum membuktikan bahwa antivirus buatan Anda memang benar-benar tuntas!

Testing

Pengujian dilakukan menggunakan Ansav dengan versi scanner 2.0.53. Informasi lengkap mengenai versi Ansav yang kami gunakan dapat Anda lihat pada gambar di bawah ini:

Seperti yang dijelaskan pada file README.TXT, ansav.exe merupakan komponen utama dari ansav. Seperti pada tes sebelumnya, Ansav kami uji dengan menjalankannya pada komputer yang telah kami infeksikan dengan 3 malware terpilih.
Ansav tidak berhasil mendeteksi atau paling tidak memberikan alert terhadap keanehan yang terjadi pada system setelah terinfeksi Conficker, dengan kata lain, Ansav gagal dalam mendeteksi Conficker yang ada di memory dan file Conficker yang telah masuk ke dalam system. Ia hanya bisa berhasil mendeteksi Conficker yang berada pada flashdisk yang telah terinfeksi yang memang sengaja kami sediakan untuk diinfeksi oleh virus yang kami uji. Sepertinya Ansav tidak mampu melakukan scan pada file ataupun registry Conficker, karena seperti yang kita tahu, Conficker memiliki kemampuan untuk mengunci file dan registrynya menggunakan teknik ACL (Access Control List).

Seperti yang bisa Anda lihat pada gambar di atas, itu merupakan screenshot dari Conficker Eye Chart, situs yang berguna untuk mendiagnosa komputer apakah terinfeksi oleh Conficker. Dari situ sudah jelas, Conficker aktif pada komputer yang kami uji coba, namun Ansav sama sekali tidak berhasil mendeteksinya kehadirannya.
Lalu bagaimana dengan kedua virus lainnya? Brontok dan Autoit berhasil dideteksi di memory, dan Ansav pun berhasil membersihkan memory yang telah terinfeksi. Ansav mendeteksi Brontok dengan nama W32/Brontok.C20, dan Autoit sebagai W32/Altoit.AM.

Setelah pembersihan memory selesai, maka dilanjutkan dengan full scan. Dan kali ini kami dikagetkan dengan pesan error, Ansav crash pada saat proses scanning sedang berlangsung! Jelas ini merupakan bug buat Ansav. Anehnya lagi, pada error report tersebut, tertulis versi Ansav adalah 2.0.50.

Akhirnya, kami mencoba mengulang proses full scan yang kedua kalinya, dan kini sepertinya Ansav berjalan lancar dan ia berhasil menemukan virus – virus yang masih tersisa pada sistem. Namun, apakah Ansav berhasil membersihkannya dengan tuntas? Sebelum menganalisa lebih jauh, sistem di-restart terlebih dahulu.
Sesaat setelah masuk Windows, muncul pesan error yang dikirim oleh Windows yang intinya, Windows menyatakan bahwa ia tidak menemukan file yang dimaksud, seperti yang terlihat pada gambar di bawah ini:

Error seperti ini biasanya diakibatkan karena entri registry run ataupun startup tidak menemukan file target yang akan dijalankan. Ini sudah merupakan salah satu pertanda bahwa Ansav tidak tuntas dalam membasmi virus.

Scan Results

Baiklah, berikut ini hasil sementara yang diperoleh Ansav:
  • Email-Worm.Win32.Brontok.n. Point 35 [PASSED]
  • Net-Worm.Win32.Kido.ih. Point 0 [FAILED]
  • IM-Worm.Win32.Sohanad.bm. Point 15 [PASSED]
Jika Anda belum tahu bagaimana kami menilai, silakan lihat hasil review kami terhadap Smadav, di situ kami memaparkan cara bagaimana kami menilai.

Traces

Walaupun virusnya berhasil dimusnahkan, tapi, kami juga memeriksa segala macam traces yang ditinggalkan oleh virus, mulai dari registry hinggal file pendukung yang kemungkinan tidak berhasil diatasi oleh Ansav, hal yang sama juga telah kami lakukan pada saat melakukan tes antivirus Smadav dan PCMAV.
Dari hasil penyelidikan, ternyata Ansav pun tidak tuntas dalam membasmi kedua virus lokal ini.
Brontok (5 folders added):
  • C:\Documents and Settings\Administrator\Local Settings\Application Data\dv6211500x\
  • C:\WINDOWS\Ad22098\
  • C:\WINDOWS\system32\s8787
  • C:\WINDOWS\system32\s8787\Spread.Mail.Bro
  • C:\WINDOWS\system32\s8787\Spread.Sent.Bro
Brontok (3 files added):
  • C:\Baca Bro !!!.txt
  • C:\WINDOWS\system32\s8787\c.bron.tok.txt
  • C:\WINDOWS\system32\s8787\Spread.Mail.Bro\*.ini
Brontok (1 file modified):
  • C:\WINDOWS\system32\drivers\etc\hosts
Brontok (8 registry item added):
  • HKEY_LOCAL_MACHINE\software\microsoft\Windows\CurrentVersion\Policies\Explorer\run
    (SZ) f3444Adm = “C:\WINDOWS\_default27822.pif”
  • HKEY_LOCAL_MACHINE\software\microsoft\Windows\CurrentVersion\Run
    (SZ) f3444Adm = “C:\WINDOWS\j6278222.exe”
  • HKEY_CURRENT_USER\software\Brontok
    (SZ) Version = Brontok.C[22]
    (SZ) Developer = JowoBot #VM Community
    (SZ) Released = 09-03-06
    (SZ) Message = Look @ “C:\Baca Bro !!!.txt”
    (SZ) Dedicated 2 = Spizaetus Cirrhatus
  • HKEY_CURRENT_USER\software\Microsoft\Windows\CurrentVersion\Policies\System
    (DWORD) DisableRegistryTools = 0×00000001 (1)
Brontok (3 registry item modified):
  • HKEY_LOCAL_MACHINE\software\microsoft\windows nt\currentversion\winlogon
    Original: (SZ) Shell = Explorer.exe
    Changed: (SZ) Shell = Explorer.exe “C:\WINDOWS\o4278227.exe”
    Original: (SZ) Userinit = C:\WINDOWS\system32\userinit.exe,
    Changed: (SZ) Userinit = C:\WINDOWS\system32\userinit.exe,C:\WINDOWS\j6278222.exe
  • HKEY_LOCAL_MACHINE\system\CurrentControlSet\Control\SafeBoot
    Original: (SZ) AlternateShell = cmd.exe
    Changed: (SZ) AlternateShell = c_27822k.com
Autoit (registry added):
  • HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Schedule\
    (DWORD) AtTaskMaxHours = 0×00000000 (0)
  • HKEY_CURRENT_USER\software\Microsoft\Windows\CurrentVersion\Explorer\WorkgroupCrawler\Shares
    (SZ) shared = \New Folder.exe
  • HKEY_CURRENT_USER\software\Microsoft\Windows\CurrentVersion\Policies\System
    (DWORD) DisableTaskMgr = 0×00000001 (1)
    (DWORD) DisableRegistryTools = 0×00000001 (1)
  • HKEY_CURRENT_USER\software\Microsoft\Windows\CurrentVersion\Run
    (SZ) Yahoo Messengger = C:\WINDOWS\system32\RVHOST.exe
Sangat banyak traces yang tersisa yang dilewatkan oleh Ansav, salah satunya cukup fatal, yakni diubahnya isi dari file hosts oleh Brontok.

Ini dapat mengakibatkan user tidak dapat mengakses situs yang telah di-block oleh Brontok yang kebanyakan adalah situs antivirus. Untuk mengatasi hal ini cukup mudah bagi orang yang paham, namun bagi orang awam akan kesulitan mencari penyebabnya.

Final Results

Dan berikut hasil yang kami dapat dari analisa traces:
  • Email-Worm.Win32.Brontok.n: 20 traces [FAILED -5]
  • Net-Worm.Win32.Kido.ih: All traces [FAILED]
  • IM-Worm.Win32.Sohanad.bm: 5 traces. [FAILED -5]
Untuk itu, walau dianggap berhasil, tapi karena masih menyisakan traces nilai untuk Ansav kami kurangi dengan 5 bagi masing – masing malware yang masih tersisa traces-nya.
Finally, nilai akhir yang berhasil didapat oleh Ansav adalah: 40.

Conclusion

Sungguh disayangkan bagi Ansav yang juga tidak berhasil dengan tuntas membasmi ketiga malware yang kami uji coba. Sebenarnya, kami cukup kaget dengan nilai yang diperoleh Ansav. Mengapa? Karena, tadinya kami mengira Ansav bisa lebih baik dibanding kedua rivalnya itu. Secara teknis, sepengetahuan kami Ansav sebelumnya dibuat menggunakan bahasa assembly namun sepertinya kini beralih ke C/C++. Dengan dipilihnya kedua bahasa ini, yang secara teori lebih rumit dibandingkan VB, kami yakin Anvie sang pembuatnya tentu bukanlah orang yang baru kenal programming dan internal sistem, apalagi dalam beberapa artikel ataupun postingan yang dibuatnya terkadang membahas masalah rootkit. Tapi mengapa ia tidak bisa mendeteksi apalagi membasmi Conficker (yang jelas – jelas menerapkan teknik rootkit)?
Bug yang terjadi pada saat proses scanning pun cukup menggangu. Mudah – mudahan pada versi terbarunya nanti, hal tersebut tidak terjadi lagi dan Ansav menjadi semakin lebih baik lagi.
-= END =-

** Kami adalah tim independen, kami tidak berpihak pada siapapun, kami tidak berpihak pada antivirus manapun. Semua hasil di atas adalah berdasarkan hasil pengujian dan fakta yang kami temui. Semua materi adalah hak cipta dari Software-Antivirus-Indonesia.com.

Tidak ada komentar:

Posting Komentar