Τα κακά bots

Έχετε ξοδέψει πολύ χρόνο ή χρήμα ή και τα δύο στην κατασκευή της ιστοσελίδας σας, έχετε παλέψει με τις μηχανές αναζήτησης για καλύτερα αποτελέσματα και εκεί που καμαρώνετε για το έργο σας... κάτι δεν πάει καλά!

Παρατηρείτε ότι χωρίς να ανεβεί η επισκεψιμότητα (επισκέπτες ανά ημέρα), κάποιες μέρες έχουν πολύ traffic, πολλή αναγνωσιμότητα. Λες και ξαφνικά οι επισκέπτες εκτίμησαν το περιεχόμενο και δεν αφήνουν σελίδα να πάει χαμένη! Είναι φανερό ότι "κάποιος" επισκέπτης πατάει όλες τις σελίδες μία προς μία...

Μάθετε λοιπόν πως αυτό οφείλεται στο ότι μόλις σας ανακάλυψαν τα κακά bots!

Αν προσέξετε καλύτερα στα στατιστικά του cPanel, κάποια IP ξεχωρίζει από τις υπόλοιπες, έχοντας επισκεφθεί όλες τις σελίδες σας. Τι πρέπει να κάνετε?

1. IP: Σημειώστε την IP με την ύποπτη συμπεριφορά.
2. Logs: Ανοίξτε το αρχείο καταγραφής logs του Apache (γι'αυτό θα πρέπει να έχετε λογαριασμό FTP), σε έναν text editor. Αν δε γνωρίζετε που είναι, ρωτήστε την εταιρεία που σας παρέχει υπηρεσίες φιλοξενίας (hosting).
3. Bot IP: Προσπαθήστε να εντοπίσετε εγγραφές με την "κακή IP" στο text αρχείο που μόλις ανοίξατε.
4. Ταυτότητα: Δείτε την ταυτότητά της (browser).
   Σας δίνουμε ένα παράδειγμα μιας τέτοιας εγγραφής: 77.249.25.51 - - [11/Jan/2004:11:12:25 0200] "GET / HTTP/1.1" 500 - "-" "Java/1.6.0_21"
   Αντιλαμβανόμαστε ότι η ταυτότητά της είναι "Java/1.6.0_21". Χρησιμοποιώντας το σταθερό κομμάτι "Java/", θα προσπαθήσουμε να την αποκλείσουμε από το αρχείο .htaccess
5. .htaccess: Τοποθετείστε στο .htaccess τον παρακάτω κώδικα (προσοχή: αντικαταστήστε τις σειριακές ονομασίες "BadBotn" με αληθινά ονόματα από bots):
   RewriteEngine On
   RewriteCond %{HTTP_REFERER} q=Guestbook [NC,OR]
   
   RewriteCond %{HTTP_USER_AGENT} ^BadBot01 [OR]
   RewriteCond %{HTTP_USER_AGENT} ^BadBot02 [OR]
   RewriteCond %{HTTP_USER_AGENT} ^BadBot03 [OR]
   ....
   RewriteCond %{HTTP_USER_AGENT} ^BadBot100
   
   RewriteRule ^.* - [F,L]
6. Αντικατάσταση: Αλλάξτε τα ονόματα που βλέπετε επάνω με έντονα γράμματα, με όλα τα ονόματα των bots που θέλετε να αποκλείσετε.

Παρακάτω δίνονται όλα τα ονόματα γνωστών bots:

BlackWidow, CherryPicker, ChinaClaw, Crescent, Custo, DISCo, Download Demon, eCatch, EirGrabber, EmailCollector, EmailSiphon, EmailWolf, Express WebPictures, ExtractorPro, EyeNetIE, FlashGet, GetRight, GetWeb!, Go!Zilla, Go-Ahead-Got-It, GornKer, GrabNet, Grafula, HMView, RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
Image Stripper, Image Sucker, RewriteCond %{HTTP_USER_AGENT} Indy Library [NC,OR]
InterGET, Internet Ninja, Irvine, Java/, JetCar, JOC Web Spider, larbin, LeechFTP, Mass Downloader, Microsoft.URL, MIDown tool, Mister PiX, Mozilla.*NEWT, Navroad, NearSite, NetAnts, NetSpider, Net Vampire, NetZIP, NICErsPRO, Octopus, Offline Explorer, Offline Navigator, PageGrabber, Papa Foto, pavuk, pcBrowser, RewriteCond %{HTTP_USER_AGENT} dloader(NaverRobot), ReGet, SearchExpress, SiteSnagger, SmartDownload, SuperBot, SuperHTTP, Surfbot, Siphon, tAkeOut, Teleport Pro, VoidEYE, Web Image Collector, Web Sucker, WebAuto, WebBandit, WebCopier, WebFetch, WebGo IS, WebLeacher, WebReaper, WebSauger, Website eXtractor, Website Quester, WebStripper, WebWhacker, WebZIP, Wget, Widow, WWWOFFLE, Xaldon WebSpider, RewriteCond %{REQUEST_URI} /_vti_, RewriteCond %{REQUEST_URI} cltreq.asp$, RewriteCond %{REQUEST_URI} owssvr.dll$, Zeus, ZyBorg

Καλή τύχη!

Share

Tweet

Σχετικά Άρθρα

Τι είναι το "bandwidth";

sshd: Ασφάλεια στο server μας

Πρόσβαση στο cPanel

Η δύσκολη ζωή στο διαδίκτυο μέρος Α' "phising"

Η δύσκολη ζωή στο διαδίκτυο μέρος Β' "malware"