Willkommen Gast. Bitte anmelden oder registrieren.

Autor Thema: Semalt Crawler und andere blockieren  (Gelesen 4689 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

tbtip

  • Bestätigter Nutzer
  • Beiträge: 22
Semalt Crawler und andere blockieren
« am: 18. Februar 2015, 05:04:15 »
Guten Morgen,

ich beschäftige mich seit ein paar Tagen mit dem Thema, wie man den Semalt Crawler oder den buttons-for-website Crawler per htaccess aussperren kann.

Dazu habe ich auch entsprechende Codes gefunden, mit denen man per htaccess diese Crawler und andere aussperren kann.

Das Problem dabei ist, das bei allen Varianten die ich gefunden habe, nach dem einfügen des Codes in die htaccess ein Internal Server Error erfolgt.

Hat einer von euch Erfahrung wie man diese Boots per htaccess aussperren kann?

Nachfolgend der letzte Code den ich gefunden habe, wo ebenfalls diese Error Meldung folgte:

Options -Indexes

<IfModule mod_rewrite.c>

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?7makemoneyonline\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?abovetherivernc\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?adelly\.bg.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?advokateg\.ru.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?alessandraleone\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?aosheng\-tech\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?audiobangout\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?backgroundpictures\.net.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?bbtec\.net.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?bkns\.vn.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?blackhatworth\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?buttons\-for\-website\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?buypharmacydrug\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?itsdp3\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?jasonpartington\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?joinandplay\.me.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?joingames\.org.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?kambasoft\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?kosova\.de.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?leadwayau\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?lmrauction\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?lol-smurfs\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?mainlinehobby.net.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?make\-money\-online\.7makemoneyonline\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?malls\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?openfrost\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?openmediasoft\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?priceg\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?rодом.рф\.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?princeadvantagesales\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?pyrodesigns.com.au.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?realting-moscow\.ru.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?retreatia\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?savetubevideo\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?setioweb\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?thepokertimer\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?touchmods.fr.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?twincitiescarservice\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?twincitiescarservice\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?urlopener.blogspot\.com.au.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?uzungil\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?vapmedia\.org.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?videofrost\.com.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?videofrost\.net.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?website-errors-scanner\.com.*$ [NC,OR]

RewriteRule ^(.*)$ – [F,L]

</IfModule>

Danke schon jetzt mal für die freundliche Unterstützung.

FINWICK

  • Gast
Antw: Semalt Crawler und andere blockieren
« Antwort #1 am: 18. Februar 2015, 10:02:32 »
Versuche es so
#Block referer spam
SetEnvIfNoCase Referer semalt.com spammer=yes
SetEnvIfNoCase Referer st3.cwl.yahoo.com spammer=yes
SetEnvIfNoCase Referer buttons-for-website.com spammer=yes


Order allow,deny
Allow from all
Deny from env=spammer

zero24

  • Bestätigter Nutzer
  • Beiträge: 90
    • Meine Webseite
Antw: Semalt Crawler und andere blockieren
« Antwort #2 am: 18. Februar 2015, 14:06:49 »
Hi :)

Bei mir hilft folgender Code in der .htaccess
Quelle: http://www.website-go.com/artikel/block-buttons-for-website.php

# Referrer-Spam blockieren
# Semalt Referrer-Spam blockieren
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline.\com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
RewriteRule ^(.*)$ - [F,L]

# block referer spam buttons for website
RewriteEngine On
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com
RewriteRule ^.* - [F,L]

# End buttons for website block
# Quelle: http://www.website-go.com/artikel/block-buttons-for-website.php
# End Referrer-Spam blockieren
Nichts auf der Welt ist so gerecht verteilt wie der Verstand. Denn jedermann ist überzeugt, daß er genug davon habe. (Rene Descartes, fr. Mathematiker u. Philosoph, 1596 - 1650)

tbtip

  • Bestätigter Nutzer
  • Beiträge: 22
Antw: Semalt Crawler und andere blockieren
« Antwort #3 am: 19. Februar 2015, 05:48:33 »
Hallo FINWICK und zero24,

recht herzlichen Dank für eure Hilfe.  :)

Habe beide Code Formen heute morgen angetestet und so funktionieren Sie schon mal super.

Werde jetzt die nächsten Tage mal beobachten, ob jetzt endlich Ruhe ist mit dem Semalt und Buttons-for-Website Boots.