| Autor | Gast |
| Datum | 23.09.2009 19:47 |
| Beiträge: |  Hallo Flash,IP-Blacklist habe ich bereits probiert. -> irgendwann haben wir alle Suchmaschinen da drin, wollen wir das wirklich? mod_rewrite in .htaccess entfernt die Subdomain "www", was die Suchanfragen schon mal halbiert. Anm.: "IP-Blacklist -> Bearbeiten -> .htaccess -> .htaccess Schreiben" entfernt das wieder.) Hauptproblem an der Standard-opn-robots.txt sind die Container. Das machen die Robots / Crawler nicht mit, weiß der Geier warum. Bei http://tool.motoricerca.info/robots-checker.phtml kannst Du mal eine gekürzte robots.txt meines Test-opn mal prüfen. Interessant ist die Zeile "Crawl-delay: 60", diese habe ich gefunden unter http://www.suchmaschinentricks.de/lexikon/crawl-delay. Angabe in Sekunden, wann ein Robot / Crawler eine neue Anfrage stellen darf. Böse Robots / Crawler werden es trotzdem ignorieren, die gehören selbstverständlich in die Blacklist. Es bleibt trotzedem eine Gratwanderung zwischen "gefunden werden" und "akzeptablen Traffic". Ralf |
