Autor |
Seitenzugriffe sperren |
chris390
Registriert: 30.11.2008
Beiträge:
11
|
Geschrieben: 27.06.2010 19:13
Hallo zusammen,
ist es möglich Seitenzugriffe für einige Suchmaschinen zu sperren? Ich habe das Phänomen das Cuil den ganzen Tag auf der Seite zugriffe erzeut, in der ganzen Apache Log steht nur Cuil drin.
Hat jemand von euch eine Idee?
Gruß Christoph
|
|
Gast
Unregistrierter Benutzer
|
Geschrieben: 27.06.2010 20:38
Hallo Christoph
Du hast mehrere Möglichkeiten.
Wenn du eine OPN integrierte Lösung suchst, dann kannst du das mit den Customizer Modulen machen. Genauer mit dem IP Blacklist Modul.
Alternativ kannst du die IP von dem Crawler auch direkt in eine .htaccess schreiben.
Zum Beispiel so:
order deny,allow
deny from *****
Bei den Sternchen kommt dann die IP Adresse des Cuil Spiders rein.
diese solltest du in den Logs sehen.
Flash
[addsig]
|
|
stefan Wohnort: Münster
|
Geschrieben: 28.06.2010 09:17
Weitere Möglichkeit
Stichwort robots.txt
Modul RobotsTxt
|
|
chris390
Registriert: 30.11.2008
Beiträge:
11
|
Geschrieben: 28.06.2010 18:25
Hallo zusammen,
vielen Dank für euche schnelle Hilfe.
Gruß Christoph
|
|
chris390
Registriert: 30.11.2008
Beiträge:
11
|
Geschrieben: 28.06.2010 19:39
Hallo,
in OPN habe ich das Modul nicht gefunden, wo liegt das? Über .htaccess ist auch eine gute Idee.
Die ganzen Bot's verursachen jeden Tag eine ganze Menge an Traffic auf dem Server. Gibt es eine Liste wo ich die Bot's finde?
Gruß Christoph
|
|
Gast
Unregistrierter Benutzer
|
Geschrieben: 29.06.2010 09:21
in OPN habe ich das Modul nicht gefunden, wo liegt das?
Das Modul ist in /system/robotstxt -> siehe hier
Die Customizer Module findest Du in den Downloads hier auf der Seite. Du musst ganz nach unten crollen.
Beachte, dass diverse Module im Admin Bereich nur sichtbar sind wenn OPN im Profimodus läuft.
(Siehe hier -> hier
Die htaccess sowie auch die robots.txt kannst du auch lokal bearbeiten und wieder hochladen.
Gibt es eine Liste wo ich die Bot's finde?
Da gibt es eine Menge an Listen, jedoch meist von den SPAM Bots. Generell würde ich nur mal die IP von dem Cuil Spider sperren.
Ob sich dieser allein via robots.txt vertreiben lässt kann ich nicht beurteilen. Jedoch ignorieren immer mehr Bots die robots.txt.
Flash
[addsig]
|
|
|
sortieren nach
|