Forum

Moderiert von: stefan, spinne
Forum Index
Support
     Administration
     Seitenzugriffe sperren
Hilfe anzeigen
Hilfe anzeigen

Autor Druckerfreundliche DarstellungSeitenzugriffe sperren
chris390

Registriert: 30.11.2008
Beiträge: 11


Sende eine Private Nachricht an chris390
Geschrieben: 27.06.2010 19:13

Hallo zusammen,

ist es möglich Seitenzugriffe für einige Suchmaschinen zu sperren? Ich habe das Phänomen das Cuil den ganzen Tag auf der Seite
zugriffe erzeut, in der ganzen Apache Log steht nur Cuil drin.

Hat jemand von euch eine Idee?

Gruß
Christoph




Zitieren Druckerfreundliche Darstellung nach oben
Gast
Unregistrierter Benutzer
Geschrieben: 27.06.2010 20:38

Hallo Christoph

Du hast mehrere Möglichkeiten.

Wenn du eine OPN integrierte Lösung suchst, dann kannst du das mit den Customizer Modulen machen. Genauer mit dem IP Blacklist Modul.

Alternativ kannst du die IP von dem Crawler auch direkt in eine .htaccess schreiben.

Zum Beispiel so:

order deny,allow
deny from *****

Bei den Sternchen kommt dann die IP Adresse des Cuil Spiders rein.

diese solltest du in den Logs sehen.

Flash


[addsig]

Zitieren Druckerfreundliche Darstellung nach oben
stefan
Wohnort: Münster


Sende eine Private Nachricht an stefan
ICQ
Geschrieben: 28.06.2010 09:17

Weitere Möglichkeit

Stichwort robots.txt

Modul RobotsTxt


Zitieren Druckerfreundliche Darstellung nach oben
chris390

Registriert: 30.11.2008
Beiträge: 11


Sende eine Private Nachricht an chris390
Geschrieben: 28.06.2010 18:25

Hallo zusammen,

vielen Dank für euche schnelle Hilfe.

Gruß
Christoph


Zitieren Druckerfreundliche Darstellung nach oben
chris390

Registriert: 30.11.2008
Beiträge: 11


Sende eine Private Nachricht an chris390
Geschrieben: 28.06.2010 19:39

Hallo,

in OPN habe ich das Modul nicht gefunden, wo liegt das? 
Über .htaccess ist auch eine gute Idee.

Die ganzen Bot's verursachen jeden Tag eine ganze Menge an Traffic auf dem Server.
Gibt es eine Liste wo ich die Bot's finde?

Gruß
Christoph


Zitieren Druckerfreundliche Darstellung nach oben
Gast
Unregistrierter Benutzer
Geschrieben: 29.06.2010 09:21

in OPN habe ich das Modul nicht gefunden, wo liegt das?


Das Modul ist in /system/robotstxt -> siehe hier

Die Customizer Module findest Du in den Downloads hier auf der Seite. Du musst ganz nach unten crollen.

Beachte, dass diverse Module im Admin Bereich nur sichtbar sind wenn OPN im Profimodus läuft.
(Siehe hier -> hier


Die htaccess sowie auch die robots.txt kannst du auch lokal bearbeiten und wieder hochladen.

Gibt es eine Liste wo ich die Bot's finde?


Da gibt es eine Menge an Listen, jedoch meist von den SPAM Bots. Generell würde ich nur mal die IP von dem Cuil Spider sperren.
Ob sich dieser allein via robots.txt vertreiben lässt kann ich nicht beurteilen. Jedoch ignorieren immer mehr Bots die robots.txt.

Flash

[addsig]

Zitieren Druckerfreundliche Darstellung nach oben
sortieren nach

Hilfe anzeigen
Hilfe anzeigen
Vorheriges Thema:  MenüBox - Menüeinträge - Rechte
Nächstes Thema:  Was hab ich da nur gemacht...

Gehe zu:

Benutzername:
 
Sicherheits-Code
Sicherheits-Code
Neu laden