Forum

in OPN habe ich das Modul nicht gefunden, wo liegt das?

Das Modul ist in /system/robotstxt -> siehe hier

Die Customizer Module findest Du in den Downloads hier auf der Seite. Du musst ganz nach unten crollen.

Beachte, dass diverse Module im Admin Bereich nur sichtbar sind wenn OPN im Profimodus läuft.
(Siehe hier -> hier


Die htaccess sowie auch die robots.txt kannst du auch lokal bearbeiten und wieder hochladen.

Gibt es eine Liste wo ich die Bot's finde?

Da gibt es eine Menge an Listen, jedoch meist von den SPAM Bots. Generell würde ich nur mal die IP von dem Cuil Spider sperren.
Ob sich dieser allein via robots.txt vertreiben lässt kann ich nicht beurteilen. Jedoch ignorieren immer mehr Bots die robots.txt.

Flash

Hallo,

in OPN habe ich das Modul nicht gefunden, wo liegt das? 
Über .htaccess ist auch eine gute Idee.

Die ganzen Bot's verursachen jeden Tag eine ganze Menge an Traffic auf dem Server.
Gibt es eine Liste wo ich die Bot's finde?

Gruß
Christoph

Hallo zusammen,

vielen Dank für euche schnelle Hilfe.

Gruß
Christoph

Weitere Möglichkeit

Stichwort robots.txt

Modul RobotsTxt

Hallo Christoph

Du hast mehrere Möglichkeiten.

Wenn du eine OPN integrierte Lösung suchst, dann kannst du das mit den Customizer Modulen machen. Genauer mit dem IP Blacklist Modul.

Alternativ kannst du die IP von dem Crawler auch direkt in eine .htaccess schreiben.

Zum Beispiel so:

order deny,allow
deny from *****

Bei den Sternchen kommt dann die IP Adresse des Cuil Spiders rein.

diese solltest du in den Logs sehen.

Flash

Hallo zusammen,

ist es möglich Seitenzugriffe für einige Suchmaschinen zu sperren? Ich habe das Phänomen das Cuil den ganzen Tag auf der Seite
zugriffe erzeut, in der ganzen Apache Log steht nur Cuil drin.

Hat jemand von euch eine Idee?

Gruß
Christoph