Forum

Moderiert von: stefan, spinne
Forum Index
Support
     Bug oder nicht...
     Suchmaschinen finen PDF
Hilfe anzeigen
Hilfe anzeigen

Autor Druckerfreundliche DarstellungSuchmaschinen finen PDF
just59
Registriert: 29.10.2006
Beiträge: 921
Wohnort: Leipzig


Sende eine Private Nachricht an just59 Besuche die Homepage von just59
Geschrieben: 07.07.2011 21:30

Hm trotz Sperre in der robots.txt werden PDF Dateien bei Google aufgenommen und dann in den Suchergebnissen angezeigt. Hier ein Beispiel: http://www.google.de/search?q=%22N%C3%BCrnberger%22+AND+Versicher&num=100&hl=de&lr=lang_de&tbs=lr:lang_1de,qdr:d&prmd=ivns&source=lnt&sa=X&ei=MExiTfu3GsGt8gO75eXxCA&ved=0CBUQpwUoAg
(Anzeige kann natürlich bei Euch schon wieder anders aussehen.)

# /robots.txt for your openPHPnuke Site
#
# default no bot is allowed to search the Site 

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /cgi-bin
Disallow: /class
Disallow: /default_images
Disallow: /html
Disallow: /images
Disallow: /include
Disallow: /install
Disallow: /java
Disallow: /opn-bin
Disallow: /pro
Disallow: /themes
Disallow: /developer
Disallow: /w3c

User-agent: *
Disallow: /safetytrap

User-agent: googlebot
Disallow: /safetytrap
 

Ist da ein Fehler oder gibt es da eine Möglichkeit wo man dies auch verhindern kann.




JUSt


just-info / Mein Gartenverein Portal für Gartenfreunde...
Suse 10.1, PHP 5.2.10 und MySQL 5.0.67.,Administration 2.5.1 [Iphigenie] (Revision 4533)

Zitieren Druckerfreundliche Darstellung nach oben
Gast
Unregistrierter Benutzer
Geschrieben: 09.07.2011 06:14

Ist da ein Fehler oder gibt es da eine Möglichkeit wo man dies auch verhindern kann.


ich denke ja

Mit dem User-agent: * sperrst du deine angegebenen Verzeichnisse für alle Bots und Spider, das ist korrekt.

Danach schreibst du jedoch
User-agent: googlebot
Disallow: /safetytrap

Der Googlebot hält sich an deine Anweisung, da du die ja für den Googlebot explizit definiert hast.
Das Verzeichnis /safetytrap wird nicht mehr durchsucht, jedoch alles andere.

Nimm also den Eintrag vom Googlebot weg, oder ergänze diesen mit den Verzeichnisse welche nicht durchsucht werden sollen und warte ein paar Tage.

Teste das ganzen über die Webmastertools.


Flash









[addsig]

Zitieren Druckerfreundliche Darstellung nach oben
sortieren nach

Hilfe anzeigen
Hilfe anzeigen
Vorheriges Thema:  Sporradische Fehler mit opn_xml.php
Nächstes Thema:  Mitgliederliste

Gehe zu:

Benutzername:
 
Sicherheits-Code
Sicherheits-Code
Neu laden