| Autor | Gast |
| Datum | 09.04.2008 20:17 |
| Beiträge: |  @ Stefan
http://sp.de.ask.com/de/docs/about/asksearch.shtml http://www.ysearchblog.com/archives/000078.html Tipp für die robost.txt: Bedeutet, dass der Crawler zwischen 2 Request immer 20 Sekunden versteichen lassen muss. Auch keine optimale Lösung, aber reduziert den Traffic schon mal ordentlich. User-agent: Slurp Crawl-delay: 20 Flash |
