phprobots.txt

[Frau P.]

Hallo kennt jemand obige Datei oder weiß, weswegen einige (UK) Bots regelmäßig danach suchen.

Jedenfalls auf meinen Server unter verschiedenen Domains, Subdomains und in versch. Verzeichnissen.

Da die natürlich nicht da ist (PHProbots.txt NICHT robots.txt), wirft mir das jedesmal einen 404 aus.

[Lighty]

Hallo Frau P. !

Nutzt du eine RewriteRule !?
Dann läuft diese vllt. nicht ganz korrekt !?

[Frau P.]

Ich habe mehrere mod rewrites auf den Domains aktiv, was hat aber ein GET-Zugriff auf eine www.example.com/phprobots.txt damit zu tun?

Ich nehme jedenfalls kein Mod rewrite in Verbindung mit php/html o.ä.

[Lighty]

... jo, wenn du so eine Rule nicht nutz ... ka, wo das dann her kommt !?
Vllt. grast/testet jemand verschiedenen Möglichkeiten ab/durch !?
Infos zu "phprobots.txt" gibt es ansonsten nicht viele !

[Frau P.]

Infos zu "phprobots.txt" gibt es ansonsten nicht viele !

eben( t ).

Zuletzt wieder mal der Google-Bot

Code: Alles auswählen

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)IP:
66.249.66.200

und der:

Code: Alles auswählen

Mozilla/5.0/Nutch-1.1 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13)IP:
75.101.181.182

Übrigens rufen die auch nach dem Schema

Code: Alles auswählen

http://www.domain_1.de/domain_2.phprobots.txt

auf und erzeugen einen 404.

domain_1 ist die Hauptdomain für die Server-IP,
domain_2 eine über den aaa auf dem DNS auf die gleicher Server-IP geleitete Alias-Domain.

Anstelle domain_2 stehen derzeit mehrere verschiedene Aliase.

[Frau P.]

Hallo Lighty,

ich bin dem Fehler auf der Spur, aber kann ihn noch nicht eingrenzen.

Nur soviel weiß ich schon, es hat doch etwas mit mod rewrite / rewrite rule zu tun. :grmpf:

Jedenfalls was die Errorlogs bzgl

Code: Alles auswählen

domain_1.de/domain_2.phprobots.txt

angeht.

Wie genau das zusammenhängt, muss ich noch ergründen.

Also auf jeden Fall muss ich mich mal mit Domain-Aliasing und -routing beschäftigen. ?: