ich habe seit mitte dezember einen massiven anstieg von crawling fehlern durch den google bot. Bis zu tausend adressen am tag die auf eine 404 verweisen....
alle adressen die der bot versucht zu crawlen sind in der folgenden struktur aufgebaut
http://www.shop.irms.de/data=http://www.shop.irms.de/Klassischer-Gummi-Wasserschlauch-WTS7051320--20-Meter-Laenge--12-Zoll-13-mm.html
ich weiss nicht wie der bot an diese adressen kommt. Is' mir eigentlich auch egal, sofern ich keine einfluß drauf habe bzw diese adressen nicht vom shop generiert werden (??)
Frage: Kann man diese struktur shopintern wieterleiten? Ich meine nicht manuell... es sind tausende!!!!... sondern per regulärem ausdruck in der htaccess oder ähnliches.
also aushttp://www.shop.irms.de/data=http://www.shop.irms.de/Klassischer-Gummi-Wasserschlauch-WTS7051320--20-Meter-Laenge--12-Zoll-13-mm.html wird www.shop.irms.de/Klassischer-Gummi-Wasserschlauch-WTS7051320--20-Meter-Laenge--12-Zoll-13-mm.html />
???
alle adressen die der bot versucht zu crawlen sind in der folgenden struktur aufgebaut
http://www.shop.irms.de/data=http://www.shop.irms.de/Klassischer-Gummi-Wasserschlauch-WTS7051320--20-Meter-Laenge--12-Zoll-13-mm.html
ich weiss nicht wie der bot an diese adressen kommt. Is' mir eigentlich auch egal, sofern ich keine einfluß drauf habe bzw diese adressen nicht vom shop generiert werden (??)
Frage: Kann man diese struktur shopintern wieterleiten? Ich meine nicht manuell... es sind tausende!!!!... sondern per regulärem ausdruck in der htaccess oder ähnliches.
also aus
???
ok.
seit dem 15 Dezember crawlt der bot diese domains ... und inzwischen 1000 davon pro tag. irgendwas muss den Googlebot drauf leiten... und er lässt sich auch nicht davon abhalten diese domains immer wieder zu crawlen.
es brächte eventuell für unser SEO was, wenn sie richtig ankämen. Kleinvieh.... aber wenn sie meinen man sollte es lassen. ok.
seit dem 15 Dezember crawlt der bot diese domains ... und inzwischen 1000 davon pro tag. irgendwas muss den Googlebot drauf leiten... und er lässt sich auch nicht davon abhalten diese domains immer wieder zu crawlen.
es brächte eventuell für unser SEO was, wenn sie richtig ankämen. Kleinvieh.... aber wenn sie meinen man sollte es lassen. ok.
PS: ähmmm, der 404 sollte eigentlich hier enden www.shop.irms.de/Home-Sitemap.html ...hatten wir mal umgestellt, ist aber wohl wieder verloren gegangen und der 404 endet auf der home
data wird von webmastertools nicht als parameter erkannt. vermutlich weil der ausdruck nicht mit einem fragezeichen beginnt. Taucht in meiner liste nicht auf.
Einen regulären ausdruck schreiben der irgendwie "http://www.shop.irms.de/data=http://www.shop.irms.de/*" auf $1 umbiegt, geht nicht?
die last würde vom php-interpreter genommen und gleich in der apache engine abgefangen
Einen regulären ausdruck schreiben der irgendwie "http://www.shop.irms.de/data=http://www.shop.irms.de/*" auf $1 umbiegt, geht nicht?
die last würde vom php-interpreter genommen und gleich in der apache engine abgefangen
Einen regulären ausdruck schreiben der irgendwie "http://www.shop.irms.de/data=http://www.shop.irms.de/*" auf $1 umbiegt, geht nicht?
Siehe dazu bereits die Antwort oben in meinem ersten Beitrag..