Forum
19.11.2010, 11:51

Wildcards in der robots.txt

Falls es jemanden interessiert. Ein Shopbetreiber hatte im Hintergrund versehentlich außer DE auch noch andere Sprachen "aktiv" eingestellt. Auch wenn man die Flaggen nicht auf der Webseite hat, so kann es sein, dass Google diese irgendwie ausfindig macht und ungewollt in den Index aufnimmt.

Hat man die Sprache nicht korrekt gepflegt, kann es z.B. aufgrund von doppelten Content zu Nachteilen für das deutsche Suchergebnis führen. Wichtig also bei Sonstiges > Sprachen müssen die nicht benutzten Sprachen auf deaktiv stehen!

Über solche Einträge in der Robots.txt (siehe Sonstiges > Server > ...) kann man Google (ein Shopbetreiber hatte es getestet) dazu bekommen diese Seiten nicht mehr aufzunehmen:

Disallow: /*sp=fr*
Disallow: /*sp=en*
Disallow: /*sp=nl*


So sieht im übrigen eine korrekte Robots.txt in einem POWERGAP Shop aus:

User-agent: *
Disallow: /s.php
Disallow: /s01.php
Disallow: /s01_b.php
Disallow: /s01_pic.php
Disallow: /s01_rat.php
Disallow: /s01_s0.php
Disallow: /ajax/
Disallow: /article/
Disallow: /banner/
Disallow: /farben/
Disallow: /font/
Disallow: /help/
Disallow: /img/
Disallow: /v/
crawl-delay: 15
Sitemap: www.meine-Shop-domain.de/sitemap.xml.gz />

* www.meine-Shop-domain.de selbstverständlich austauschen!

Mit dem "crawl-delay" weißt man die Suchmaschine an, die einzelnen Seiten minimal jede 5 Sekunden zu spidern. Nicht alle halten sich daran, aber diese Einstellung hilft die Shopserver Performance stabil zu halten. Denn einige schlechte Suchmaschinen kommen gerne mal vorbei und machen 100 Seitenaufrufe in der Sekunde. Gerade in der Weihnachtszeit kann das dann die echten Shopbesucher behindern.

Ein "Allow: /" ist im übrigen überflüssig. Der Allow-Befehl macht nur für Verzeichnisse sinn, die die Suchmaschine nicht kennt. Aber auch das ist im Zeitalter von der XML-Sitemap quasi überflüssig.

Wer die DHE (Dynamic HTML Engine, also die .html-Endungen in den URLs) einsetzt (im Grunde so gut wie alle POWERGAP Shops!), der sollte noch zusätzlich:

Disallow: /s01.php


eintragen. Diese sorgen dafür, dass bestimmte Dateien nicht gespidert werden, die mit der DHE keinen Sinn machen. Beispielsweise weil sie nur doppelten Content bedeuten. Diese werden größtenteils zwar durch das canonical Meta-TAG corrigiert, aber der Suchmaschine erspart man damit viel Seiten und das schohnt auch Ihren Geldbeutel, da diese Klicks von der Suchmaschine erst gar nicht entstehen...
19.11.2010, 13:26

Re: Wildcards in der robots.txt

19.11.2010, 13:30

Re: Wildcards in der robots.txt

ja! Wie gesagt, wenn DHE an ist, dann auch den zweiten Teil da unten im Beitrag nicht vergessen.


20.11.2010, 08:44

Re: Wildcards in der robots.txt



20.11.2010, 14:32

Re: Wildcards in der robots.txt



21.11.2010, 16:53

Re: Wildcards in der robots.txt

Produktbilder würde ich auf keinen Fall verbieten und diese sollten auch im Shop mit dem angegebenen Namen abgespeichert werden. Dadurch werden diese bei Google.de wieder gefunden. Ich suche oft ein Produkt zuerst bei den Bildern und klicke dann auf die Seite.

Gruss Roger


21.11.2010, 18:04

Re: Wildcards in der robots.txt



21.11.2010, 18:38

Re: Wildcards in der robots.txt



22.11.2010, 06:13

Re: Wildcards in der robots.txt



22.11.2010, 08:21

Re: Wildcards in der robots.txt

Na Marlies,
ich vergebe einen Namen für die Bilder, nur leider wandelt das Powergap System diese Datei wieder um. Das ist bitter.

Aber auf eigenen Homepages paßt es. Man kann auch bei google einstellen das er auf deiner Seite die Bilder spydern soll. Musst du bei deiner URL bei google machen.

Nur die Bilder vom Shop werden nicht gefunden, Robert kannst du das nicht ändern?

Gruss Roger


23.11.2010, 00:59

Re: Wildcards in der robots.txt



23.11.2010, 01:12

Re: Wildcards in der robots.txt



23.11.2010, 08:56

Re: Wildcards in der robots.txt



23.11.2010, 10:36

Re: Wildcards in der robots.txt

noch mal zum bildnamen... ich würde mir auch wünschen, wenn der bildname erhalten bleibt.

Er ist nicht sooooooooooooooooo unwichtig. Leute denken sich ja was dabei, wenn sie eine datei rasentraktor-mtd.jpg nennen. Ebenso, wie wenn sie ihre seite gartentipps.htm nennen....
die alt und title attibute sind sicher wichtig. aber völlig unwichtig ist der dateiname von bildern auch nicht.....

ich habe in unserer bildersammlung das gleiche problem wie Powergap auf dem server. ich muss redundante namen vermeiden. ich löse das problem indem ich eine schlüsselnummer an jedes bild anhänge. ein eindeutiger identifier. also z.b. rasentraktor-mtd_00000.jpg ....als nummer (00000) verwende ich der einfacheit halber einfach die nummer aus der kamera.

also man könnte ja den namen beim upload erhalten und dann durch die server-bildnummer ergänzen.


23.11.2010, 12:33

Re: Wildcards in der robots.txt

23.11.2010, 12:58

Re: Wildcards in der robots.txt



23.11.2010, 13:46

Re: Wildcards in der robots.txt

Hallo Herr Zajonz,
bitte auch mal auf das Thema: Alt-Text eingehen. Beim Beispiel Rasentraktor entspricht nämlich der Alt-Text der Artikelbezeichnung (kurz, kanckig erfolgreich)
Was spricht bei Powergap dagegen?


23.11.2010, 17:19

Re: Wildcards in der robots.txt



23.11.2010, 17:35

@ Hausschuhexperte

Hallo Mensch ohne Namen,

was schlagen denn dann Sie vor? Schon beim letzten Thema hatte ich nach einem Vorschlag gefragt denn Sie lehnen eigentlich das meiste ab, aber einen besseren Vorschlag haben Sie auch nie abzubieten.

Ist absolut nicht böse gemeint, aber wenn ich was ablehne muss ich doch auch wissen wie es besser geht. Und es dürfte ja jedem einleuchten das der Artikel mit Bild Glenfiddich.jpg besser gefunden wird als 142533.jpg Und mich würde halt das Bessere interessieren.

Liebe Grüße Roger


23.11.2010, 18:18

Re: Wildcards in der robots.txt

@ Taiber
Sorry, aber ich habe nicht so ganz verstanden, was ich (dauernd) ablehne. Das Beispiel, das Herr Zajonz gebracht hat, deckt sich mit meinen bisherigen Erfahrungen, dass Google scheinbar die Größe von Bildern als wichtiges Kriterium ansieht.
Dass man die Bildersuche als nicht zu wichtig ansehen soll ist meine persönliche Meinung, die ich hoffentlich um 8:56 begründet habe. Die Idee, die Pic A und B in dieser Richtung zu optimieren unterstütze ich als sehr gut.
Mein Vorschlag, statt des Alt-Automatismus, der bisher eingesetzt wird auf den Titel oder Meta-Titel zu wechseln, habe ich als konkrete Idee verstanden (zur Diskussion) gestellt.

Da auch Mitarbeiter von mir an diesem Forum teilnehmen, habe ich es bevorzugt meinen Namen hier aus dem Forum raus zu halten. Zu der anderen Frage schicke ich mal eine PM, wenn ich sie gefunden habe.

23.11.2010, 20:05

Re: Wildcards in der robots.txt



23.11.2010, 20:26

Re: Wildcards in der robots.txt



23.11.2010, 21:21

Re: Wildcards in der robots.txt



24.11.2010, 11:17

Re: Wildcards in der robots.txt

hallo
ich möchte es kurz machen


    [li]Die Bildsuche wird überschätzt. Das ist richtig. Das ist aber nicht die Frage[/li]
    [li]Google wertet Bilder seit jahren vor allem nach dem im Umfeld befindlichen Texten. Ausserdem nach der Größe, sprich Qualität[/li]
    [li]Ich möchte NICHTS an den Alt-Texten geändert haben!! Ich habe allein durch die Alt-Texte von Bildern die Keyword-Relvanz erreicht die ich für uns brauche. Vorher hielt Google "Mwst." "Versandkosten" usw für das Thema unserer Website[/li]
    [li]Google bewertet derzeit die "Originalät" von Bildern nicht. Sonst würden nicht tausend identische Produkt-Bilder in der Suche erscheinen. DA GOOGLE DEN INHALT von bildern NOCH NICHT bewertet, verwende ich bei manchen wiederkehrenden bildern parameter wie bild.gif?[shopattribut] , um ihm eine individuelle adresse zu geben. [/li]
    [li]ICH DENKE ABER, google verfügt theoretisch über die technik "duplizierten content" bei bildern zu erkennen. Siehe Goggles www.google.com/mobile/goggles/#text
    ...denke dass google in absehbarer zeit damit sogar motive erkennt. Die technik der bilderkennung ist weit verbereitet und google hinkt da bei der suche und bewertung technisch hinterher....
    [/li]
    [li]AM RANDE BEMERKT: Die übliche auszeichnung von bildern in großen datenbank erfolgt über IPTC. Es ist, neben EXIF die gängige art meta-daten in Bilder zu schreiben. de.wikipedia.org/wiki/IPTC-NAA-Standard . Man könnt mal ausprobieren, wie Google auf auf die art der auszeichnung reagieren. Bilder mit IPTC-daten sind in jedem fall hochwertiger. Ebenso wie bilder mit eigenem Dateinamen hochwertiger (handgemacht) sind, als mashcinen-geschriebene.
    Es gibt für IPTC soweit ich weiss entsprechende PHP Klassen de3.php.net/manual/de/function.iptcparse.php [/li]


24.11.2010, 12:40

Re: Wildcards in der robots.txt



25.11.2010, 09:52

Re: Wildcards in der robots.txt



25.11.2010, 17:48

Re: Wildcards in der robots.txt



26.11.2010, 10:58

Re: Wildcards in der robots.txt

hallo hausschuhexperte,

das mit den artikel-verzeichnissen weiss ich. aber die kataloge sind  ganz einfach eine breite basis, an links. links die mir erhalten bleiben und reifen....

früher empfahl google kataloge. Trotz dieser offiziellen empfhelung seitens google werden kataloge  seit langem eher schlecht bewertet. auch dmoz. habe auf diese empfhelung aber noch nie viel gegeben.

Ich gehe davon aus (und hier sind wir wirklich im bereich science fiction), dass google irgendwann vollständig zu rein statistsichen methoden oder profiling übergehen wird. D.h. dass der bot irgendwann die statistsische wahrscheinlichkeit oder signifikanz einer optimierung  auf basis von data-mining ermittelt. In der summe könnten das sogar lauter offiziell empfohlene white-hat methoden sein, die den bot zu der erkenntnis bringen, dass hier eine statistsiche signifikanz vorliegt, dass gepfuscht wird.

ein beispiel zu automatischem datamining: Es gab in dne frühen 90igern wohl mal ein experiment, bei dem man herausfinden wollte, wie menschen sich natürlich bewegen, um diese natürlichen bewegungsmuster dann auf 3D modelle zu übertragen... man lies die software lernen und hat es ergebins-offen gehalten.
das mit den bewegungsmustern glückte nicht so wirklich. aber der rechner fand erstaunliche signifikanzen in den daten. So stellte er z.b. in den daten der drehung von frauen fest, wann sie ihren eisprung hatten. Kein mensch kann dies erkennen! kein mensch hätte je diese frage gestellt oder danach gesucht. Das ist datamining. Bzw profiling....

ich mag keine profil-schleppe bzw keinen fingerabdruck für eine optimierung hinterlassen. Deswegen schlampere ich bei der optimierung manchmal auch bewusst. deswegen denke ich, dass es nun auch ok ist mich in katalogen anzumelden, weil das keiner tut, der seine seite profesionell optimiert...

dass links schlagartig hinzu kommen, muss erst mal auch KEINE  sigantur für "unnatürlich" sein. Ich denke, es ist für google statistsisch erst mal nur das profil für ein ereignis. Auch nachrichten sind solche ereignisse. Erdbeben, bomben. Ich habe führer ein redaktionelles sportportal betreut. Wir waren auch in den google News top 700 nachrichten-quellen. Da gingen ständig solche nachrichten-link-wellen durchs netz. Das ist nichts schlechtes. hatte aber eben nur eine temporäre signifikanz bzw ein temporäres profil für google. Der absturz dananch ist keine abstrafung, sondern das abklingen der akuten nachrichtenlage.
Das schlagartig viele hundert links wegfallen ist auch kein penalty. Es ist die sigantur für eine werbe-kampagne. Werbung ist nicht verboten. Aber die plätze auf seiten, wo die links wegfallen werden von google dannach halt als werbe-plätze bewertet. Was sie ja auch sind... ;-)

dehalb ist das einkaufen von links blöd und nur kurzfristig sinnvoll.  auch wenn die seite im einzelfall sehr gut ist, weiss ich nie, ob  die plätze bei google nicht schon eine werbe-signatur tragen, weil vorher mal links weggefallen sind oder viele links wechseln. Abgestraft werde ich dadurch nicht. Wenn dem so wäre, dann könnt ich ja für wenig geld meine lieben mitbewerber aus dem rennen schlagen.  :D

gruss aus lahr
Martin Wehrle

PS: wenn so eine welle durch den datenraum geht, dann sollte man sehr früh dabei sein. Ein befreundeter portal-betreiber veriet mir mal, dass er 10-15 minuten vor ende eiens spiels seinen bericht schon ins netz stellt Google sieht ihn dann als nächste quelle am epizentrum. Blöd nur wenn dann noch ein tor fällt 


Forum-Archiv

Alle Beiträge aus:

2026, 2025, 2024, 2023, 2022, 2021, 2020, 2019, 2018, 2017, 2016, 2015, 2014, 2013, 2012, 2011, 2010, 2009, 2008, 2007, 2006, 2005, 2004, 2003, 2002,