User-Agent: AboutUsBot Disallow: /
AboutUs.org (bewusst nicht verlinkt) ist einer dieser Dienste, die darauf spezialisiert sind, vollautomatisch Daten zu sammeln. In diesem Fall tragen Roboter jede Menge Informationen über Websites zusammen und bedienen sich bei den öffentlich zugänglichen WHOIS-Datenbanken.
In Deutschland sind diese Daten aber nicht ohne Grund rechtlich geschützt. Wer auf den Seiten der DENIC die Daten einer .de-Domain abfragen möchte, wird auf folgenden Hinweis stoßen:
Sie [Anm.: Die Daten] dürfen nur zum Zwecke der technischen oder administrativen Notwendigkeiten des Internetbetriebs oder zur Kontaktaufnahme mit dem Domaininhaber bei rechtlichen Problemen genutzt und ohne ausdrückliche schriftliche Erlaubnis der DENIC eG weder elektronisch noch in anderer Art gespeichert werden. Insbesondere die Nutzung zu Werbe- oder ähnlichen Zwecken ist ausdrücklich untersagt.
Wem als Betreiber einer Website die Datensammelei nicht geheuer ist, sollte die auf dem Webserver liegende Datei robots.txt um die Zeilen
User-Agent: AboutUsBot
Disallow: /
erweitern.
Da man gegenüber Diensten, die ungefragt und ohne rechtliche Grundlage Informationen sammeln, ohnehin nie skeptisch genug sein kann, sollte man vielleicht noch wirksamere Mittel anwenden. Einige davon sind hier beschrieben.
(via)




hallo, ein wichtiges Thema, womit ich mich auch schon länger beschäftige. AboutUs.org hatte meine persönlichen Daten, sowie komplette Beschreibung und Stichworte meiner Webseite ausgestellt. Um meine Stichworte nicht später auf 100 anderen Seiten zu sehen, habe ich in denen einen Code aus verschiedenen aneinander hängenden Worten hinein gesetzt. Nach 2 Jahren gab es meine Stichwore schon auf vielen anderen Webseiten. AboutUs.org hat weder ein Rechtsklickschutz in der Seite und bedienen sich ganz frech an unseren Daten, um mit unseren Stichworten bessere Werbeanzeigen, von Google Adsense zu erzielen.
Ich hatte Sie dann angeschrieben und denen mitgeteilt, wenn Sie meine Daten nicht entfernen, würde ich an Google Adsense Abuse schreiben und das dann wohl auch Ihr Adsense Koto gefährdet ist.
Nach ca. 2 Wochen waren meine Daten kompl. gelöscht.
Eine robots.txt in den Meta bauen ist leider nicht erlaubt, auf Webseiten die Google Adsense hat, sonst wäre es einfacher, diese lästigen Parasiten los zu werden.
Gruß aus Dortmund