Über den Stageify-Crawler
Stageify betreibt einen kleinen, gut erzogenen Crawler, der öffentlich verfügbare Informationen über Theaterproduktionen, Gruppen und Vorstellungen erfasst, damit Besuchende sie an einem Ort finden. Diese Seite erklärt, was er tut und wie du ihn steuerst.
Was wir crawlen und warum
Der Crawler liest öffentlich zugängliche Webseiten, auf die uns eine verwaltende Person oder ein Community-Mitglied ausdrücklich hingewiesen hat — zum Beispiel die Website einer Theatergruppe oder eine Produktionsseite. Die Inhalte nutzen wir, um unser Community-Verzeichnis korrekt und aktuell zu halten. Wir crawlen nicht das offene Web als Ganzes, und wir erheben keine personenbezogenen Daten über das hinaus, was auf der Seite bereits veröffentlicht ist.
Beachtung von robots.txt
Wir beachten robots.txt. Um unseren Crawler zu erlauben oder zu blockieren, sprich in deiner robots.txt in der User-agent-Zeile den Agentennamen „Stageify Indexer“ an. Wir halten uns an Disallow-Regeln und an die Crawl-Delay-Anweisung für diesen Agenten.
Wie du unseren Crawler erkennst
Unser Crawler sendet einen User-Agent, der Stageify, die Version und einen Link zurück auf diese Seite nennt, mit einem browserkompatiblen Zusatz. Ein typischer Wert sieht so aus: Stageify Indexer/0.0.0 (+https://stageify.net/about-crawler) Mozilla/5.0 (compatible).
Caching und Grenzen
Wir halten uns an die Crawl-Delay-Anweisung in der robots.txt, um die Anfragerate höflich zu halten, und begrenzen jeden Seitendownload auf 5 MB. Abgerufene Inhalte cachen wir, damit wir dieselbe Seite nicht unnötig erneut anfragen.
Erwartete Anfragerate
Anfragen entstehen durch Aktionen der Verwaltung und der Community statt durch dauerhaftes automatisches Crawlen, die Mengen sind also gering — typischerweise eine Handvoll Anfragen pro Host und Tag. Hochfrequente oder parallele Durchläufe gegen einen einzelnen Host führen wir nie aus.
Kontakt und Abmeldung
Möchtest du, dass deine Inhalte ausgeschlossen, korrigiert oder aus unserem Verzeichnis entfernt werden? Schreibe uns an info@stageify.net und wir setzen deine Anfrage um. Du kannst den Agenten „Stageify Indexer“ auch in deiner robots.txt blockieren.