O crawleru Stageify
Stageify provozuje malý, ohleduplný crawler, který indexuje veřejně dostupné informace o divadelních inscenacích, souborech a představeních, aby je návštěvníci našli na jednom místě. Na této stránce vysvětlujeme, co dělá a jak ho můžete ovládat.
Co procházíme a proč
Crawler čte veřejně přístupné webové stránky, na které nás výslovně upozornil správce nebo někdo z komunity – například web divadelního souboru nebo stránku inscenace. Obsah používáme k tomu, aby byl náš komunitní průvodce přesný a aktuální. Neprocházíme celý internet a nesbíráme osobní údaje nad rámec toho, co je na stránce už zveřejněné.
Dodržování robots.txt
Respektujeme robots.txt. Chcete-li náš crawler povolit nebo zakázat, uveďte ve svém robots.txt v direktivě User-agent jméno agenta „Stageify Indexer“. Pro tohoto agenta dodržujeme pravidla Disallow i direktivu Crawl-Delay.
Jak náš crawler poznáte
Náš crawler posílá User-Agent, který uvádí Stageify, jeho verzi a odkaz zpět na tuto stránku, s příponou kompatibilní s prohlížeči. Typická hodnota vypadá takto: Stageify Indexer/0.0.0 (+https://stageify.net/about-crawler) Mozilla/5.0 (compatible).
Mezipaměť a limity
Dodržujeme direktivu Crawl-Delay v robots.txt, aby počet požadavků zůstal ohleduplný, a stahování každé stránky omezujeme na 5 MB. Stažený obsah ukládáme do mezipaměti, abychom stejnou stránku zbytečně nestahovali znovu.
Očekávaný počet požadavků
Požadavky vyvolávají akce správců a komunity, ne nepřetržité automatické procházení, takže objemy jsou nízké – obvykle jen několik požadavků na jeden web denně. Jeden web nikdy neprocházíme s vysokou frekvencí ani paralelně.
Kontakt a vyřazení
Pokud chcete svůj obsah z našeho průvodce vyřadit, opravit nebo odstranit, napište nám na [email protected] a vaši žádost vyřídíme. Agenta „Stageify Indexer“ můžete také zablokovat ve svém robots.txt.