Инструмент Разработчик
Generator robots.txt
Vyberite pravila dlya poiskovykh robotov i (pri neobkhodimosti) ukazhite URL karty sayta (sitemap), chtoby sformirovat' tekstovyy fayl.
Запускается в вашем браузере. Нет загрузки.
Значения в этом браузере обрабатываются локально.
Результат
Об этом инструменте
Generator robots.txt — это просто.
Fayl robots.txt soderzhit instruktsii dlya skanirovaniya, a ne pravila razgranicheniya dostupa. Ne ispol'zuyte yego dlya zashchity konfidentsial'nykh faylov; pered publikatsiyey prover'te sintaksis i ukazannyye puti.
Общие вопросы
О сервисе «Generator robots.txt».
Как мне использовать Generator robots.txt?
Vyberite pravila dlya poiskovykh robotov i (pri neobkhodimosti) ukazhite URL karty sayta (sitemap), chtoby sformirovat' tekstovyy fayl.
Мои данные отправляются на сервер?
Нет. Обработка происходит в вашем браузере, и ваши данные не загружаются.