Роботс – текстовый файл, необходимый для задания поисковым роботом конкретных правил индексирования сайта. Используется, чтобы запретить индексировать все ненужные в поиске страницы (например, дубли страниц, системные файлы и т.д.) и, тем самым, улучшить оценку сайта поисковыми системами при ранжировании.

Расскажите нам о вашем проекте