15 Апрель 2016

Реализована операция позволяющая определить есть ли на сайте robots.txt, и определяющая валидность кода, если robots.txt есть