robots.txt и sitemap.xml

Свой парсер.

Мини-приложение в разработке.
Трей
Откройте любое мини-приложение — оно появится здесь.