Оглавление файла ( /WEBMASTER/robots-faq.txt )
The Web Robots FAQ Несколько слов о том, как работают роботы (spiders) поисковых машин Стандарт исключений для роботов
Статьи, фотографии, Совинформбюро за 1941-1945а> Художники - картинные галереи |
Music.lib.ru MP3 Легально! Бесплатно! |