Оглавление файла ( /WEBMASTER/robots-faq.txt )



  • The Web Robots FAQ

  • Несколько слов о том, как работают роботы (spiders) поисковых машин

  • Стандарт исключений для роботов
    • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:26 GmT

    ArtOfWar.ru - военные истории
    Художники - картинные галереи

    Music.lib.ru - mp3 Легально! Бесплатно!
    "Самиздат" ждет Писателей и Читателей
    "Заграница" - впечатления о зарубежной жизни
    Водный туризм - готовь байдарку зимой

    		 Школа кожевенного мастерства