Основы работы в Интернет. Часть 2 (базовый уровень подготовки). Кревский И.Г - 40 стр.

      Роботы запрограммированы так, чтобы переходить по различным ссылкам
различной глубины вложенности, выполнять индексацию и проверять ссылки в документе.
Они могут застревать в циклах, поэтому, проходя по ссылкам, им нужны значительные
ресурсы Сети. Имеются методы, предназначенные для того, чтобы запретить роботам
поиск по сайтам, владельцы которых не желают, чтобы они были проиндексированы. Веб-
робот - это программа, которая перемещается по Сети, запрашивает документ и
рекурсивно возвращает все документы, на которые данный документ ссылается. Роботы
реализованы как простая программная система, которая запрашивает информацию из
участков Интернет, используя стандартные сетевые протоколы. Роботы также могут
использоваться для выполнения задач, таких как статистический анализ, обслуживание
гипертекстов (удаление мусора), исследования ресурсов или зазеркаливания страниц.
      Зазеркаливание - механизм поддержания FTP архивов. Зеркало рекурсивно
копирует полное дерево каталогов по FTP, и затем регулярно перезапрашивает те
документы, которые изменились. Это позволяет распределить загрузку между
несколькими серверами, справиться с отказами сервера и обеспечить быстрый и дешевый
локальный доступ, автономный доступ к архивам.




                             Существуют поисковые механизмы:
      Search engine (поисковая машина) – это поисковый WWW-сервер,
отрабатывающий запросы на поиск WWW-адресов документов по ключевым словам.
Примером может быть поисковая система Altavista. Для поисковых систем важна
конструкция документа. Большое значение имеют title, meta-таги и содержимое страницы.
      Каталоги или Index sites (индексные архивы) – это WWW-сервера, содержащие
большое количество ссылок на другие сервера или на WWW-документы. Могут быть
специализированными или универсальными. Если предметная область универсальна, то
ссылки обычно иерархически классифицированы, в другом случае они упорядочены по
алфавиту. От Search engines и Yellow Pages WWW индексные архивы отличаются
ограниченным числом ссылок, их подбором и отсутствием поиска по ключевым словам.
Каталоги: в отличие от поисковых машин в каталог информация заносится по инициативе
человека. Добавляемая страница должна быть привязана к принятым в каталоге
категориям. Примером каталога может служить Yahoo. Конструкция страниц значения не
имеет. Каталоги ресурсов - глобальные, локальные, специализированные представляют


                                            40