Основы работы в Интернет. Часть 2 (базовый уровень подготовки). Кревский И.Г - 43 стр.

       Поддержка META-тагов. Не все поисковые машины учитывают метаданные при
индексации страниц.
       Title. Параметр показывает как поисковые машины генерируют заголовки ссылок
для пользователя в ответ на его запрос.
       Description. Параметр показывает как поисковые машины генерируют описания
ссылок для пользователя в ответ на его запрос.
       Проверка статуса URL. Возможность для вебмастера проверить насколько
глубоко проиндексирован его сервер и есть ли он в индексе поисковой машины.
       Удаление старых данных. Параметр, определяющий действия вебмастера при
закрытии сервера или перемещении его на другой адрес. Возможны два действия: просто
удалить старое содержание и переписать файл robots.txt.
       Имя поискового робота. В этом пункте указаны имена роботов, которыми они
отвечают на HTTP-запрос.
       Примеры поисковых машин.
       Altavista. Система открыта в декабре 1995. Принадлежит компании DEC. С 1996
года сотрудничает с Yahoo
       Excite Search. Запущена в конце 1995 года. В сентябре 1996 - приобретена
WebCrawler.
       HotBot. Запущена в мае 1996. Принадлежит компании Wired. Базируется на
технологии поисковой машины Berkeley Inktomi.
       InfoSeek. Запущена раньше 1995 года, легко доступна. В настоящее время содержит
порядка 50 миллионов URL.
       Lycos. Работает с мая 1994 года. Широко известна и используема. В состав входит
поисковая машина Point и каталог A2Z.
       OpenText. Система OpenText появилась в начале 1995 года. Постепенно теряет
позиции.
       WebCrawler. Открыта 20 апреля 1994 года как проект Вашингтонского
Университета. Существует каталог WebCrawler Select.
       Yahoo. Старейший каталог Yahoo был запущен в начале 1994 года. Широко
известен, часто используем и наиболее уважаем. В марте 1996 запущен каталог
Yahooligans для детей. Появляются региональные и top-каталоги Yahoo. Yahoo основан на
подписке пользователей.
       К российским поисковым машинам относятся Russian Express, TELA поиск,
Rambler, Яndex, Апорт Поиск.
       Программные продукты серии Яndex (Языковый index) - набор средств
полнотекстовой индексации и поиска в текстовых данных с учетом морфологии русского
языка. Яndex включает модули морфологического анализа и синтеза, индексации и
поиска, а также набор вспомогательных модулей, таких, как анализатор документов,
языки разметки, конверторы форматов, сетевой "паук".
       Алгоритмы морфологического анализа и синтеза, основанные на базовом словаре,
умеют нормализовать слова, то есть находить их начальную форму, а также строить
гипотезы для слов, не содержащихся в базовом словаре. Система полнотекстового
индексирования позволяет создавать компактный индекс и быстро осуществлять поиск с
учетом логических операторов.
       Яndex предназначен для работы с текстами, как в локальной, так и в глобальной
сети (технологии Intranet и Internet), а также может быть подключен как модуль к другим
системам.
       Индексация. Создаваемый индекс составляет около 1/3 объема текста (без
картинок, tag'ов и пр.), при этом записывается подробный адрес слова - с точностью до
позиции в тексте, что потом позволяет искать с учетом близости. Морфологический
анализ слов текста происходит одновременно с индексацией, что дает возможность снятия
омонимии. Скорость индексации - не менее 2 Мб/минуту.

                                             43