архив
Зарубежные поисковые машины
| Altavista | Excite | HotBot | InfoSeek | Lycos | OpenText | WebCrawler | |
| Тип | Полнотекстовая | Полнотекстовая | Полнотекстовая | Полнотекстовая | Абстрактная | Полнотекстовая | Полнотекстовая |
| Размер | 30 миллионов | 55 миллионов | 54 миллиона | 20-50 миллионов | 20-25 миллионов | 5 миллионов | 2 миллиона |
| Период обновления | от 1 дня до 3 месяцев | 1 - 3 недели | не позднее 3 недель | от минут до месяца | ещемесячное обновление | 1 - 4 недели | еженедельное обновление |
| Дата индексирования документа | Да | Нет | Да | Нет | Нет | Нет | Нет |
| Указанные (submitted) страницы | 1 день | 1 неделя | 3 недели | 1 месяц | 1 месяц | 2 - 4 недели | 2 - 4 недели |
| Неуказанные (non-submitted) страницы | 1 - 3 месяца | 3 недели | 3 недели | 1 месяц | 1 месяц | 2 4 недели | 2 4 недели |
| Глубина индексирования | Неограничена | Неограничена | Неограничена | Неограничена | Неограничена | Ограничена популярностью того или иного сервера | |
| Поддержка фреймов | Нет | Да | Нет | Да | Да | Нет | Нет |
| Поддержка ImageMap | Да | Нет | Нет | Да | Да | Нет | Да |
| Защищенные паролями директории и сервера | Нет | Да | Нет | Да | Да | Нет | Нет |
| Частота появления ссылок | Нет | Нет | Да | Нет | Да | Нет | Да |
| "Обучаемость" | Да | Нет | Да | Да | Нет | Нет | Нет |
| Контроль индексации | robots.txt | robots.txt (в будущем и метаданные) | И то, и другое | robots.txt | robots.txt | robots.txt | И то, и другое |
| Перенаправление (redirect) | Поддерживает | Поддерживает | Поддерживает | ||||
| Стоп-слова | Да | Да | Да | Нет | Да | Нет | Нет |
| Влияние на алгоритм определения релевантности | Нет | Ключевые слова в метаданных | Нет | Нет | Нет | Частота появления ссылок | |
| Spam-штрафы | Да | Да | Да | Да | Да | Да | Да |
| Поддержка META-тагов | Да | Нет | Да | Да | Да | Нет | Только NOINDEX таг |
| Title | Заголовок страницы или No Title | Заголовок страницы или Untitled | Заголовок страницы или URL | Заголовок страницы или первая строка документа | Заголовок страницы или первая строка документа | Первые 100 символов из документа | Заголовок страницы или URL |
| Description | Метатаг или первые несколько строк из документа | Формируется из наиболее релевантных к запросу фраз документа | Метатаг или первые несколько строк документа | Метатаг или первые 200 символов после тага <body> | Метатаг или экстакт из содержимого страницы | Первые 100 символов документа | Создается из содержания; обещается поддержка метатагов в будущем |
| Проверка статуса URL | Да | Нет | Нет | Нет | Да | Нет | Да |
| Удаление старых данных | Удалить содержимое и указать новый адрес | Удалить содержимое или переписать robots.txt | Переписать robots.txt | Удалить содержимое и указать новый адрес или переписать robots.txt | |||
| Имя поискового робота (Spider User Agent) | Scooter | Architext Spider | Slurp the Web Hound | Side winder | T-rex | Spidey |
Calafia Consulting
Информация приведена по состоянию на начало 1998 года.