В пантеоне истории Интернета имя WebCrawler занимает видное место. Запущенная в 1994 году, это была одна из первых поисковых систем, позволяющая пользователям просматривать Всемирную паутину по ключевым словам, в то время как серфинг в сети означал просмотр каталогов, созданных вручную. Влияние WebCrawler было быстрым и значительным – он быстро стал самой популярной поисковой системой в Интернете, обрабатывая миллионы поисковых запросов в день на пике своего развития. Для многих первых пользователей Интернета WebCrawler был основным инструментом для поиска и обнаружения контента в зарождающейся сети.
Но это было почти 30 лет назад – несколько жизней в быстро меняющемся мире технологий. С тех пор, как появились первые шаги в этом направлении, Интернет претерпел значительные изменения, а ландшафт поисковых систем много раз менялся. Сейчас на рынке доминируют такие гиганты, как Google и Bing, обладающие сложными алгоритмами и ошеломляющим набором функций. Что случилось с WebCrawler среди всех этих перемен и конкуренции? Будет ли этот бывший титан веб-поиска существовать в 2023 году?
Короткий ответ: да, WebCrawler все еще существует, и вы можете посетить его прямо сейчас по адресу webcrawler.com. Но сегодняшний WebCrawler совсем не похож на революционную поисковую систему 1990-х годов. Чтобы понять путь WebCrawler и его место в современной поисковой среде, давайте окунемся в его увлекательную историю.
Первые дни: восхождение WebCrawler к известности
WebCrawler был создан в 1994 году Брайаном Пинкертоном, студентом-компьютерщиком Вашингтонского университета. В то время Интернет все еще находился в зачаточном состоянии, существовало всего несколько тысяч веб-сайтов. Самый распространенный способ поиска контента — через курируемые веб-каталоги, такие как Yahoo!, которые группируют веб-сайты по категориям. Поисковые системы существовали, но они были примитивными и индексировали только заголовки веб-сайтов и URL-адреса.
Пинкертон увидел возможность создать более мощный инструмент поиска. Его идея заключалась в создании программы-сканера, которая автоматически просматривала бы Интернет, переходя по ссылкам от страницы к странице и индексируя полный текст каждой найденной страницы. Это позволит пользователям осуществлять поиск не только по заголовкам страниц, но и по фактическому содержанию веб-страниц, что значительно расширит объем информации, доступной для поиска.
WebCrawler был запущен 20 апреля 1994 года и работал на одном компьютере под столом Пинкертона. Несмотря на столь скромное происхождение, оно быстро завоевало популярность. В ноябре 1994 года WebCrawler обслужил свой миллионный запрос. К концу 1 года она обслуживала более 1995 миллиона запросов в день, что сделало ее самой популярной поисковой системой в Интернете.
Быстрому росту WebCrawler способствовали несколько факторов:
Полнотекстовый поиск: Возможность WebCrawler осуществлять поиск по полному тексту веб-страниц изменила правила игры. Внезапно пользователи смогли находить страницы по любому слову или фразе, а не только по ограниченным метаданным, предоставляемым каталогами. Это сделало веб-поиск гораздо более полезным и мощным.
Скорость: Несмотря на то, что WebCrawler работал на одной машине, он работал быстро. Пинкертон оптимизировал свой сканер для эффективной индексации страниц, а алгоритм поиска — для быстрого получения релевантных результатов. В то время, когда загрузка веб-страниц могла занимать минуты, скорость WebCrawler была существенным преимуществом.
Покрытие: WebCrawler был не единственной поисковой системой, но он индексировал большую часть Интернета, чем его конкуренты. К концу 1995 года WebCrawler проиндексировал более 4 миллионов веб-страниц – значительную часть всей сети на тот момент. Более полный охват означал более релевантные результаты для пользователей.
Партнеры: WebCrawler сотрудничает с веб-порталами с высоким трафиком, такими как Excite и Netscape, что обеспечивает их функциональность поиска. Это обеспечило WebCrawler широкую известность и способствовало его росту.
К середине 1990-х годов WebCrawler зарекомендовал себя как ведущая поисковая система и занимал эту позицию в течение нескольких лет. Компания обрабатывала миллионы поисковых запросов в день и продолжала внедрять инновации, запуская такие функции, как поиск изображений и поисковые системы по категориям для таких тем, как новости и путешествия.
Но даже несмотря на то, что WebCrawler доминировал в веб-поиске, семена потрясений были посеяны. В конце 1990-х годов возникла волна новых поисковых систем, каждая из которых приносила новые технологии и подходы. Некоторые, такие как Excite и Lycos, использовали модель, основанную на сканере, аналогичную WebCrawler. Но другие, такие как Yahoo! и Altavista пошли по другому пути, используя человеческое курирование и более сложные языки запросов. А еще был Google, основанный в 1998 году, с радикально новым подходом к поиску, основанным на анализе ссылок и минималистском пользовательском интерфейсе.
Эра конкуренции: упадок WebCrawler
Поскольку в конце 1990-х и начале 2000-х годов Интернет продолжал стремительно расти, рынок поисковых систем стал очень конкурентным. WebCrawler, когда-то являвшийся бесспорным лидером, с трудом мог идти в ногу с постоянным потоком инноваций и ростом числа хорошо финансируемых конкурентов.
Несколько факторов способствовали упадку WebCrawler в этот период:
Приобретение и пренебрежение: В 1995 году WebCrawler была приобретена компанией America Online (AOL), одним из крупнейших интернет-провайдеров того времени. AOL рассматривала поиск как стратегическую область и хотела владеть ведущей поисковой системой. Однако под управлением AOL WebCrawler прозябал. Он получил мало обновлений и уступил конкурентам позиции по размеру индекса и качеству поиска.
Восстание порталов: В конце 1990-х годов такие веб-порталы, как Yahoo!, Excite и Lycos, стали доминирующими отправными точками для пользователей Интернета. Эти сайты предлагали не только поиск, но и новости, электронную почту, погоду и другие услуги. Используя свою популярность, порталы могут привлечь огромный трафик к своим собственным поисковым системам, перекачивая долю рынка у отдельных поисковых провайдеров, таких как WebCrawler.
Восхождение Google: Запуск Google в 1998 году ознаменовал кардинальные изменения в веб-поиске. Алгоритм Google PageRank, который анализировал структуру ссылок в сети для определения наиболее важных страниц, оказался прорывом в поисковой релевантности. В сочетании с быстрым минималистичным интерфейсом Google быстро завоевал репутацию компании, предоставляющей лучшие результаты поиска. По мере распространения слухов Google начал поглощать долю рынка таких авторитетных игроков, как WebCrawler.
Отсутствие инноваций: По мере усиления конкуренции инновации стали иметь решающее значение для поисковых систем, чтобы сохранить свое преимущество. К сожалению, WebCrawler на этом фронте отстал. В то время как Google и другие компании постоянно настраивали свои алгоритмы и добавляли новые функции, WebCrawler оставался в относительной стагнации с небольшим количеством серьезных обновлений или улучшений.
К началу 2000-х годов WebCrawler уже давно утратил свою прежнюю доминирующую позицию. Его рыночная доля сократилась до однозначных цифр, и он больше не считался ведущим местом поиска. В 2001 году AOL продала WebCrawler компании InfoSpace, которая объединяла результаты поиска из нескольких систем. В рамках InfoSpace WebCrawler стал, по сути, метапоисковой системой, результаты которой получали от других поставщиков.
В течение следующих полутора десятилетий WebCrawler продолжал работать, но его возможности все уменьшались. В 2016 году он снова сменил владельца и был приобретен компанией веб-рекламы System1. Хотя System1 обновила WebCrawler в 2018 году, фундаментальный продукт остался мало измененным — базовый поисковый интерфейс, основанный на результатах программы синдицированных поисковых партнеров Google и Bing.
WebCrawler сегодня: нишевый игрок или угасшая слава?
Итак, это подводит нас к сегодняшнему дню. WebCrawler все еще существует как оперативная поисковая система, но это тень самого себя. По данным компании по анализу трафика LikeWeb, WebCrawler в настоящее время принимает около 240,000 XNUMX уникальных посетителей в месяц. Это не пустяки, но это далеко от миллионов ежедневных поисковых запросов, которые WebCrawler обрабатывал на пике своей карьеры, и представляет собой незначительную долю от миллиардов поисковых запросов, проводимых каждый месяц на таких лидерах рынка, как Google и Bing.
Посещение WebCrawler сегодня немного похоже на попадание в капсулу времени. Дизайн сайта чистый и функциональный, но устаревший, с простым окном поиска, несколькими параметрами фильтрации и многим другим. В окне поиска нет автоматического предложения, нет панелей знаний или расширенных фрагментов результатов. Объявления широко распространены, с несколькими спонсируемыми результатами и блоками отображения на каждой странице. Это очень похоже на пережиток более ранней и простой эпохи веб-поиска.
На самом деле WebCrawler больше не сканирует саму сеть. Вместо этого его результаты предоставляются через сделки по синдикации с Google и Bing. По сути, когда вы выполняете поиск в WebCrawler, вы видите подмножество результатов из индексов Google и Bing, отфильтрованных и переупорядоченных с помощью собственных алгоритмов WebCrawler. По большей части результаты вполне приемлемы – обычно вы можете найти то, что ищете. Но этот опыт напоминает урезанную версию поиска напрямую в Google или Bing с большим количеством рекламы.
Итак, кто сейчас использует WebCrawler и почему? Это немного загадка. Кажется, что сайт не обслуживает какую-либо конкретную нишу или вариант использования, который не был бы лучше удовлетворен основными поисковыми системами. Некоторых пользователей может привлечь простой интерфейс WebCrawler без излишеств. Сайт уделяет особое внимание конфиденциальности, заявляя, что он не отслеживает и не профилирует пользователей. Но то же самое можно сказать и о DuckDuckGo, который предлагает более сложный поиск, ориентированный на конфиденциальность.
Возможно, часть трафика WebCrawler исходит от пользователей, которые просто не изменили своих привычек. Если вы научились пользоваться Интернетом в середине 1990-х годов, возможно, WebCrawler был вашей первой поисковой системой. Для части этих пользователей WebCrawler может быть удобным и привычным вариантом, даже если он больше не является лучшим инструментом для работы.
Однако более вероятно, что значительная часть текущего использования WebCrawler обусловлена его собственностью. System1 — компания, занимающаяся рекламными технологиями, которая специализируется на размещении рекламы в поисковых системах и других цифровых ресурсах. Владение WebCrawler предоставляет System1 собственную платформу для показа поисковых объявлений. Каждый поиск, выполняемый с помощью WebCrawler, дает System1 возможность отображать платные результаты и получать доход. В этом контексте фактическая удовлетворенность пользователей и качество поиска могут быть второстепенными задачами по сравнению с простым увеличением трафика и показов рекламы.
Заглядывая в будущее, трудно представить себе будущее, в котором WebCrawler возродится. Сегодня на поисковом рынке доминирует Google, а Bing занимает второе место. Новым участникам мало места или аппетита, а стоимость и сложность создания и поддержания конкурентоспособного веб-индекса огромны. Лучшим выбором для сохранения актуальности WebCrawler может стать сосредоточение внимания на своей нише как альтернативы, ориентированной на конфиденциальность и поддерживаемой рекламой, для поисковиков, которые предпочитают простой интерфейс. Но без значительных инвестиций и инноваций трудно ожидать, что WebCrawler получит значительную популярность.
Наследие WebCrawler
Несмотря на то, что в настоящее время его возможности уменьшились, было бы ошибкой считать WebCrawler просто сноской в истории Интернета. Его воздействие и влияние на заре Интернета были глубокими и далеко идущими.
Будучи одной из первых полнотекстовых поисковых систем, WebCrawler сыграл ключевую роль в превращении Интернета из неорганизованной коллекции труднодоступных страниц в ресурс с возможностью навигации и поиска. Он познакомил миллионы первых пользователей Интернета с мощью и возможностями поиска по ключевым словам, установив ожидания относительно того, как можно использовать и исследовать Интернет. Во многих отношениях WebCrawler помог утвердить саму идею веб-поиска в том виде, в каком мы его знаем сегодня.
Наследие WebCrawler можно также увидеть во многих поисковых системах и веб-компаниях, которые пошли по его стопам. Многие ключевые фигуры, участвовавшие в раннем развитии и успехе WebCrawler, впоследствии сыграли влиятельные роли в интернет-индустрии. Основатель Брайан Пинкертон стал главным архитектором Excite, а затем и AOL. Другие первые сотрудники WebCrawler заняли высокие должности в таких компаниях, как Microsoft, Amazon и, да, Google.
Возможно, наиболее важным является то, что стремительный взлет и последующее падение WebCrawler служат примером динамичного и быстро меняющегося характера интернет-бизнеса. Всего за несколько лет WebCrawler превратился из проекта комнаты в общежитии в самое популярное место в Интернете, а затем превратился в испытывающую трудности. Ее история является напоминанием о том, как быстро может измениться цифровой ландшафт и как даже самые успешные и инновационные компании могут быть подорваны новыми технологиями и конкурентами.
В конце концов, наследие WebCrawler — это новаторские инновации, быстрый взлет и возможное затмение. Эта история повторяется снова и снова в истории Интернета, когда некогда доминирующие игроки, такие как AOL, Yahoo! и MySpace, уступают место выскочкам, таким как Google, Facebook и Twitter. Это свидетельство непрерывного цикла созидательного разрушения в сети и напоминание о том, что ни одна позиция доминирования не может быть по-настоящему безопасной.
Таким образом, хотя WebCrawler больше не является крупным игроком в мире веб-поиска, его место в истории Интернета надежно. Будучи одной из первых и наиболее влиятельных поисковых систем, она помогла нам наметить курс того, как мы находим и находим информацию в Интернете. И хотя сегодняшняя сеть существенно отличается от того, что было в 1994 году, фундаментальная потребность, которую впервые удовлетворил WebCrawler – желание разобраться в огромных запасах информации в сети – остается столь же важной, как и прежде.
