在互联网历史的万神殿中，WebCrawler 是一个赫赫有名的名字。它于 1994 年推出，是最早的搜索引擎之一，允许用户通过关键字搜索万维网，而当时上网意味着浏览手动管理的目录。 WebCrawler 的影响迅速而重大——它很快成为网络上最受欢迎的搜索引擎，在高峰时期每天处理数百万次搜索。对于许多早期的互联网用户来说，WebCrawler 是在当时新兴的网络上查找和发现内容的主要工具。
但那是近 30 年前的事了——在快速发展的技术世界中已经有好几辈子了。自早期的开拓以来，网络已经发生了巨大的发展，搜索引擎的格局也发生了多次变化。像谷歌和必应这样的巨头现在凭借复杂的算法和一系列令人眼花缭乱的功能主导着市场。在所有这些变化和竞争中，WebCrawler 发生了什么？这个曾经的网络搜索巨头到 2024 年还存在吗？
简短的回答是肯定的 – WebCrawler 仍然存在，您现在可以访问它： 网络爬虫网。但今天的 WebCrawler 与 1990 世纪 XNUMX 年代的开创性搜索引擎截然不同。为了了解 WebCrawler 的历程及其在现代搜索领域的地位，让我们深入了解其迷人的历史。
早期：WebCrawler 的崛起
WebCrawler 由华盛顿大学计算机科学系学生 Brian Pinkerton 于 1994 年创建。当时，网络仍处于起步阶段，只有几千个网站。查找内容的最常见方法是通过 Yahoo! 等精心策划的网络目录，它将网站按类别进行组织。搜索引擎确实存在，但它们很原始，只索引网站标题和 URL。
平克顿看到了创建更强大的搜索工具的机会。他的想法是创建一个“爬虫”程序，该程序可以自动浏览网络，跟踪页面之间的链接，并对找到的每个页面的全文进行索引。这将使用户不仅可以搜索页面标题，还可以搜索网页的实际内容，从而极大地扩展了可搜索的信息量。
WebCrawler 于 20 年 1994 月 1994 日推出，运行在 Pinkerton 办公桌下的一台计算机上。尽管出身卑微，但它很快就受到了关注。 1 年 1995 月，WebCrawler 处理了第 1 万个查询。到 XNUMX 年底，它每天处理超过 XNUMX 万次查询，使其成为网络上最受欢迎的搜索引擎。
WebCrawler 的快速崛起有以下几个因素：
全文检索：WebCrawler 搜索网页全文的能力改变了游戏规则。突然之间，用户可以根据任何单词或短语找到页面，而不仅仅是目录提供的有限元数据。这使得网络搜索变得更加有用和强大。
迅速的：尽管在单台机器上运行，WebCrawler 的速度还是很快的。平克顿优化了他的爬虫以有效地索引页面，并优化了他的搜索算法以快速返回相关结果。在网页加载需要几分钟的时代，WebCrawler 的速度是一个显着的优势。
报道：WebCrawler 不是唯一的搜索引擎，但它比竞争对手索引了更多的网络内容。到 1995 年底，WebCrawler 已经对超过 4 万个网页建立了索引——占当时整个网络的很大一部分。更全面的覆盖范围意味着对用户而言更相关的结果。
合作伙伴：WebCrawler 与 Excite 和 Netscape 等高流量门户网站合作，为其搜索功能提供支持。这给 WebCrawler 带来了巨大的曝光度并有助于推动其增长。
到 1990 世纪 XNUMX 年代中期，WebCrawler 已经确立了自己作为领先搜索引擎的地位，并保持了数年。它每天处理数百万次搜索，并不断创新，针对新闻和旅游等主题推出图像搜索和特定类别搜索引擎等功能。
但即使 WebCrawler 主导了网络搜索，剧变的种子也正在播下。 1990 世纪 1998 年代末出现了一波新的搜索引擎浪潮，每一个都带来了新技术和方法。 Excite 和 Lycos 等一些公司遵循与 WebCrawler 类似的基于爬虫的模型。但其他人，比如雅虎！和 Altavista 则走了一条不同的道路，使用人工管理和更复杂的查询语言。然后是 Google，成立于 XNUMX 年，采用基于链接分析和极简用户界面的全新搜索方法。
竞争时代：WebCrawler 的衰落
随着网络在 1990 世纪 2000 年代末和 XNUMX 年代初持续爆炸式增长，搜索引擎市场竞争变得异常激烈。 WebCrawler 曾经是无可争议的领导者，但现在发现自己正在努力跟上源源不断的创新和资金充足的竞争对手的激增。
有几个因素导致了WebCrawler在此期间的衰落：
获得和忽视：1995 年，WebCrawler 被当时最大的互联网服务提供商之一美国在线 (AOL) 收购。美国在线将搜索视为一个战略领域，并希望拥有一个领先的搜索引擎。然而，在 AOL 的掌控下，WebCrawler 陷入了困境。它几乎没有收到任何更新，并且在索引大小和搜索质量方面输给了竞争对手。
门户网站的兴起：1990 世纪 XNUMX 年代末，Yahoo!、Excite 和 Lycos 等门户网站成为互联网用户的主要起点。这些网站不仅提供搜索，还提供新闻、电子邮件、天气和其他服务。通过利用其受欢迎程度，门户网站可以为自己的搜索引擎带来大量流量，从 WebCrawler 等独立搜索提供商那里夺取市场份额。
谷歌的崛起：Google 于 1998 年推出，标志着网络搜索领域发生了翻天覆地的变化。 Google 的 PageRank 算法通过分析网络的链接结构来识别最重要的页面，被证明是搜索相关性方面的一项突破。结合快速、简约的界面，Google 很快就赢得了提供最佳搜索结果的声誉。随着消息传开，谷歌开始蚕食 WebCrawler 等老牌厂商的市场份额。
缺乏创新：随着竞争的加剧，创新对于搜索引擎保持优势变得至关重要。不幸的是，WebCrawler 在这方面落后了。尽管 Google 和其他公司不断调整其算法并添加新功能，但 WebCrawler 仍然相对停滞不前，几乎没有重大更新或改进。
到 2000 年代初，WebCrawler 已经远远脱离了以前的统治地位。它的市场份额已经减少到个位数，并且不再被视为领先的搜索目的地。 2001 年，AOL 将 WebCrawler 出售给 InfoSpace，这是一家聚合多个引擎搜索结果的公司。在 InfoSpace 的领导下，WebCrawler 本质上变成了一个元搜索引擎，其结果来自其他提供商。
在接下来的十五年里，WebCrawler 继续运营，但容量日益减少。 2016 年，它再次易手，被网络广告公司 System1 收购。虽然 System1 在 2018 年对 WebCrawler 进行了视觉更新，但基本产品几乎没有变化 - 由 Google 和 Bing 联合搜索合作伙伴计划的结果提供支持的基本搜索界面。
当今的 WebCrawler：小众玩家还是昔日辉煌？
这就是我们今天的情况。 WebCrawler 仍然作为一个可操作的搜索引擎存在，但它已经是以前的影子了。根据流量分析公司 Sametime Web 的数据，WebCrawler 目前每月接收约 240,000 名独立访问者。这并不是什么——但这与 WebCrawler 在高峰时期每天处理的数百万次搜索相比相去甚远，而且在 Google 和 Bing 等市场领导者每月进行的数十亿次搜索中，它所占的份额微乎其微。
今天访问 WebCrawler 有点像走进时间胶囊。该网站的设计简洁、实用，但有些过时，只有一个简单的搜索框、一些过滤选项，除此之外就没有其他东西了。搜索框中没有自动建议，结果中没有知识面板或丰富的摘要。广告无处不在，每个页面上都有多个赞助结果和显示单元。它感觉很像早期、更简单的网络搜索时代的遗迹。
在幕后，WebCrawler 不再真正抓取网络本身。相反，其结果是通过与谷歌和必应的联合交易提供的。本质上，当您在 WebCrawler 上进行搜索时，您会看到来自 Google 和 Bing 索引的结果子集，并由 WebCrawler 自己的算法进行过滤和重新排序。在大多数情况下，结果是有用的——您通常可以找到您想要的东西。但这种体验感觉就像是直接在 Google 或 Bing 上进行搜索的精简版、广告密集版。
那么现在谁在使用 WebCrawler，为什么？这有点神秘。该网站似乎没有提供主要搜索引擎无法更好满足的任何特定利基或用例。一些用户可能会被 WebCrawler 简单、简洁的界面所吸引。该网站强调隐私，声明它不会跟踪或分析用户。但 DuckDuckGo 也是如此，它提供了更复杂的注重隐私的搜索体验。
WebCrawler 的部分流量可能来自于尚未改变习惯的用户。如果您在 1990 世纪 XNUMX 年代中期学会使用网络，WebCrawler 可能是您的第一个搜索引擎。对于其中一部分用户来说，WebCrawler 可能是一个舒适、熟悉的选择，即使它不再是完成这项工作的最佳工具。
但更有可能的是，WebCrawler 当前的使用很大一部分是由其所有权驱动的。 System1 是一家广告技术公司，专门在搜索引擎和其他数字资产上投放广告。拥有 WebCrawler 为 System1 提供了一个用于投放搜索广告的专属平台。在 WebCrawler 上进行的每次搜索都是 System1 显示付费结果并产生收入的机会。在这种情况下，实际的用户满意度和搜索质量可能只是简单地推动流量和广告印象的次要问题。
展望未来，很难想象 WebCrawler 会出现任何形式的复兴。如今的搜索市场完全由 Google 主导，Bing 远远落后于第二位。新进入者的空间和兴趣很小，而且构建和维护有竞争力的网络索引的成本和复杂性是巨大的。 WebCrawler 保持相关性的最佳选择可能是专注于其利基市场，为喜欢简单体验的搜索者提供以隐私为中心、广告支持的替代方案。但如果没有大量的投资和创新，WebCrawler 就很难获得显着的吸引力。
WebCrawler 的遗产
尽管 WebCrawler 目前的情况已日渐衰落，但如果将 WebCrawler 视为互联网历史上的一个脚注，那就大错特错了。它在网络早期的影响和影响是深远的。
作为最早的全文搜索引擎之一，WebCrawler 在将网络从杂乱无章、难以查找的页面集合转变为可导航和可搜索的资源方面发挥了关键作用。它向数百万早期网络用户介绍了关键字搜索的强大功能和可能性，为如何使用和探索网络设定了期望。在许多方面，WebCrawler 帮助建立了我们今天所知的网络搜索理念。
WebCrawler 的遗产也可以在许多追随其脚步的搜索引擎和网络公司中看到。许多参与 WebCrawler 早期开发和成功的关键人物后来在互联网行业中发挥了重要作用。创始人 Brian Pinkerton 成为 Excite 和后来的 AOL 的首席架构师。其他早期的 WebCrawler 员工后来在微软、亚马逊，当然还有谷歌等公司担任要职。
也许最重要的是，WebCrawler 的迅速崛起和最终衰落可以作为互联网业务动态、快速发展性质的案例研究。在短短几年的时间里，WebCrawler 从一个宿舍项目变成了网络上最受欢迎的目的地，最后变成了一个苦苦挣扎的落选者。它的故事提醒人们，数字环境的变化有多快，以及即使是最成功和最具创新性的公司也可能会被新技术和竞争对手颠覆。
最终，WebCrawler 的遗产是开拓性创新、快速崛起和最终的黯然失色。这个故事在互联网历史上一次又一次地上演，AOL、Yahoo! 和 MySpace 等曾经的主导者让位于 Google、Facebook 和 Twitter 等新贵。它证明了网络不断循环的创造性破坏，并提醒我们，任何主导地位都不是真正安全的。
因此，虽然 WebCrawler 可能不再是网络搜索领域的主要参与者，但它在互联网历史上的地位是稳固的。作为最早也是最有影响力的搜索引擎之一，它帮助我们制定了如何在线查找和发现信息的路线。尽管如今的网络与 1994 年相比已经发生了很大的变化，但 WebCrawler 最初满足的基本需求——理解网络海量信息的愿望——仍然一如既往地重要。
