搜索引擎简史
随着互联网的发展，搜索引擎的出现是必然的。就像传统的图书馆一样，收藏的书籍、文件多了，必然出现管理、查找困难的问题，这时，索引和搜索就成为必需的了。实际上，搜索引擎原理在很大程度上源于传统文件检索技术。
网上的资源数量远超出我们的想象与掌控，没有搜索引擎，我们几乎无法有效地利用这些资源，也就没有互联网的今天。
当今社交媒体如日中天，诸如微博、微信、短视频、小红书、Facebook、Twitter 等应用的使用人次、网站流量、社会影响力已经达到甚至超过百度、Google 等互联网巨头。有这样一种倾向和观点，网民现在寻找信息更多的是靠微博、微信、Facebook，而不是搜索引擎。也许搜索引擎已经过时了？
关于这一点，SEO 人员其实倒不必担心。也许 Google、百度会没落，会消失，但搜索引擎不会。就算微博、微信、抖音、Facebook、Twitter 在当下十分火热，或者以后再出现新的网络服务，当用户要寻找信息时，一样要在搜索框中输入关键词，或者在移动互联网时代依靠语音输入，这本质上还是搜索，只不过搜索信息的来源可能从搜索引擎收录的页面数据库变成微博、微信、抖音、Facebook、Twitter 的内部数据库，排名算法从页面相关性、链接，变成用户、好友的推荐程度及评论，但以上数据来源及算法的改变都不能改变用户对搜索功能的需要，也不会改变搜索的基本形式。
只要搜索存在，就会存在哪条信息排在前面的问题，就有 SEO 的存在。掌握了搜索引擎排名的优化，其他不在搜索引擎进行的搜索，其优化方法是类似的。
搜索是近 20 年互联网变化最快的领域之一，这种变化不仅体现在搜索技术的突飞猛进和其对网络经济的巨大推动上，搜索引擎本身的合纵连横、兴衰起伏也是精彩纷呈，常令人有眼花缭乱、瞠目结舌之感。
了解搜索引擎的发展历史有助于 SEO 人员理解搜索引擎营销的发展与变革，对未来有更准确的预期。本节就简要列出搜索引擎发展史上的重要事件，其中很多事件对今天的搜索引擎以及 SEO 行业的形态发展有着至关重要的影响。
1990 年
第一个互联网上的搜索引擎 Archie 出现，用于搜索 FTP 服务器上的文件。当时，基于 HTTP 协议的 Web 还没有出现。
1993 年
6 月，第一个 Web 搜索引擎 World Wide Web Wanderer 出现，它只收集网址，还无法索引文件内容。
10 月，第二个 Web 搜索引擎 ALIWEB 出现，它开始索引文件元信息（也就是标题标签等信息），但也无法索引文件主体内容。
1994 年
1 月，Infoseek 创立，其搜索服务稍后正式推出。Infoseek 是早期最重要的搜索引擎之一，允许站长提交网址就是从 Infoseek 开始的。百度创始人李彦宏就是 Infoseek 的核心工程师之一。
4 月，Yahoo！由 David Filo 和 Jerry Yang（杨致远）创立。当时还没有注册 yahoo.com域名，其网站建在斯坦福大学的域名上。Yahoo！最初不是真正的搜索引擎，而是人工编辑的网站目录，创始人亲自把收集到的有价值的网站列在 Yahoo！目录中。在网站数量还不多时，Yahoo！可以实现人工编辑，既为用户提供了方便，又保证了信息质量，这使其迅速成长为网络巨人。
4 月，第一个全文搜索引擎（索引文件全部内容）WebCrawler 推出。起初它是华盛顿大学的一个研究项目，1995 年被美国在线 AOL 收购，1996 年又被 Excite 收购。2001年停止研发自己的搜索技术，网站成为元搜索引擎（整合、显示多个第三方搜索引擎结果，被称为元搜索引擎）。
6 月，Lycos 创立并迅速成为最受欢迎的搜索引擎之一。
1995 年
1 月，yahoo.com 域名注册。4 月，Yahoo！公司正式成立。
12 月，Excite 搜索引擎正式上线，成为早期流行的搜索引擎之一。2001 年其母公司破产，被 InfoSpace 购买。2004 年被Ask Jeeves 收购。
12 月，AltaVista 创立并迅速成为最受欢迎的搜索引擎，堪称当时的 Google。AltaVista在搜索领域开展了很多开创性的工作，其页面排名以站内因素为主，站长提交网址后会被迅速收录。
12 月，Infoseek 成为网景浏览器的默认搜索引擎。网景（Netscape）是当时浏览器市场的绝对统治者，曾占市场份额的 90%以上。后来随着免费的微软 IE 浏览器推出而逐渐衰落，2008 年正式停止研发和技术支援。
1996 年
3 月，Google 的创始人 Larry Page 和 Sergey Brin 在斯坦福大学开启了他们的研究项目，当时使用的名称是 BackRub，1997 年更名为Google。
4 月，Yahoo！上市。
5 月，Inktomi 创立，作为早期重要的搜索技术提供商，其本身并没有可供用户使用的搜索网站或界面，而是专门提供搜索技术给其他公司。Inktomi 最先开始使用付费收录的方式，但后来被 Google 等的成功证明此方式行不通。
5 月，Hotbot 创立，其最初使用 Inktomi 数据。1998 年被 Lycos 收购，后来转型为元搜索引擎，显示来自 Google、FAST、Teoma 和 Inktomi 的结果。Hotbot 也是初期颇流行的搜索引擎之一。
11 月，Lycos 收录了 6000 万份文件，成为当时最大的搜索引擎。然而这与今天的搜索引擎索引库相比，可以说是小巫见大巫。
1997 年
- 月，Ask Jeeves 上线，于 2006 年改名为 Ask，是唯一一个至今仍真实存在并有一
定市场份额的早期搜索引擎。其创立时标榜的特点是“自然语言”搜索，用户可以使用问句形式搜索。起初其雇佣大量编辑，通过人工编辑搜索结果，但显然（至少今天看来很显然）这种模式行不通，于是不得不使用其他搜索引擎数据。
1998 年
2 月 21 日，GoTo（后来改名为 Overture）正式启用 Pay For Placement（出售搜索结果位置）服务，谁付的钱多，谁就排在前面。这在当时饱受非议，却是后来所有主流搜索引擎最主要盈利模式搜索竞价广告（百度推广和 Google Ads 等）的始祖。
Direct Hit 创建，搜索结果的用户点击率是影响其排名的重要因素，Direct Hit 因此流行一时，但很快也因此造成搜索质量大幅下降。今天的搜索引擎算法中引入了用户浏览数据，其实早在初期搜索引擎就有探索并留下了教训，一旦处理不好就会被作弊者利用。 1998 年中，迪士尼成为 Infoseek 的控股公司，并将 Infoseek 转型为门户。早期的搜索引擎没有明确的赢利模式，遇到搜索质量下降、没有收入等困难时，常常采用转型为门户的方法，寄希望于像 Yahoo！那样赚网络显示广告的钱，但几乎没有转型成功的例子。这为 Google 等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。
同样在 1998 年，AltaVista 被卖给 Compaq，1999 年 10 月，Compaq 也将 AltaVista
转型为门户，AltaVista 走向没落。
1998 年中，Yahoo！放弃 1996 年开始使用的 AltaVista，转而使用 Inktomi 的搜索数据。早期的 Yahoo！只在其目录中没有用户寻找的网站时，才显示来自真正搜索引擎的数据。
9 月，Google 公司正式成立。
MSN 搜索推出，但在之后的很长时间里，微软都没有重视搜索引擎，一直到 2004
年，MSN Search 都在使用其他提供商提供的搜索数据和技术。
1999 年
- 月，AllTheWeb.com 创建，并成为搜索技术公司 FAST 展示其技术的平台。
- 月，Netscape 放弃 Excite 搜索引擎，转而使用 Google 搜索数据，对 Google 来说是个里程碑式的时刻。
1999 年中，迪士尼将 Infoseek 流量转入 Go 网站，曾经流行一时的搜索引擎 Infoseek
消失。Go 网站几经波折，目前无声无息。
Lycos 停止自己的搜索技术，开始使用 AllTheWeb 数据。
2000 年
1 月，Ask Jeeves 以 5 亿美元收购搜索引擎 Direct Hit，但并没有进一步发展它。2002
年初，Direct Hit 正式宣告结束。
1 月 18 日，百度成立，起初仅作为搜索技术提供商向其他网站提供中文搜索服务和数据。
5 月，Lycos 被西班牙公司 Terra Networks 收购，改名为 Terra Lycos。互联网泡沫破灭后，Terra Lycos 渐渐势微。
7 月，Yahoo！开始使用 Google 搜索数据，其以自己当时最强大的网上品牌和流量，培养出日后最强大的竞争对手和掘墓人。
2000 年年中，GoTo 基本放弃使用自己网站吸引用户的做法，开始向多家搜索引擎及网站提供付费搜索服务，包括 MetaCrawler、DogPile、Ask Jeeves、AOL、Netscape 等。这可能是 GoTo.com（后来的 Overture）的重大失误之一，它使用了一个具有开创意义的模式，但开创者的品牌名称却没能被普通用户知道，GoTo.com 也因此无法与 Google 这种家喻户晓的品牌抗衡。
10 月，Google 推出 AdWords，以 CPM 模式，也就是按显示付费的模式，提供搜索广告服务。这个模式并不成功。
2001 年
9 月，Ask Jeeves 收购了 Teoma，这是一个与 Google 一样重视链接的搜索引擎，并且曾经被认为是能与 Google 抗衡的搜索引擎之一。
10 月，百度作为搜索引擎正式上线，并直接独立提供搜索服务。中文搜索迅速进入了百度时代。
2002 年
3 月，Google Adwords 推出 PPC 形式，也就是按点击付费，成为今天 Google 广告的主流。PPC 搜索广告由 Overture 发明，并由 Google 发扬光大。从 PPC 开始，Google Adwords 才算真正被客户接受和广泛使用，Google 成为充分利用搜索的网络赚钱机器。
5 月，美国在线 AOL 放弃 Inktomi，转而使用 Google 搜索数据。
10 月，Yahoo！放弃在用户搜索时先返回 Yahoo！目录中数据的做法，全面改为显示 Google 搜索数据。
12 月，Yahoo！收购苦于没有良好赢利模式的 Inktomi，为其 2003 年一系列收购和整合拉开序幕。显然 Yahoo！希望拥有自己的搜索技术，而不想继续依赖其他搜索引擎，如 Google。
2003 年
2 月 18 日，Overture 宣布收购 AltaVista。除了广告平台，Overture 也拥有了自己的搜索技术。
2 月 25 日，Overture 宣布收购FAST 的搜索技术部门，FAST 拥有AllTheWeb 网站，也向另一个著名的搜索网站 Lycos 提供搜索数据。Overture 因此拥有了当时两大主要搜索技术公司。
3 月，Google 推出后来被称为 Adsense 的内容广告系统，向其他内容网站提供广告服务，成为很多内容网站的主要收入来源之一。
- 月，Yahoo！宣布以 16 亿美元的价格收购 Overture，将 Google 之外的几乎所有主流搜索技术（Inktomi、AltaVista、FAST）收归旗下。可惜，随着 2010 年 Yahoo！放弃了自己的搜索技术，并转而使用微软 Bing 服务，Yahoo！以前收购的及自己在此基础上研发多年的搜索技术全部无疾而终。Overture 的PPC 广告平台被整合，改名为 Yahoo！Search Marketing。
2003 年，微软MSN 开始开发自己的搜索引擎技术。此前，MSN 网站一直使用 Inktomi
等搜索技术提供商的搜索数据。
2004 年
2 月，正如所有人预料的，Yahoo！在收购了几大搜索公司后推出了自己的搜索引擎，不再使用 Google 数据和技术。
- 月，Google 上市。
11 月，微软推出了自己的搜索引擎 MSN Search，不再使用第三方搜索服务。三雄鼎立时代开启。
2005 年
8 月，百度上市。
2006 年
5 月，微软推出类似于 Google Adwords 的广告系统 adCenter。
9 月，MSN Search 改名 Live Search，实际上，MSN 网络品牌全部改为 Live，并做了大量推广。不过这并没有显著提高微软在搜索市场的份额，Google 仍然一枝独秀。
2007 年
3 月，Google 也开始提供类似网站联盟的按转化付费的广告形式。
4 月，Google 收购传统网络广告公司 DoubleClick，进入更广泛的网络广告领域。
2009 年
6 月，微软 Live Search 改名为必应（Bing）。
7 月 29 日，微软和 Yahoo！达成历史性协议，Yahoo！将逐步放弃自己的搜索技术，使用 Bing 数据。此前几年，Yahoo！始终在困境中挣扎，CEO 几度更换，大股东内讧，搜索市场份额不断下降。终于，Yahoo！被自己亲手培养的 Google 彻底打败在搜索战场。 Yahoo！曾经是英雄，但它的时代正式结束了。
2010 年
8 月 25 日，Yahoo！开始使用 Bing 搜索数据。
2011 年
2 月 24 日，Google 推出旨在减少搜索结果中低质量页面的 Panda（熊猫）更新，这对 SEO 业界影响深远。
2012 年
4 月 24 日，Google 上线 Penguin（企鹅）更新，用以打击作弊链接和低质量链接。 Penguin 更新使 SEO 行业对外部链接制造方法有了全新认识。
8 月，360 公司推出了 360 搜索，并凭借其浏览器的市场占有率，迅速提升了其在国内的搜索引擎市场份额。
11 月，百度站长平台推出外部链接查询功能，这使百度站长平台真正成为了中国站长必用的 SEO 工具。
2013 年
2 月 20 日，百度推出绿萝算法，用以打击参与链接买卖的网站。
5 月，百度推出石榴算法，用以打击低质量内容页面。
6 月，Yahoo！关闭了红极一时的 AltaVista。
2014 年
9 月，在放弃了自己的搜索技术 4 年后，Yahoo！宣布将自己赖以起家的网站目录于
2014 年年底关闭。
2015 年
2015 年上半年的某个时间，Google 上线 RankBrain，这是以人工智能为基础的深入理解查询词意义的系统。RankBrain 的上线拉开了人工智能广泛应用于搜索的序幕。
7 月，Google 上线第 29 次，也是最后一次 Panda 更新：Panda Update 4.2，这之后 Panda 成为了 Google 核心算法的一部分，不再推出单独的 Panda 更新。
2016 年
9 月，Google 上线第 7 次，也是最后一次 Penguin 更新：Penguin 4.0，这之后 Penguin
成为Google 核心算法的一部分，页面被重新抓取索引后，将实时通过 Penguin 算法处理。
2017 年
10 月，Google 开始实施移动优先索引（Mobile First Index），也就是从原来的索引 PC页面转为索引移动页面。移动优化成为 SEO 的重点。2023 年 10 月，移动优先索引才全部完成。
2018 年
3 月，Google 的第一次核心算法更新（core algorithm update）上线。核心算法更新并不针对某类特定问题，而是每年数次较大规模的整体算法更新。
2022 年
11 月，ChatGPT 横空出世，对搜索、SEO 及很多其他行业产生颠覆式影响。ChatGPT简单说是个生成式人工智能聊天机器人，由微软参与投资的 OpenAI 公司开发。
2023 年
2 月 6 日，为了应对 ChatGPT，Google 有点仓促地推出了自己的生成式人工智能： Bard。由于新闻发布会上使用的 PPT 及案例漏洞颇多，Google 股价应声重挫 9%。好在后来 Bard 进步明显，性能不输 ChatGPT。
2 月 7 日，微软公布将 ChatGPT 引入必应搜索，用户可以在搜索页面向 ChatGPT 提问题。这正式开启了 AI 搜索时代。虽然很吸引眼球，但必应搜索的市场份额并没有因此增长。
5 月，Google 推出“搜索生成体验”（Search Generative Experience，缩写 SGE），也就是在搜索结果页面上显示生成式 AI 驱动的回答。推出 SGE 后，Google 不停测试不同的排版格式、各种加入广告的方法、是否以及怎样增加出处链接等。截至 2024 年 1 月， SGE 还处于实验阶段。
2003 年以来，搜索领域的技术革新不断，以 Google 为代表的搜索引擎推出了整合搜索、个人化搜索、实时搜索、地图和本地搜索、线上文件编辑、网站统计、浏览器、网管工具、超大容量电子邮件、即时通信等多重服务。从总体上看，通常是 Google 推出新服务，其他搜索引擎很快跟进。
2011 年至今，Google 推出的熊猫算法、企鹅算法、核心算法更新、有用内容算法更新等深深地影响了全球 SEO 的思维，促使 SEO 必须更加自然、更强调用户体验。
在国内，除了上面提到的服务，百度更是创建了百科、知道、贴吧等独特服务。在搜索算法上，百度除了推出针对低质量内容和外部链接的绿萝算法和石榴算法，还进行了冰桶、蓝天、飓风、清风、惊雷等算法更新。2012 年以来，百度对 SEO 也更加开放，不仅推出了百度站长平台（现已改名为百度资源平台），其中的 SEO 工具也在不断增加和改进，而且以各种形式积极参与到与站长和 SEO 的对话中，比如参加 SEO 行业大会，并自行在全国范围内组织与站长的对话会，建立站长与百度工程师直接沟通的渠道。
在国际上，2003 年至 2009 年间，搜索引擎服务商没有大的变化，始终是 Google 独占鳌头，Yahoo！位居第二，占有不大不小的市场份额，微软 Live/Bing 位居第三，苦苦追赶而不得。2009 年微软推出了 Bing，Yahoo！在开始使用 Bing 技术后（严格地说， Yahoo！已主动退出搜索引擎市场），不仅放弃了自己的搜索技术，而且其搜索服务的市场份额也持续下降，拱手让出第二的位置。
据 StatCounter 统计，2022 年 12 月至 2023 年 12 月全球搜索引擎市场份额分布如图 1-3 所示。
图 1-3 2022 年 12 月至 2023 年 12 月全球搜索引擎市场份额分布
读者可以看到，曲线图看起来有点可笑，Google 一条平稳曲线高高在上，其他搜索引擎都被压在底部，已经无法分辨。下载实际数据才能看得清楚一些，如图 1-4 所示。
图 1-4 2022 年 12 月至 2023 年 12 月全球搜索引擎市场份额数据
可以看到 Google 始终占据 91%以上的市场份额，继续居于绝对领先地位。微软 Bing
即使在 ChatGPT 加持下，份额也没有明显提高。
在中文搜索市场，百度独大，Google 曾经长期排在第二的位置。2010 年，Google 在经历风波后退出中国，此后其在中文搜索市场份额持续下降。
据 StatCounter 统计，2023 年百度在中国搜索引擎市场份额的占比平均保持在 60%以上，Google 已退至可怜的 3%左右。微软 Bing 近年在中国搜索市场表现不错，份额达到 12%以上，2023 年 4 月最高达到过 22.25%。2023 年中国搜索引擎市场份额如图 1-5所示。
图 1-5 2023 年中国搜索引擎市场份额
做英文 SEO，目前只关注 Google 即可，其他搜索引擎可以暂时忽略。做中文网站
SEO，除了百度，可以关注一下 Bing。
第 2 章
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第01章-为什么要做-SEO-搜索引擎简史-_index-373b32.md（仅本地保留，不入库不部署）