搜索引擎前世今生

2021-10-04

       随着互联网的发展,搜索引擎的出现是必然的。就像传统的图书馆一样,收藏的图书、文件多了,必然会出现管理、查找围难的问题,这时,索引和搜索就成为必需的了,实际上,搜索引擎原理在很大程度上源于传统文件的检索技术。今天就跟大家一起来了解下搜索引擎前世今生。

       网上的资源数量远超出我们的想象与掌控,没有搜索引擎,我们几平无法有效地利用这些资源,也就没有互联网的今天。

       当今社交媒体如日中天,诸如微博、微信、短视频、Facebook.Twitte等应用的使用人次、网站流量、社会影响力已经达到甚至超过百度、Google等互联网巨头。有这样一种倾向和观点,网民现在寻找信息更多的是靠微博、微信、Facebook,而不是搜索引整。也许搜索引擎已经过时了?

       关于这一点,SEO人员其实倒不必担心。也许Google、百度会没落,会消失,但搜索引擎不会。就算微博、微信、Facebook、Twitter在当下十分火热,或者以后再出现新的网络服务,当用户要寻找信息时,一样要在搜索框中输入关键词,或者在移动互联时代利用语音输入,这本质上还是搜索,只不过搜索信息的来源,可能从搜索引擎收录的页面数据库变成微博、微信、Facebook、Twitter的内部数据库,排名算法从页面相关性、链接,变成用户、好友的推荐程度及评论,但以上数据来源及算法的改变都不能改变用户对搜索功能的需要,也不会改变搜索的基本形式。

       只要搜索存在,就会存在哪条信息排在前面的问题,就有SEO的存在。也许搜索引繁这个名字变了,SEO 也只是需要改个名字而已。

       搜索是近20年互联网变化最快的领域之一,这种变化不仅体现在搜索技术的突飞猛进和其对网络经济的巨大推动上,搜索引擎本身的合连纵横、兴衰起伏也是精彩纷呈,常令人有眼花缭乱、瞠日结舌之感。

      了解搜索引擎的发展历史有助于SEO人员理解搜索引擎营销的发展与变革,对未来有更准确的预期。本节就简要列出搜索引擎发展史上的重要事件,其中很多事件对今天的搜索引擎以及SEO 行业的形态发展有着至关重要的影响。

1990年

第一个互联网上的搜索引擎Archie 出现,用于搜索 FTP 服务器上的文件。当时,基于 HTIP 协议的 Web 还没有出现。

1993年

6月,第一个Wb按索引擎 World Wide Wet wandeer出现,它只收集网址,还不能索引文件内容。

10月、第二个Wb搜索引擎ALIWEB出现,它开始索引文件元信息(也就是标题标签等信息),但也无法索引文件主体内容。

1994 年

1月,Infosock 创立,其搜索服务稍后正式推出。Infoseek是早期最重要的搜索引擎之一,允许站长提交网址就是从Infoscck开始的。百度创始人李彦宏就是Infoseek核心工程师之一。

4月,Yahoo由 David Filo 和 Jerry Yang(杨致远)创立。当时还没有注册yahoo域名。其网站建在斯坦福大学的域名上。Yahoo最初不是真正的搜索引擎,而是人工辑的网站目录,创始人亲自把收集到的有价值的网站列Yahoo目录中,在网站数还不多时,Yahoot可以实现人工编辑,既为用户提供了方便,又保证了信息质量。这使其迅速成长为网络巨人。

4月,第一个全文搜索引擎《索引文件全部内容)WebCrawler推出。起初它是华选顿大学的一个研究项目,1995年被美国在线AOL收购,1996年又被Excite收购、2001年停止研发自己的搜索技术,网站成为元搜索引擎(整合、显示多个第三方搜索引攀结果,被称为元搜索引擎)。

6月,Lycos 创立并迅速成为最受欢迎的搜索引擎之一。

1995 年

1月,yahoo.com域名注册。4月,Yahoo公司正式成立。

12月,Excite搜索引擎正式上线,成为早期流行的搜索引擎之一。2001年其母公司破产,被InfoSpace购买,2004 年被AskJeeves 收购。

12月,AltaVista创立并迅速成为最受欢迎的搜索引擎,堪称当时的Google.AltaVish在搜索领域开展了很多开创性的工作,其页面排名以站内因素为主,站长提交网址后会被迅速收录。

12月,Infoseek成为网景浏览器的默认搜索引擎。网景(Netscape),是当时浏览器市场的绝对统治者,曾占市场份额的90%以上。后来随着免费的微软IE 浏览器推出而逐渐衰落,2008 年正式停止研发和技术支援。

1996 年

3月,Google 的创始人 Larry Page 和 SergcyBrin 在斯坦福大学开启了他们的研究项目,当时使用的名称是BackRub,1997 年更名为 Google.

4月,Yahoo上市

5月,Inktomi创立,作为早期重要的搜索技术提供商,其本身并没有可供用户使用的搜索网站或界面,而是专门提供搜索技术给其他公司。Inktomi 最先开始使用付费收录的方式,但后来被Google 等的成功证明此方式行不通。

5 月,Hotbot 创立,其最初使用Inktomi 数据。1998 年被 Lycos 收购,后来转型为元搜索初擎,是示来Google、FAST、Teoma和toktomi 的结果,Hotbot也是初期颇流行的搜索引黎之一。

11月,Lyoo收录了6000万文件,成为当时最大的搜索引擎。然而这与今天的搜索引擎索引库相比,可以说是小巫见大巫。

1997 年

4月,Ask Jeeves 上线,于2006年改名为Ask,是唯一一个至今仍真实存在并有一定市场份额的早期搜索引擎,其创立时标榜的特点是“自然语言”搜索,用户可以使用问句形式搜索。起初其雇用大量编辑通过人工编辑搜索结果,但显然(至少今天看来很是然》这种模式行不通,于是不得不使用其他搜索引擎数据。

1998 年

2月21日,GoTo(后来改名为Overture)正式启用 Pay For Placement(出售搜索结果位置)服务,谁付的钱多,谁就排在前面。这在当时饱受非议,但却是后来所有主流搜索引擎最主要的收入来源,并且是搜索竞价广告(百度推广和 Google Ads 等)的始祖。 

       Direct Hit 创建,搜索结果的用户点击率是影响其排名的重要因素,Direct Hit 因此流行一时,但很快也因此造成搜索质量大幅下降。今天的搜索引擎算法中引入了用户浏览数据,其实早在初期搜索引擎就有探索并留下了教训,一旦处理不好就会被作弊者利用。

      1998年中,迪士尼成为Infoseek的控股公司,并将Infoseck转型为门户。早期的搜索引擎没有明确的赢利模式,遇到搜索质量下降、没有收入等困难时,常常采用转型为门户的方法,寄希望于像Yhoo那样赚网络显示广告的钱,但几乎没有转型成功的例子,这为 Google 等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。

      同样在1998 年,AltaVista 被卖给 Compaq,1999 年 10 月,Compaq 也将 AltaVista转型为门户,AltaVista 走向没落。

      1998年中,Yahoo放弃1996 年开始使用的 AltaVista,转而使用Inktomi 的搜索数据。早期的Yahoo只在其目录中没有用户寻找的网站时,才显示来自真正搜索引擎的数据。

      9月,Google 公司正式成立

      MSN搜索推出,但在之后的很长时间里,微软都没有重视搜索引擎,一直到 2004年,MSN Search 都在使用其他提供商提供的搜索数据和技术。

1999 年

      5月,AllTheWeb.com创建,并成为搜索技术公司 FAST 展示其技术的平台。

      6月,Netscape放弃 Excite搜索引擎,转而使用Google 搜索数据,对 Google 来说是个里程碑式的时刻。

      1999年中,迪士尼将Infoseek流量转入Go.com,曾经流行一时的搜索引擎 Infoseek消失。Go.com几经波折,目前无声无息。

      Lycos 停止自己的搜索技术,开始使用AllTheWeb 数据。

2000年

      1月,AskJeeves以5 亿美元收购搜索引擎Direct Hit,但并没有进一步发展它。2002年初,Direct Hit 正式宣告结束。

      1月18日,百度成立。起初仅作为搜索技术提供商向其他网站提供中文搜索服务和数据。

      5月,Lcos被西班牙公司Terra Networks收购,改名为Terra Lycos.互联网泡沫破灭后,Terra Lycos 渐渐势微。

      7月,Yahoo开始使用 Google搜索数据,其以自己当时最强大的网上品牌和流量,培养出日后最强大的竞争对手和掘墓人。 

     2000年中,GoTo.com基本放弃使用自己网站吸引用户的做法,开始向多家搜素引擎及网站提供付费搜索服务,包括MetaCrawler.com、DogPile.com、Ask Jeeves、Aol、 Netscape 等。这可能是GoTo.com(后来的Owerture)的重大失误之一,它使用了一个具有开创意义的模式,但开创者的品牌名称却没能被普通用户知道,GoTo.com 也因此无法与Google 这种家喻户晓的品牌抗衡。 

     10月,Google 推出 AdWords,以CPM模式,也就是按显示付费的模式,提供搜索 广告服务。这个模式并不成功。

      2001 年9月,Ask Jeeves 收购了 Teoma,这是一个与 Google 一样重视链接的搜索引擎,并且曾经被认为是能与 Google 抗衡的搜索引擎之一。

     10月,百度作为搜索引擎正式上线,并直接独立提供搜索服务。中文搜索迅速进入了百度时代。

2002 年

      3月,Google Adwords 推出 PPC 形式,也就是按点击付费,成为今天 Google Adwords的主流。PPC 搜索广告由 Overture 发明,并由 Google 发扬光大。从PPC 开始,Google Adwords才算真正被客户广泛接受和使用,Google 成为充分利用搜索的网络赚钱机器。

      5 月,美国在线 AOL 放弃 Inktomi,转而使用 Google 搜索数据。

     10月,Yahoo放弃在用户搜索时先返回 Yahoo目录中数据的做法,全面改为显示 Google 搜索数据。Yahoo目录还是最重要的网站目录,但显然使用者越来越少了。

     12月,Yahoo收购苦于没有良好赢利模式的Inktomi,为其2003 年一系列收购和整合拉开序幕。显然Yahoo希望拥有自己的搜索技术,而不想继续依赖其他搜索引擎,如 Google。

2003年

     2月18日,Overture 宣布收购 AltaVista。除了广告平台,Overture 也拥有了自己的搜索技术。

     2月25 日,Overture 宣布收购 FAST 的搜索技术部门,FAST 拥有 AllTheWeb.com,也向另一个著名的搜索网站 Lycos 提供搜索数据。Overture 因此拥有了当时两大主要搜索技术公司。

     3月,Google 推出后来被称为 Adsense 的内容广告系统,并向其他内容网站提供广告服务,这也成为很多内容网站的主要收入来源之一。

     7月,Yahoo宣布以16 亿美元的价格收购Overture,将Google 之外的几乎所有主流搜索技术(Inktomi 、AltaVista、FAST)收归旗下。可惜,随着2010 年 Yahoo放弃了自己的搜索技术,并转而使用微软Bing服务,Yahoo以前收购的及自己在此基础上研发多年的按索技术全部无疾而终。Oveure的PPC广告平台被整合,改名为Yahoo Search Marketing。

2003年,微软MSN开始开发自己的搜索引擎技术。此前MSN网站一直使用 Inktomi等搜索技术提供商的搜索数据。

2004 年

      2月,正如所有人预料的,Yahoo在收购了几大搜索公司后推出了自己的搜索引擎。不再使用 Google 数据和技术。

      8月,Google 上市

      1月,微软推出了自己的搜索引擎 MSN Search,不再使用第三方搜索服务.三雄鼎立时代开启。

2005 年

      8月,百度上市

2006 年

      5 月,微软推出类似于Google Adwords 的广告系统 adCenter。

      9月,MSN Search 改名 Live Search.实际上,MSN 网络品牌全部改为Live,并做了大量推广。不过这并没有显著提高微软在搜索市场的份额,Google 仍然一枝独秀。

2007 年

      3月,Google 也开始提供类似网站联盟的按转化付费的广告形式。4月,Google 收购传统网络广告公司 DoubleClick,进入更广泛的网络广告领域。

2009 年

      6月,微软 Live Search 改名为必应(Bing)。

      7月29日,微软和 Yahoo达成历史性协议,Yahoo将逐步放弃自己的搜索技术,使用Bing数据。此前几年,Yahoo始终在困境中挣扎,CEO 几度更换,大股东内讧,搜索市场份额不断下降,终于,Yahoo被自己亲手培养的Google 彻底打败在搜索战场。 Yahoo曾经是英雄,但它的时代正式结束了。

2010 年

      8月25 日,Yahoo开始使用Bing 搜索数据。

2011 年

      2月24日,Google推出旨在减少搜索结果中低质量页面的Panda(熊猫)更新,这对 SEO 业界影响深远。

2012 年

      4月24日,Google 上线Penguin(企鹅)更新,用以打击作弊链接和低质量链接。 Penguin 更新使 SEO 行业对外链制造方法有了全新认识。

      8月,360公司推出了360搜索,并凭借其浏览器的市场占有率,迅速提升了其在国内的搜索引擎市场份额。

     11月,百度站长平台推出外链查询功能,这使百度站长平台真正成为了中国站长必用的 SEO 工具。

2013年

      2月20 日,百度推出绿萝算法,用以打击参与链接买卖的网站。

      5月,百度推出石榴算法,用以打击低质量内容页面。

      6 月,Yahoo关闭了红极一时的 AltaVista。

2014年

       9月,在放弃了自己的搜索技术4年后,Yahoo!宣布将自己赖以起家的网站目录于2014 年底关闭。

2015 年

       2015年上半年的某个时间,Google上线 RankBrain,这是以人工智能为基础的深入理解查询词意义的系统、RankBrain的上线拉开了人工智能广泛应用于搜索的序幕。

       7月,Google上线第29次,也是最后一次进行Panda更新:PandaUpdate4.2、这之后 Panda 成为了 Google 核心算法的一部分,不再推出单独的 Panda 更新。

2016年 9月、Google上线第7次,也是最后一次进行Penguin 更新:Penguin4.0,这之后 Penguin 成为 Google 核心算法的一部分,页面被重新抓取索引后,将实时通过Pengguin算法处理。

2017 年

      10月,Google开始实施移动优先索引(mobile first index),也就是从原来的索引PC页面转为索引移动页面。移动优化成为SEO的重点。

2018年

       3月,Google 的第一次核心算法更新(core algorithm update)上线。核心算法更新,并不针对某类特定问题,而是每年数次较大规模的整体算法更新。

       2003 年以来,搜索领域的技术革新不断,以 Google 为代表的搜索引擎推出了整合搜索、个人化搜索、实时搜索、地图服务、线上文件编辑、网站统计、浏览器、网管工具、超大容量电子邮件、即时通信等多重服务。从总体上看,通常是Google 推出新服务。其他搜索引擎很快跟进。

       2011年至今,Google连续推出的多个版本的熊猫算法和企鹅算法深深地影响了全球 SEO 的思维,促使 SEO 必须更加自然、更强调用户体验。

       在国内,除了上面提到的服务,百度更是创建了百科、知道、贴吧等独特服务。在搜索算法上,百度除了推出针对低质量内容和外链的绿萝算法和石榴算法,还进行了冰桶、蓝天、飓风、清风、惊雷等算法更新。2012年以来,百度对SEO也更加开放,不仅推出了百度站长平台(现已改名为百度资源平台),其中的SEO 工具也在不断增加和改进,而且以各种形式积极参与到与站长和 SEO的对话中,比如参加 SEO 行业大会,并自行在全国范围内组织与站长的对话会,建立站长与百度工程师直接沟通的渠道。

       在国际上,2003年至2009年间,搜索引擎服务商没有大的变化,始终是 Google独占鳌头,Yahoo位居第二,占有不大不小的市场份额,微软 Live/Bing 位列第三,苦苦追赶而不得。2009 年微软推出了 Bing,Yahoo在开始使用 Bing 技术后(严格地说, Yahoo已主动退出搜索引擎市场),不仅放弃了自己的搜索技术,而且其搜索服务的市场份额也持续下降,拱手让出第二的位置。

        据NetMarketShare统计,2019年10月至2020年9月全球搜索引擎市场份额分布如下图所示。

        从上图中可以看出,Google占据83.664%的市场份额,继续居于绝对领先地位,其市场占有率相比几年前还有所提高。由于中国用户数量庞大,百度排在了第二位,但除 了中国,其他国家很少使用百度。Bing所 有的市场份额此时已经超越Yahoo。

        在中文搜索市场,百度独大,Google曾经长期排在第二的位置。2010年,Google在经历风波后退出中国,此后其在中文搜索市 场份额持续下降。 

        据StatCounter统计,2019年百度在中国搜索引擎市场份额的占比为67.09%,搜狗搜索的占比为18.75%,而Google已退至可怜的2.64%,2019年中国搜索引擎市场份额如下图所示。

以上就是今天我们讲到的搜索引擎前世今生


推荐产品

  • 抖音SEO
  • 外贸快车
  • seo按天计费服务
  • Seo整站优化服务
  • 谷歌优化及谷歌广告
  • B2B外贸英文独立站