作为一个合格的SEO工作者，在优化网站的时候，除了要从人的角度去做好网站的体验度、访问便捷性、内容的实用性，同时要兼顾到搜索引擎的需求，要知道搜索引擎要解决什么问题、它会有哪些困难、有哪些限制、需要得到什么要的帮助，这就是我们今天要讨论的了解搜索引擎面对的5大挑战。

       搜索引擎系统是最复杂的系统之一，现在主流的如谷歌、百度、bing、yandex等服务商都是集人力、物力、财力于一身的，但即便是这样，搜索引擎也面临很多的挑战，总体来讲，有以下几方面的挑战。

       1.抓取页面时要快而且全面

       互联网是一个动态的环境，每天都会有无数的页面被更新、再编辑，在创建。无数的用户在网站上发布内容，沟通联系、查询信息。要想返回实时有用的信息，搜索引擎就需要抓取最新的页面，调取合适的内容。这是一个海量的数据，技术上要处理很多问题：网页有利于蜘蛛爬行跟抓取吗？网接结构存在哪些缺陷，使用flash,javascript脚本、或者把内容放在用户必须登入以后才能访问的部分......都是加强搜索引擎处理问题的难度。

      2. 海量数据存储

       一些大型的网站，比如：阿里巴巴，中国制造等，一个网站就有几百万，上千万，甚至上亿个页面，试想下，网上所有的网站加在一起的网页，是一个什么样规模的数据。搜索引擎蜘蛛抓取页面后，还得存储这些数据，且数据的结构必须合理，具备极高的扩展性，这对写入和访问速度要求很高。

       当然，除了数据，搜索引擎还需要存储页面之间链接的关系及大量的历史数据，这样的数据量是无法想象的。

       所以，我们经常在搜索结果页里面看到，排名会没有明显原因的上下波动，可能是刷新下页面，就会出现不一样的排名，甚至网站的数据丢失了，这些情况有时候跟大规模的数据存储，同步技术难题有关。

       3. 索引处理要快速有效，并且要具扩展性

       搜索引擎将页面数据抓取和存储后，接下来就是索引的处理，链接关系的计算，正向索引，倒排索引等等。由于数据库里的数据庞大，进行PR值之类的迭代计算也是非常耗时耗力的。要想提供相关度高又实时的搜索结果，仅靠抓取存储是没有用的，还必须进行大量的复杂的计算，由于随时都有新的页面出现，索引就必须具有扩展性。

       当数据量不大的时候，正常的抓取、存储和索引计算都不是问题，但当数据达达难以想象的规模时，对技术的要求就非常的高，即使是大公司，有人力，财力，技术，要想完全避免错误，是不可能的。

        4.查询处理快速有效

        查询是普通用户唯一可以看到搜索引擎在工作状态的，用户在搜索框输入关键词，点击搜索按钮开始，通常是不到1秒钟，搜索结果页面就会展示出相关度高，实用的数据。表面上看，这个动作非常的简单，但其实，涉及了非常复杂的后台计算。

        在最后的展示阶段，另外一个难题就是速度。如何在不到1秒钟的时间内，从海量的网页中，找到访问者需要的，实用的，靠谱的信息，对搜索引擎是一个非常大的挑战。

        5.准确判断用户的搜索意图

        上面提到的四点，搜索引擎现在都可以很好的处理。为了进一步提高搜索结果的质量，近年来，搜索引擎非常关注用户的搜索意图。不同用户搜索相同的关键词，查询的信息可能是不一样的，比如搜索苹果，是要了解水果呢还是需要了解苹果手机呢？又比如输入江西 上海 车票，是要知道江西到上海的车票还是要知道上海到江西的车票？等等。没有上下文，没有对用户搜索习惯的了解，就很难理解用户的搜索意图。

        基于以上搜索引擎面对的5大挑战，SEO工作人员只有帮助搜索引擎客服这些困难，或者说很好的避开这些难点，才能获得更好的效果。