从事SEO(搜索引擎优化)工作的人可以比喻成搜索引擎的贴身管家，作为一名合格称职的管家必须了解所服务对象的习性、爱好、健康程度等。
SEO服务的对象就是搜索引擎，必须对它的运行规律、工作原理、习性、优缺点等都要铭记在心，多多实践操作，平时实践的越多，经验也就越丰富。
搜索引擎是由人创造出来的，所以也是有理可寻的。搜索引擎工作过程有主要有三段工作流程，爬行抓取、预处理及服务输出。
1、爬行抓取
爬行抓取是搜索引擎工作最重要的一步，把所有需要抓取的地方抓取回来处理分析，因此如果在抓取这部分出了错，后面完全就瘫痪了。
还有一种比较简单的方法让搜索引擎来爬行，自己主动向搜索引擎提交网站，等到一定的时间就会来爬取。不过现在主动提交后再来爬行的速度越来越慢了，最理想的办法还是顺着自然链接来收集比较好。这就需要我们在前期做好蜘蛛爬行的入口，一定要找一个和网站自身相关的入口。
2.链接布局
蜘蛛主要通过爬取页面上的链接来发现新的页面，以此类推不停地十字交叉爬行下去便形成一张蜘蛛网。
只要给蜘蛛足够的时间，无论是广度爬行还是深度爬行都能爬完整个网站。我们做SEO优化就要给蜘蛛节省宽带和资源，毕竟蜘蛛的资源不是无限的，也有满负载的时候，我们所要做的工作就是为蜘蛛指明一条正确的道路，尽量减少蜘蛛的工作。
3.避免网页重复收集
重复收集，从表面意思可以理解为第一次已经收集过之后，又进行了第二次的收集。效率不但没有提高反而增加了带宽的额外开销。
搜索引擎在这方面增加了一个额外的技术，分别定义两个不同类型的表，即“已访问表”和“未访问表”，依靠这个技术就很简单地解决了重复收集的难题。
蜘蛛抓取到一个链接之后，从这两个表中判断这个链接是否已经被访问过，如果没有访问过，抓取回来添加到未访问表中去。
4.收集重要的网页
由于互联网信息实在太多太杂，随着时间的积累不可能将所有的信息都收集起来，所以要尽可能地收集重要的网页。网页信息的重要性是根据信息本身来决定的，从而收集的方式也采用不同的策略。
对网页重要程度的判断也有一些方法可循。整站页面的质量权重度，并非是网站首页权重越高越好，需结合全局来分配权重。
判断一个页面的重要程度可从这四点来检验，基本上能肯定下来这个页面的重要度。目录深度大的页面也并非不重要。
