凡是利于用户浏览的网站，也是利于搜索引擎蜘蛛爬行的网站

根据搜索引擎的工作原理，只有当网站的内容被搜索引擎捕获并收录进来，才能具备关键词排名的条件，这样我们的网站才能获得更多的免费流量，最终达成交易。

一、 网站结构简单

蜘蛛抓取相当于遍历网络的有向图，所以一个结构简单清晰的网站一定是符合搜索引擎品味的网站，并尽量保证蜘蛛的可读性。

1、较好的树形结构是“主页频道详情页”；

2、从平面主页到细节页面的层次尽可能少，便于抓取，能够很好的转移权重。

3、Mesh保证每个页面至少有一个文本链接点，使网站尽可能全面地被捕获和包含，内部的链结构也能对排序起到积极的作用。

4、导航为每个页面添加导航，以便用户可以知道路径。

5、相信很多站长对子域和目录的选择有疑问。我们认为，当内容小，相关性强时，建议以目录的形式实现，有利于权值的继承和收敛；当内部容量大，与主机相关性稍差时，建议以子域的形式实现。

二、 简单漂亮的URL规则

1、在众多的网站中，相同的内容页只对应于唯一的URL。过多的URL会分散页面的权重，系统会过滤目标URL；

2、将简洁的动态参数最小化，以确保URL尽可能短；

3、美学使用户和机器能够通过URL判断页面内容的主旨；

推荐以下URL的形式：URL应该尽可能短并且容易阅读，这样用户可以快速理解，例如使用拼音作为目录名；相同的内容只产生一个与它对应的URL在系统中，去除无意义的参数；如果无法保证URL的唯一性，请尝试对目标URL使用不同形式的url301；防止用户在主域中键入错误的一级域301。

凡是利于用户浏览的网站，也是利于搜索引擎蜘蛛爬行的网站

三、 其他注意事项

1、不要忽视那些不幸的robots文件。默认情况下，一些系统机器人被禁用的搜索引擎截获。网站建立后，及时检查并编写相应的机器人文件，在网站日常维护过程中注意定期检查；

2、建立网站站点地图文件和死链文件，并及时通过百度站长平台提交；

3、一些电子商务网站存在区域跳跃的问题。建议统一页面，标识页面中是否有商品。如果此区域没有商品，将返回无效页面。由于蜘蛛出口有限，不包括正常页面；

4、合理利用站长平台提供的机器人、站点地图、索引量、抓取压力、死链提交、网站改版等工具。