内容型网站面向搜索引擎蜘蛛和搜索用户的优化
From: http://www.chedong.com/blog/archives/001475.html
by: 车东
面向机器的抓取优化
1 缺省域名唯一化：缺省foobar.com 设置301跳转到 www.foobar.com 一方面减少搜索引擎页面消重的负担，一方面可以将针对相同内容的反向链接权重汇总。对于缺省使用https访问的网站，如果不跳转（比如以前的支付宝），往往还会有浏览器提示安全证书路径不匹配的问题； 另外： 在Google Webmaster tools中也有缺省域名的配置；
2 被遗忘的流量：想办法搜集域名解析失败和拼写错误导致的流量流失；曾经启用过的域名，就尽量不要删除，一直保留并设置转向到最新的地址；有渠道取到DNS的这种记录吗？
3 404页面的运营：返回hard 404(返回http header而不是html 404 header)，统计并跟踪带有referer的404日志，修正这些问题；
4 节省HEAD类请求：对于一些蜘蛛（主要是百度蜘蛛），经常使用head请求来检查旧链接的有效性，启示可以针对这些请求做直接返回304处理，以节省服务器的处理资源；
5 永久转向：避免302，转向尽量使用301到最终地址；
6 重视站内搜索： 利用搜索做内容之间的关联和发现，每篇文章提供相关文章等功能；而能解析出搜索来源关键词的404访问尤其应该通过站内搜索为用户提供其他可选内容。
7 利用google webmaster tools等跟踪收录和错误抓取问题并及时修正；
8 归档页面URL标准化：虽说搜索引擎声称动态页面和静态页面收录和RANK不受影响，但为了方便管理，最好还是将内容页面尽量标准化成静态地址，并页面中尽量加上唯一化的地址，减少搜索引擎抓到相同内容的不同链接后消重的麻烦，比如各种论坛的内页： <link rel="canonical" href="http://www.example.com/discuz/thread-405413-1-2.html" />
面向用户的内容优化
1 自身主动检查spam，防止大量的镜像内容，搜索引擎对于spam处理不利的站点，往往也只好使用整体降权的方式；
2 避免用户因为使用第三方计数器，JS小功能（比如：样式很炫的用户鼠标指针等）被植入病毒木马，Google会向比较严重的站点的webmaster@信箱发送邮件提醒相关问题，所以这个邮箱一定要创建并定期查看；
3 结构化数据源： RSS、sitemaps归档入口，而最高效率的是利用各种ping接口将最新内容即时发送给搜索引擎（最近百度也都支持相应接口和协议了）；
4 重视标题和meta description在搜索结果页上的可读性： meta description不参与排序，但良好的标题和meta description往往比纯算法提示出来的摘要更接近用户目标，在现有排名位置下，争取吸引用户更多的点击也是一个有效的策略；
5 应有的反向链接的获得： 主动加上版权声明。