258集团搜索引擎的爬虫

由 wgb320330 2014-04-25, 11:39

什么是SEO
了解了搜索引擎的基本工作方式和原理，我们才能更轻松的掌握SEO。SEO的英文是Search Engine Optimization，中文叫“搜索引擎优化”，是一种利用搜索引擎的搜索规则来提高网站在搜索引擎内的排名的网站推广方式，也就是为了从搜索引擎中获得更多的免费访客，优化操作者从网站结构、网站内容、用户互动、页面等角度进行合理规划，使网站更适合搜索引擎的检索规则的行为。

使网站更适合搜索引擎的检索原则又被称为对搜索引擎友好，对搜索引擎友好不仅能够提高SEO的效果，还能提高用户体验，因为这样会使搜索引擎中显示的网站相关信息对用户来说更具有吸引力。这也是搜索引擎不会跟SEO行为有矛盾的根本，当然，过度的SEO就是对搜索引擎的作弊，那结果是相反的。当然，我们会反复强调，最厉害的搜索引擎优化就是做出让大家会喜欢的网站，因为用户会喜欢，搜索引擎爬虫自然会喜欢来光顾，搜索结果自然也会被更多的用户点击。

1、适度优化：
由于各个搜索引擎的权重算法不同，所以严格来说，并没有通用的搜索引擎优化技巧，业界也没有所谓的真正的搜索引擎优化通用法则。

我们强调一个至高的原则那就是：“提供优秀的网站给用户是最高级别的搜索引擎优化”。为什么这样说呢？因为搜索引擎不管从爬虫开始还是权重算法还是检索结果，每个过程都有无数的技术细节在做预先处理，而每个复杂的过程都是由机器算法来控制的，很少有人工干预的过程，我们叫“搜索引擎的自思考处理”。

比如爬虫，我们很清楚一个优秀的搜索引擎的爬虫类似达到3-4岁小孩的智商，因此你如果提供好的网站，则爬虫就喜欢你；如果你骗他，他就生气了，以后就不来了；他不来了，自然你就没有快照了；甚至彻底生气了，你骗了爬虫，还骗了搜索用户，则可能干脆连以前抓取的网页也从索引库里删除了。

所以，搜索引擎优化要适度，如果过分的强调对搜索引擎的优化而忽视了用户真实感受，就成了作弊。

另外，搜索引擎排序算法是不断改进变更的，排序算法的更改会直接导致网站在搜索引擎上排名的变化，所以搜索引擎优化并非一劳永逸的事情，而是需要不断改善和改进的过程，包括进行日常的网站原创文章更新和外链拓展等都是日常必不可少的。由于一般的传统企业并没有办法承受专业的SEO优化团队，进行每日的优化维护，所以，SEO这个行业的能长期发展和存在也是有依据的，特别是类似最优排名这种按天付费的标准化SEO服务模式，得到市场的青睐也是必然的结果。

2、搜索引擎不欢迎的网站：

了解网站对搜索引擎的友好度之前，要先了解哪些是对搜索引擎不友好的网站，这样才能更清晰的认识SEO的根本：如下类型的网站是对搜索引擎不友好的，也就是说，如下的网站对搜索引擎的爬虫或搜索引擎本身是不欢迎的，我们在为企业建设网站时务必要实现考虑并注意规避。

1网站内容太少，有的页面只有几个文字，或几乎没有文字，或者纯粹的图片或FLASH动画作为主要内容的网站等；如同让这个只有3-4岁智商的爬虫小孩，去读一本只有文字的哲学书一样，小孩肯定不喜欢。

2网站缺少原创的内容，完全抄袭别人的内容或复制别人的内容简单打乱顺序等；小孩都知道，你这东西别人已经有了，也就不喜欢看了。

3网站栏目导航混乱，让爬虫进不去或出不来，让搜索引擎看不懂的；搞晕小孩的结果，就是小孩不再去尝试了。

4大量动态网页复杂网址让搜索引擎无法识别的；让这个爬虫小孩看傻了。

5网页没有标题，没有描述，或者标题中没有包含相应的关键词；让人看不懂你到底是做什么的，没有核心提示。

6网站中存在大量欺骗爬虫或搜索引擎的垃圾信息，比如关键词堆积等；

7网页正文中没有包含对应的关键词或关键词比较占比太少；

8没有有效的外部“社会”导入链接，让爬虫无法找到或搜索引擎认为没有“社会价值”；

9网站经常打不开，或访问很慢，或被人攻击导致有木马或恶性广告或恶性外部链接的（那些赌博之类网站链接就是恶性的）
www.258.com

周一	周二	周三	周四	周五	周六	周日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31