功能测试
深圳SEO悦鹜博客首页 > SEO > 正文

蛛蛛绕过网站不抓取的原因简述

发布-YUEWU.ORG | 查看- | 发表时间-2012/9/23
        可能有站长在网站优化的过程中,查看网站日志时,发现每天都有蜘蛛来访,而且来访的次数也很多,但却没有抓取任何的内容,是什么原因让蜘蛛绕过了网站呢?
一、框架结构。
        使用框结构设计网页流行于互联网诞生初期,但是由于不便于搜索引擎蜘蛛的抓取而被抛弃。在做网站优化时,应当完全摒弃框架结构,甚至不需要了解。
二、必须登录浏览网站。
        很多网站有部分甚至全部内容需要注册登陆后才能浏览,大部分社会化媒体(如sns网站、微博等)即是如此。但是你必须要知道,搜索引擎蜘蛛不会填写用户名密码,更不会注册。
三、死链。
   通俗的讲,死链就是无法打开的链接。搜索引擎蜘蛛如果在网站内爬行,却屡屡遭受无法打开页面的煎熬。显然,如此一来该网站对于搜索引擎蜘蛛来说正在逐渐的失去信任。我们要通过工具检测出所有的死链,然后做出相关处理,删除或用robots.txt来屏蔽。
四、各种跳转。
   这个指的是通过不同的技术或指令,自动将一个网页跳转到另一个网页。目前搜索引擎比较支持的是301跳转,但是这往往被一些作弊的人员所利用,从而导致搜索引擎蜘蛛对其比较敏感。
五、flash动画。
   很多网站都会在页面上添加大量flash动画,但是搜索引擎蜘蛛说到底只是一个程序,它不能像人一样观看老姐flash动画的内容。虽然搜索引擎一直在这方面努力,但是以目前的搜索引擎蜘蛛技术还不能完全有效的抓取flash的内容。另外,如果在网站上出现了flash动画,搜索引擎都建议添加相应的文字描述,以便搜索引擎蜘蛛较直观的了解flash动画内容。
六、js代码。
   js代码也是目前搜索引擎抓取比较困难的内容,大量的js会严重影响搜索引擎蜘蛛抓取的速度。所以,网站优化时要尽量避免,或者少用js代码。
更多

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章
最近评论
访客留言
版权所有 Copyright(C)2011-2017 悦鹜博客 | 深圳SEO | 网站优化 | SEO入门笔记