之前我们给大伙介绍了SEO课程中搜索引擎蜘蛛的抓取方法，大伙可以了解扁平化构造的网站更有益于搜索引擎蜘蛛的抓取，但不了解大伙在SEO网站诊断过程中是不是遇见如此的问题SEO过程中搜索引擎蜘蛛不可以顺利爬行是什么原因
A.服务器连接异常
服务器连接异常有两种状况:一种是站点不稳定,百度搜索引擎蜘蛛尝试连接网站的服务器时岀现暂时没办法连接的状况;另一种是百度搜索引擎蜘蛛一直没办法连接网站的服务器。
导致服务器连接异常是什么原因一般是网站服务器流量过大,超负荷运转,也大概是网站运行不正常。这个时候应检查网站的Web服务器(如 Apache、IS)是不是安装且正常运行,并用浏览器检查主要页面能否正常访问。网站和主机还或许会阻止百度搜索引擎蜘蛛的访问,这个时候需要检查网站和主机的防火墙。
B.互联网运营商异常
国内的互联网运营商主要有电信和联通。假如百度搜索引擎蜘蛛没办法通过电信或联通的互联网访问网站,则需要与互联网运营商联系,购买拥有双线服务的空间,或者购买CDN服务。
C.DNS异常
当百度搜索引擎蜘蛛没办法分析网站的IP地址时会出现DNS异常,这可能是网站地址错误或者域名服务商把百度搜索引擎蜘蛛封禁所致。可以用WHOIS或者host查看网站的IP地址是不是正确且可分析,假如不正确或没办法分析,应与域名注册商联系,更新IP地址。
D.IP封禁
IP封禁是指限制互联网的出口IP地址,禁止该IP段的用法者进行内容访问,在这里特指封禁百度搜索引擎蜘蛛的IP地址。当网站不期望百度搜索引擎蜘蛛访问时,才需要进行该设置。假如期望百度搜索引擎蜘蛛访问网站,应检查有关设置中是不是误添加了百度搜索引擎蜘蛛的IP地址。也大概是网站所在的空间服务商封禁了百度的IP地址,这个时候需要联系服务商更改设置。
E.UA封禁
UA指用户代理( User-Agent),服务器通过UA辨别访问者的身份。当网站针对指定UA的访问出现返回异常页面(如402、500)或跳转到其他页面的状况时,即为UA封禁。当网站不期望百度搜索引擎蜘蛛访问时才需要进行该设置。假如期望百度搜索引擎蜘蛛访问网站,可以查询 User-agent的有关设置中是不是有百度搜索引擎蜘蛛的UA,并准时予以修改。
F.死链
页面已经无效,没办法对用户提供任何有价值信息的页面就是死链,包含协议死链和内容死链两种形式。协议死链,即页面的Tcp/Http协议状况明确表示的死链,容易见到的有404、402、502状况等。内容死链,即服务器返回状况是正常的,但内容已经变更为没有、已删除或需要权限等与原内容无关的信息页面的死链对于死链,大家推荐使用协议死链,并通过百度站长平台—死链工具提交,以便百度更快地发现死链,降低死链对用户及搜索引擎导致的负面影响。
G.异常跳转
将互联网请求重新指向其他地方即为跳转。异常跳转主要有以下几种状况。
a.目前该页面为无效页面(内容已删除、死链等)时,直接跳转到前一级目录或者首页。百度建议站长将该无效页面的入口超链接删除。
b.跳转到出错或者无效页面
H.其他异常
a.针对百度refer的异常:网页针对来自百度的refer返回不同于正常内容的行为。
b.针对百度UA的异常:网页对百度UA返回不同于页面原内容的行为。
c.JS跳转异常:网页加载了百度没办法辨别的JS跳转代码,使得用户通过搜索结果进入页面后发生了跳转的状况。
d.重压过大引起的偶然封禁:百度会依据站点的规模、访问量等信息,自动设定一个适当的抓取重压。但在异常状况下,如重压控制失常时,服务器会依据自己负荷进行保护性的偶然封禁。这样的情况下可以返回异常代码503(其含义是Service Unavailable”),如此百度搜索引擎蜘蛛会过段时间再来尝试抓取这个链接。假如网站已空闲,则会被成功抓取。
新闻标题SEO过程中搜索引擎蜘蛛不可以顺利爬行是什么原因
