当前位置: 首页> SEO资讯> Seo搜索引擎蜘蛛抓不住的原因是什么?
Seo搜索引擎蜘蛛抓不住的原因是什么?
来源:中山SEO优化 发布日期:2020-05-16 15:00:51

有些网页质量很高,用户可以正常访问,但搜索引擎蜘蛛无法正常访问和抓取,导致搜索结果覆盖率不足,这是搜索引擎对网站的损失。百度称这种情况为“抢占例外”。百度搜索引擎会考虑大量内容无法正常获取的网站在用户体验上存在缺陷,降低对网站的评价。在抓取、索引和排序方面,百度搜索引擎将受到一定程度的负面影响,终影响到网站从百度获得的流量。

服务器连接异常有两种情况:一是网站不稳定,搜索引擎蜘蛛在尝试连接时暂时无法连接到您网站的服务器;二是搜索引擎蜘蛛已经无法连接到您网站的服务器。

服务器连接异常的原因通常是您的网站服务器太大和过载。您的网站也可能运行不正常。请检查网站的web服务器(如Apache、IIS)是否正常安装和运行,并使用浏览器检查主页面是否可以正常访问。您的网站和主机也可能会阻止搜索引擎蜘蛛的访问。你需要检查网站和主机的防火墙。

网络运营商分为电信和联通。搜索引擎蜘蛛无法通过电信或网通访问您的网站。如果发生这种情况,您需要联系网络服务提供商,或购买空间与二线服务或CDN服务。

当搜索引擎蜘蛛无法解析您网站的IP地址时,将出现DNS异常。也许你的网站IP地址不对,或者域名服务提供商禁止了搜索引擎蜘蛛。请使用whois或host检查您网站的IP地址是否正确和可解析。如果没有,请联系域名注册商更新您的IP地址。

IP阻塞:限制网络的导出IP地址,禁止该IP段的用户访问内容。这里,它具体指的是搜索引擎蜘蛛IP的阻塞。仅当您不希望搜索引擎蜘蛛访问您的网站时,才需要此设置。如果您希望搜索引擎蜘蛛访问您的网站,请检查是否在相关设置中错误添加了搜索引擎蜘蛛的IP地址。你的网站所在的空间服务提供商也有可能禁止百度IP。此时,您需要联系服务提供商以更改设置。

UA是用户代理。服务器通过UA识别访客的身份。当一个网站访问一个指定的UA并返回一个异常页面(如403500)或跳转到另一个页面时,称为UA阻塞。要了解SEO,你可以在开头使用小写字母M,在后面使用小写字母M。当您不希望搜索引擎蜘蛛访问您的网站时,您需要此设置。如果你想让搜索引擎蜘蛛访问你的网站,在useragent的相关设置中是否有搜索引擎蜘蛛UA,并及时修改。

页面无效,无法向用户提供任何有价值信息的页面为死链接,包括协议死链和内容死链。

页面的TCP protocol status/HTTP protocol status清楚地表示死链,如404、403、503等。

内容死链:服务器返回的状态正常,但内容已更改为不存在、已删除或需要权限的信息页,与原始内容无关。

对于死链,我们建议网站使用协议死链,通过百度站长平台死链工具提交给百度,这样百度可以更快地找到死链,减少死链对用户和搜索引擎的负面影响。

将网络请求重定向到另一个位置是一个跳转。异常跳转指以下情况:

1) 目前,该页面无效(内容已被删除、死链等),直接跳转到上一个目录或首页,百度建议站长删除该无效页面的入口超链接

注:如果长期跳转到其他域名,如在网站上更改域名,百度建议使用301跳转协议进行设置。

其他例外情况:

1) 对于百度推荐人的例外情况:网页返回的行为与百度推荐人的正常内容不同。

2) 对于Baidu-UA的例外:返回Baidu-UA的网页行为与页面的原始内容不同。

3) JS跳转异常:页面加载了百度无法识别的JS跳转代码,这使得用户通过搜索结果进入页面后跳转。

4) 压力过大导致的意外阻塞:百度会根据网站规模、访问量等信息自动设置合理的压力进行抓取。但在压力控制异常等异常情况下,服务器会根据自身负载进行保护意外闭锁。在这种情况下,请在返回代码中返回503(意思是“服务不可用”),以便搜索引擎蜘蛛在一段时间后再次尝试获取链接。如果该网站处于空闲状态,则将成功获取该网站。

在线咨询 电话咨询