robots协议或者说robots文件对搜索引擎优化中非常重要,但设置出错可能会导致收录下降或不能正常收录。
一、robots被封禁的问题来源
小小课堂SEO自学网为WordPress博客,前几天弄了个“SEO问答”的栏目,是由一个新的CMS系统创建而成的,而这个系统是动态URL,未做伪静态处理。
从上可以看出除了SEO问答首页,其余的都是带问号的,然而,WordPress根目录的robots.txt中包含了以下一条:
Disallow: /*?*
因为这一条的意思是禁止访问网站中所有包含问号(?) 的网址,所以上面的那些带问号的URL就被禁止搜索引擎抓取了。
二、解除Robots封禁全过程
小小课堂SEO自学网解除robots文件协议的全过程如下:
① 去掉robots禁止抓取的规则
也就是去掉Disallow: /*?* 。
大型站长资讯类网站! https://www.0739zz.cn