网站有静态页面和动态页面之分。
静态URL又称为静态页面,是一个固定的网址,不包含任何参数或代码,通常以“.html”“.htm”“.xml”“.shtml”为后缀的结尾。动态URL又称为动态页面,通常以“.asps”“.asp”“.jsp”“.php”“.perl”“.cgi”等后缀结尾,在页面的URL中也会包含一些特殊符号,例如:“?”“&”“=”等等。
1、无限循环动态页面
例如:飞机订票网站,提供根据时间查询机票信息的功能,网站在编写程序的时候,会使用万年历功能,如果搜索引擎一直跟踪上面的链接,就会不停的抓取下一个页面,从而陷入无尽的循环中,就像百度镜像一样,而每个页面并没有实际的变化,这样就会影响搜索引擎的抓取效率。
2、重复动态页面
重复动态页面是指相同的内容对应不同的动态链接。动态页面会产生重复页面链接,而搜索引擎对于这种情况也会重复抓取,这样会造成搜索引擎的资源浪费。如果是静态页面,就不会产生重复页面。