网站搭建
如何设置robots来避免蜘蛛黑洞
发布时间：2021/7/24 17:13:29 点击：
对于百度搜索引擎来说，蜘蛛黑洞是指网站以极低的成本创建大量参数过多、内容相同但具体参数不同的动态URL。它就像一个无限的圆形“黑洞”困住了蜘蛛。Baiduspider浪费了大量的资源，抓取了无效的web页面。
例如，许多网站都有筛选功能。通过筛选功能生成的网页往往被搜索引擎捕获，其中很大一部分具有较低的检索价值，如“以500-1000的价格出租房屋”。首先，网站（包括现实中的）基本上没有相关资源。其次，站内用户和搜索引擎用户没有这种检索习惯。这类网页是由搜索引擎进行抓取的，只能占用网站宝贵的抓取配额。那么如何避免这种情况呢？
robots.txt的文件用法中有一个规则：disallow:/*？*，也就是说，禁止搜索引擎访问网站中的所有动态页面。这样，网站优先显示高质量页面，屏蔽低质量页面，为Baiduspider提供了更加友好的网站结构，避免了黑洞的形成。
