百度站长平台刚刚发布了一个小技巧：巧用robots避免蜘蛛黑洞。好比很多网站都有遴选功能，经由过程遴选功能产生的网页经常会被搜刮引擎大量抓取，而这此中很大一部分检索价值不高。如“500-1000之间价格的租房”，起首网站(包含现实中上基本没有相关资源，其次站内用户和搜刮引擎用户都没有这种检索习惯。这种网页被搜刮引擎大量抓取，只能是占用网站贵重的抓取配额。

域名注册那么该若何避免这种环境呢?我们以北京某团购网站为例，看看该网站是若何操纵robots奇妙避免这种蜘蛛黑洞的：对于通俗的遴选结果页，该网站选择利用静态链接，如： /*?* ，即禁止搜刮引擎访问网站中所有的动态页面。该网站正是经由过程这种方式，对Baiduspider优先展示高质量页面、樊篱了低质量页面。

为Baiduspider供给了更友好的网站结构，避免了黑洞的形成。扩展阅读：蜘蛛黑洞特指网站经由过程极低的成本制造出大量参数过多，及内容雷同但具体参数分歧的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的倒是无效网页。