360搜索蜘蛛启动:360Spider正式开爬

8月27日,360综合搜索正式推出360搜索蜘蛛——360Spider,如果您希望自己的网站被360综合搜索收录,请检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取您的网站内容。如果您的网站还没有允许360搜索蜘蛛抓取,只要在robots.txt 文件中添加下面的代码就可以啦:

User-Agent:360Spider

Allow:/

这段代码的意思是容许360蜘蛛访问,是官方提供的代码。考虑到其他搜索引,建议robots.txt容许所有蜘蛛访问,建议这样写,如果你的网站之前是这样设置的可以不管。如果网站设置了robots协议,同时又希望360搜索收录,需要添加;如果网站没有设置robots协议,就不需要添加了。

User-Agent: *

相关文章:

360综合搜索的流量惊人 已超越搜狗

360搜索引擎杀回来了

极具竞争力的360综合搜索

百度对360搜索的反击 3B大战拉开帷幕