百度發佈公告:Baiduspider針對移動抓取user agent(以下簡稱ua)進行瞭升級,與PC端的抓取ua做到版本統一,均稱為Baiduspider/2.0。移動ua和pc ua詳情如下:
新版移動ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;)
AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3
(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
如果robots封禁agent是Baiduspider,會對PC和移動同時生效。
有些代碼適配站點(同一個url,PC ua打開的時候是PC頁,移動ua打開的時候是移動頁),通過設置robots的agent封禁達到隻讓移動Baiduspider抓取的目的,但由於 PC和移動Baiduspider的agent都是Baiduspider,所以這種方法不可取。
之前通過“+http://www.baidu.com/search/spider.html”進行識別的網站需要修改識別方式,新的正確的識別Baiduspider移動ua的方法有:
1. 通過關鍵詞“Android”或者“Mobile”來進行識別,判斷為移動訪問或者抓取。
2. 通過關鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。