網曝百度不顧robots協議擅自抓取微信內容

剛剛收到通知:百度現在已刪除相關內容!

搜狗合作瞭知乎和微信,樂視賈老板傾傢蕩產維護版權,大傢都在努力創造獨傢資源,看到微信獨傢數據,百度這是眼紅得坐不住瞭。

據@郭昂9爆料:百度不顧robots協議擅自抓取微信內容和應用,原文是這樣的:

昨天有點事情忙到晚上,突然碰到瞭一個搜狗的哥們跟我抱怨平安夜還要被迫加班,想到很久沒見,想一起吃個宵夜但是沒有實現,說是忙不過來,今天又詳細的瞭解瞭一下,原來微信公眾號的數據被百度不顧robots協議大量的抓取和應用,他不得不處理反抓到凌晨,搞得平安夜都隻能陪著看”百度spider“度過。雖然自己的微博荒廢瞭很久,但還是不吐為快。

背景是這樣子的,微信做瞭公眾賬號後,積累瞭大量高質量的作者和文章,養成瞭很大一批用戶的閱讀習慣。騰訊投資搜狗,開放微信數據供搜狗搜索獨傢使用,這部分數據對用戶瀏覽和閱讀需求的滿足,能起到很大的幫助,也算是在搜索體驗趨向於同質化的今天,能有效的帶來“差異化”的體驗點。所以,搜索靠騰訊的資源,將微信的公眾號文章嵌入瞭搜狗搜索中,還開發瞭基於公眾號的推薦應用微信頭條。

當然,這種優質的獨傢數據是要進行獨傢保護的,搜狗也就用瞭搜索引擎常用的robots協議,對相應目錄進行瞭限制,不允許其他搜索引擎抓取。關於robots協議,這是搜索引擎行業約定俗成的行規,可以限制其他搜索引擎抓取和索引相應內容。

網曝百度不顧robots協議擅自抓取微信內容 微信 百度 SEO新聞 微新聞 第1張

搜狗搜索的爬蟲協議對網站抓取內容的范圍是做瞭明確規定的,百度爬蟲沒有任何權利抓取搜狗獨傢微信內容資源,這是事實。

0
评论