繼上次頭條搜索暴力爬取網站信息後,華為移動搜索AspiegelBot爬蟲近日也被站長發現開始高頻抓爬網站信息,就和站長頭條差不多。
瞭解到,這個AspiegelBot爬蟲主要模擬安卓機進行抓爬 , UA標識符裡也沒有標註爬蟲所屬公司信息,顯然不想讓人發現,後面有站長深挖才發現這個爬蟲屬華為搜索旗下的AspiegelBot公司,並且AspiegelBot的爬蟲超高頻抓取甚至堪比上次的頭條爬蟲的暴力抓取,很多被爬的一些小網站很多直接癱瘓,開始屏蔽華為搜索AspiegelBot爬蟲的訪問。
有站長表示: 這次華為移動搜索AspiegelBot爬蟲高頻爬取跟就和站長頭條差不多,也是大量抓取網站信息,一般搜索引擎隻有開始大量建立索引庫才會這麼玩,跟剛上線時的頭條搜索一個套路,看來華為搜索也是要準備進場瞭!