何謂移動爬網器?

我希望你花點時間專注於這張圖表。注意有三類:

Mobile Unique:藍條表示移動機器人發現的獨特項目
獨特桌面:橙色條代表桌面機器人發現的獨特項目
共享:灰色條代表兩者都找到的項目
還要注意到有四個測試:

發現的網址數量
發現的域數
發現的鏈接數量
發現根鏈接域的數量
現在這裡是關鍵點,它非常大。與台式機和移動爬網器共享的URL相比,桌面爬網結果所獨有的更多URL,域,鏈接和根鏈接域是唯一的。橙色的酒吧總是比灰色高。這意味著,通過爬網的第二級別,大多數鏈接關係,頁面和域在索引中是不同的。這是巨大的。正如我們已經知道的那樣,這是鏈接圖中的根本性轉變。

而現在對於一個大問題,我們都關心最外部的鏈接。

高達63%的外部鏈接對桌面爬蟲來說是獨一無二的。在僅限移動設備的爬行世界中,外部鏈接的總數減半。

微觀層面發生了什麼?
那麼,究竟是什麼導致了這種巨大的差距呢?那麼,我們知道這與使一個網站“移動友好”的幾個常見捷徑有關,其中包括:

具有較少鏈接或功能的內容的子域版本
用戶代理檢測插件刪除鏈接和功能
當然,這些更改可能會使用戶的體驗更好,但它確實為機器人創造了不同的體驗。讓我們仔細觀察一個網站,看看它是如何發揮的。

根據Google,該網站擁有約10,000個網頁,並且根據新的seo鏈路資源管理器擁有72和22,670個域名權威機構。但是,該網站使用了一個流行的WordPress插件,它將內容縮寫為網站上的文章和頁面,從類別頁面上的文章中的描述中刪除鏈接,並從側欄和頁腳中刪除大多數(如果不是全部)無關鏈接。這個特定的插件用於超過200,000個網站。那麼,當我們用Screaming Frog啟動六級深度爬行時會發生什麼? (這對於這種分析非常有用,因為我們可以輕鬆更改用戶代理並限制設置以抓取HTML內容。)

差異是令人震驚的。首先,請注意,在左側的移動抓取中,每頁的鏈接數量顯然較少,並且您在網站的更深層次抓取時鏈接數量非常穩定。這就是產生如此穩定的指數增長曲線的原因。其次,請注意,抓取突然結束於第四級。該網站只是沒有更多的頁面提供移動爬蟲! Google報導的〜10,000頁中只有約3,000個被發現。

現在,將其與桌面爬蟲進行比較。它在第2級以頁面形式爆炸,僅收集這一級別的移動爬網總頁數的將近兩倍。現在,回想一下圖表,在我們抓取20,000個網站時,有更多獨特的桌面頁面比共享頁面更多。這是確切的情況。最終,6倍的內容在爬網深度相同的水平上可用於桌面爬蟲。

但是這對外部鏈接有什麼影響?

哇。移動版本中有75%的外部鏈接被剔除。在桌面版本中發現4,905個外部鏈接,而在手機中只發現了1,162個。請記住,這是一個擁有超過兩萬個推薦域的DA 72網站。想像一下因為移動索引不再找到反向鏈接而丟失該鏈接。我們應該做什麼?天空在下降嗎?

深吸一口氣
移動優先不是移動專用的
所有這些研究的第一個重要警告是,谷歌並沒有放棄在桌面上 – 他們只是優先考慮移動爬行。這很有意義,因為大部分搜索流量現在都是移動的。如果谷歌希望確保提供高質量的移動內容,他們需要改變抓取優先級。但是他們也有相互競爭的內容查找需求,只要網站管理員繼續縮短其網站的移動版本,就需要使用桌面爬蟲。
谷歌並沒有失去這一現實。在官方谷歌手機首次公告中,他們寫道……

如果您正在構建網站的移動版本,請記住,功能性面向桌面的網站可能比網站的損壞或不完整的移動版本更好。
Google花時間說明桌面版本比“不完整的移動版本”更好。我不打算過多地閱讀這個聲明,除了說Google想要一個完整的移動版本,而不僅僅是一張明信片。

良好的鏈接安置將佔上風
我的研究的一個軼事結果是,傾向於在移動版本中剔除的外部鏈接通常直接放置在con