Google 即時抓新網頁
今天看到了一篇文章,講說當有新文章發表時,Google 會即時抓部落格首頁 (該作者說 11 分鐘)。剛好我正要發表有關 Google Analytics 報告延遲的事情,所以我就藉這個機會來實地測試一下。
結果是,該篇文章發表後,3分鐘後可以從 Google Blog Search 中找到,13分鐘後可以從 Google Web Search 中找到。這真的是有夠快!所以,孤狗大神不只是擁有一大堆資訊,同時它抓資訊的速度也是十分驚人。
至於雅虎和MSN呢?在文章發表一個小時後,從雅虎搜尋內仍然沒有找到該文章。MSN 就不用講了;連再前面的一篇文章 (客串部落客) 都還沒有進它的索引呢!
[後記:這一篇文章是在 15 分鐘後能夠從 Google Web Search 找到。]



這裡說的幾分鐘之後, 那個引擎會捉到新寫的文,
請注意, 除非有主動的 ping 引擎的功能, 或者是正好 爬虫來訪的時間差, 或這爬虫正好去拜訪了有連向這一 blog 的另一 Blog.
時間差的因素上頭, 許多是因為巧合. 不好這樣的以幾分鐘就來論斷.
除非, 另有程式 ping 向引擎, 又引擎也接受 ping, 那就另當別論.
像 technorati 是可 ping 的. 寫完一篇馬上 ping 它. 保證幾秒鐘之後, 就被登錄了.
依據我自己看到的,
以及網路上許多人的討論,
這不只是巧合而已。
Google 怎麼做到的,
我並不知道。
一個可能是由於現在 Google 買了 Feedburner,
所以當 Feedburner 探測到有新的文章出現,
Googlebot 就會來抓資料,
並且馬上放入索引中。