封鎖搜尋引擎 spiders 而成功的例子
這一陣子，網路上有不少人討論無名透過 robots.txt 來不讓搜尋引擎爬內容這件事 (現在無名已經將該 robots.txt 拿掉，所以搜尋引擎的 spider 又可以爬無名的內容了)。許多人的第一個反應，就是無名這個做法不異為揮刀自宮，最後會導致無名的失敗。
對絕大部分的網站來說，這個觀點是完全正確的；不過，這也有例外。老貓在這裡要舉出兩個不讓搜尋引擎爬內容而成功的例子。
1. Facebook.com。Facebook 是現在全世界最熱門的社群網站。該站是完全不讓搜尋引擎抓它們的內容 (除非網友特別設定一個公開的網頁 — 而且那網頁的內容是極有限的)。這其實是個好事：我在上面有哪些朋友、我的聯絡方式、朋友的聯絡方式等資料，我並不希望讓人去 Google 一查就能看到。
社群網站也不是一定要這樣做才會成功。另一個社群網站 LinkedIn，就跟 Facebook 採取完全不一樣的措施。LinkedIn 不旦開放內容給搜尋引擎爬，它還下了很大的功夫在 SEO 上面。這是有道理的：老貓在 LinkedIn 上建一個自己的簡介，目的主要就是找到工作上的機會，那越多人能看到是越好。老貓在 Facebook 內的內容，就不會希望所有人都可以看到， 當然，LinkedIn是一個職業社群，而 Facebook 是一個私人社群，所以會有不同的政策是正常的。
2. 韓國的網站：Naver、Daum、Nate。在網路世界上，韓國算是一個異數：在韓國，最大的三個網站都是韓國本土的網站，分別是 Naver、Daum、Nate。前三大站都是本土的網站，除了美國之外，就只有韓國跟蘇俄了。怎麼會這樣呢？來看 Naver 的例子好了。Naver 是怎樣坐上第一名的寶座呢？一個很大的原因就是，由於它的知識內容最多，而它又不讓別的搜尋引擎去爬，因此網友想要找知識就一定要到 Naver 的網站去找。這也因此造成它的崛起。所以，如果一個網站在某個市場上佔有壓倒性的優勢，那它便可以不讓搜尋引擎有它的內容，而因而促使訪客直接到該站去。
標籤: Tags: robots.txt, spiders, 封鎖搜尋引擎
貓大您好~~請問您一下喔那網頁寫入這樣還是這樣才會增加搜尋的機會與排名呢?或是如何寫入? 希望設定就是讓robot全站網頁都能跑~~另外是盡量不要加會比較好是嗎?
沒有加分效果反而可能會被認為作弊這樣對嗎?小弟有先仔細爬過您的文再抱歉請教您的專業喔~~~
貓大您好~~請問您一下喔那網頁寫入這樣meta name=”robots” content=
“index, follow” /還是這樣meta name=”robots” content=”all” /才會增加搜尋的機會與排名呢?或是如何寫入? 希望設定就是讓robot全站網頁都能跑~~另外是盡量不要加會meta keyword比較好是嗎?
沒有加分效果反而可能會被認為作弊這樣對嗎?小弟有先仔細爬過您的文再抱歉請教您的專業喔~~~
抱歉前篇文沒有打好~~~
你講的這兩種方法都可以用，
不過都是沒有必要的。
因為如果你沒有寫 meta robots，
搜尋引擎就會當作你要讓它爬。
加上也不算是錯，
可是並沒有任何作用。
Meta keywords 我不建議加，
原因就是你列出的。