記者鍾翠玲/台北報導 08/10/2007
雅虎旗下的無名小站據信設下了系統限制,使雅虎以外的搜尋服務都無法搜尋到該站上的部落格或相簿。
無名小站部落格、相簿的使用者上周發現,無名小站做了一些修改,讓Google、MSN等搜尋引擎的機器人無法「爬」到這些服務。換句話說,其他使用者將漸漸無法透過雅虎以外的搜尋服務連結到這些網站。
使用者近來發現,無名小站的robot.txt檔內容近來遭到更改:
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
其中第一行是說明專提供給雅虎搜尋引擎的機器人來「爬」。一個開放所有搜尋服務的網站,一般是不會多加特殊限制的,專家表示。
消息由上周首度傳出,漸次傳開後,效應已漸漸發生。根據知名網站XDite的說法,目前已有些部落格,如「彎彎」利用Google搜尋時,已經只剩下網誌標題名,內容的庫存檔(cache)都不在了。而記者自行以CNET專欄作家之一「獨孤木」分別輸入雅虎及Google搜尋的結果,結果類似,Google僅可查詢到首頁。
不願公開姓名的網站管理員指出,目前有些無名上的網站內頁雖然還可以透過別的搜尋引擎找得到,但隨著Google、MSN清掉了自己的庫存檔(cache),未來就漸漸找不到了。
對許多曾想以Google Ads等廣告形式獲利,或單純想實現發表欲的網友而言,搜尋引擎是目光—以及流量—的最主要來源。而僅僅做了這個小修改,就能使網站文章被閱讀的機率大為下降,因為除非被使用者加入書籤,否則仰賴其他搜尋服務查詢來尋找資訊的使用者,將可能無緣造訪該站,除了雅虎的使用者外。
無名此舉也令許多無名使用者感到憤怒與不解。「這意思簡單就是說,我們這些在無名寫blog的blogger,又變成了Yahoo跟無名手下的玩具。他們想到了,就把我們文章被Google 到的機會給攔胡了。」獨孤木在部落格中指出。
部落格作者辛可表示,對無名這種需要流量的服務來說,這種作法只有傷害。而使用者會不會因為找不到部落格或相簿的不便而放棄原有搜尋習慣,他也不認為雅虎有佔任何好處。
網友BillyPan在自己的部落格中提出抗議,並發起串聯行動。
這已不是雅虎/無名使用者第一次對其服務感到不滿。雙方合併後,首先發生金、銀卡會員權益的糾紛。今年稍早,無名使用者被迫更改密碼,以及與雅虎帳號合併。不過雅虎方面表示仍儘力滿足多數使用者需求。
對於無名設定檔的問題,雅虎方面尚無肯定回應。台灣雅虎總經理洪小玲於上周被問及此問題表示還不太清楚狀況,需要進一步確認。今日雅虎方面公關人員則表示還在了解技術細節。
如果雅虎真的採取了這種作法,XDite作者質疑是反其道而行。「使用者寫網誌用盡任何手段就是在爭曝光,如果把曝光機會幹掉了,他不搬家走人才怪。誰還會為了搜不到,通通跑去用你雅虎的搜尋引擎。」他說。
無名小站修改robots.txt有什麼影響
獨孤木 2007/10/09
最近在人氣網站XDite上面揭露,Yahoo在沒有告知消費者的情況下,修改了會影響搜尋引擎機器人的設定檔Robots.txt。
這個設定檔一經修改之後,除了Yahoo自家的搜尋引擎,其他家的搜尋引擎就不能再透過機器人去針對放在無名的文章進行索引。
由於這項修改並未告知一般的使用者,對於網路不熟悉的絕大多數使用者,並沒有警覺到這個改變會帶來的影響。目前在各個部落格中零星的抗議與串連,也多半站在部落格的所有者的這個角度來思考這個問題。
我會在這篇文章中提出另外幾個我個人的觀察與大家分享。
第一個我思考的重點,是在於他會對整個繁體中文網路界所造成的重大衝擊。對於繁體中文的使用者來說,他透過全球最大,市佔率最高的搜尋引擎Google來搜尋繁體中文資料時,可以查詢到的資料量將會銳減。而這件事,一般的使用者並不會感受到。他們也不可能會知道,要透過Yahoo的搜尋引擎,才會查詢到無名小站上面的資訊。
由於無名小站在台灣擁有超高人數的會員,會員數達三百萬之多,上面所擁有的文章,等於是三百萬人的集體智慧。而對於絕大多數的使用者來說,要搜尋網路上面的資訊時,第一選擇則是Google。將無名小站的文章隔絕於Google之外,這件事雖然可能沒有違反任何法律,可是會對整體繁體中文資訊與知識的傳播與擴散,造成極為不利的影響。
Yahoo的此一舉動,非但會減少目前在上面的部落客,各個部落格透過各家搜尋引擎所導過來的流量,也會讓他們透過流量的營利會為之減損,更會進一步影響整個繁體中文網路界的知識與資訊的傳播。這其實是一個非常深遠而重大的影響。
第二個我在思考的點,則是在於這對於實際部落客的影響。
一位朋友問我,無名小站修改robots.txt之後,我部落格的流量是否有所改變。事實上,我的部落格的流量並沒有變少,反倒是因為我最近幾篇部落格所討論的主題吸引了不少朋友進行討論,所以流量反倒變多。
我自己觀察到這個現象後開始思考,其實,無名小站修改robots.txt之後,對於眾所皆知的知名部落客,例如彎彎、輔大猴之類的部落客,並不會帶來太大的影響。因為原本大多數的網民,早就已經知道這些部落格的存在,透過搜尋引擎只要找得到他們的網址,就不會造成太大的衝擊。
對於在小眾中已經建立口碑的部落格,例如小弟我個人的部落格,或是張大魯先生的部落格之類的部落格,也不會有太大的影響。因為在這個小眾裡面,原本就已經十分知名的部落客,他們的部落格,也大多數都已經眾所皆知。受到的衝擊就會降低。
可是受到衝擊最大的,是那些在撰寫遊記,撰寫食記,撰寫個人心得,分享個人經驗,可以得利於搜尋引擎的流量,可是尚未在小眾中建立起名聲的部落客。這些人可能也不是網路方面的行家,所以,並不會知道自己部落格流量的降低,是因為什麼原因而造成的。可是這一批人,卻是最需要獲得鼓勵與流量的創作者。因為每個明星在尚未成名之前,都需要經過不斷的努力與耕耘。而透過小眾的網路,其實可以找到許多鼓勵你創作的人。
可是,Yahoo公司的此一舉動,卻在這些部落客不知情的狀況下,嚴重傷害這些部落客的流量。而這些部落客,有非常多,還是每年會掏出鈔票付費使用部落格服務的客戶。在這個擁有眾多免費部落格服務的網路年代來說,這些客戶是非常難得而且重要的客戶,為何Yahoo會甘冒大不韙,進行這種會嚴重影響客戶權益的事情,這背後決策的動機,就非常耐人尋味了。
最後當然是對於部落客營利的影響。
許多部落客在他們的網頁中放設了許多廣告,希望可以透過廣告,為自己帶來一些額外的收入。
可是無名小站的站方,卻在無預警又未告知的情況下,自行決定要減少Google為部落客帶來的流量。這種資訊未曾充份揭露,就片面決定要造成客戶權益受損的行為,實在是蠻令人驚訝的一件事情。這實在不禁令人懷疑,當初Yahoo併購無名小站,是不是一個想要讓這個服務消失的防禦性行為?
我個人的部落格雖然也寄居於無名小站,不過我今天的評論,倒也不是單純為個人的權益發聲。而是希望透過這樣的思考,讓大家正視這個議題,對整個繁體中文網路世界所帶來的深遠影響。我個人是希望Yahoo可以正視這個議題所帶來的影響,並且做出適當的決定。這才是繁體中文網路界之福。
作者為資深工程師及軟體開發專案人員,經常撰寫軟體專案的文章,作品散見於資訊論壇網站及其個人部落格中,著有《軟體超人X光眼:專案開發揭弊大爆料》一書。