消失和還在的 robots.txt

Tuesday, October 9th, 2007

承「無名和 Yahoo 知識+ 的搜尋引擎鎖國政策」。
剛才收到通知,XDite 那有人發現,無名小站的 robots.txt 已經消失,不過 Yahoo!奇摩知識+ 的 robots.txt 倒是沒變,相當有趣?!

無名和 Yahoo 知識+ 的搜尋引擎鎖國政策

Saturday, October 6th, 2007

無名和 Yahoo 知識+ 這樣的搜尋引擎鎖國政策,到底是減少訪客,還是壯大自家的搜尋引擎效果大,且讓我們拭目以待?
前幾天看到了這幾篇文章:
老兵不死,只是退伍:Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ?
XDite:欲練神功,揮刀自宮!( Wretch ban 掉所有搜尋引擎)、再會了,我的心上人?
ijliao 長輩發現無名小站的 robots.txt 目前如下:
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
這代表無名小站宣告除了自家的 Yahoo 搜尋引擎以外,其他家搜尋引擎都不可以索引無名小站任何網頁的內容(不過有些搜尋引擎不會理會 robots.txt 如何宣告…robots.txt 並沒有強制力),後續也有人注意到 Yahoo!奇摩知識+ 和 Yahoo 新聞也是採取類似作法,但 Yahoo 新聞比較特別,因其內容是由其他媒體提供,其他媒體或許並不授權 Yahoo 新聞被其他搜尋引擎索引,ijliao 長輩文章底下的推文也有人提出說明表示 Yahoo!TW 各服務 PM 可以決定其 robots.txt 的內容,例如 Yahoo!TW 首頁和 Yahoo!奇摩時尚就沒有獨鍾自家搜尋引擎的情況。
雖然我並不覺得這是 Yahoo!TW 想製造無意間拋棄無名小站的情境,但最明顯的效果就是從此以後無名小站和 Yahoo!奇摩知識+,的網頁內容都只有在 Yahoo 才搜尋得到,在 Google、MSN 等守規矩的搜尋引擎都搜尋不到,這樣讓使用者發現怎麼別家都搜尋不到無名的資料,要搜這些資料只好到 Yahoo 搜尋的作法,感覺拉抬自家搜尋引擎、打壓他人的意味十分濃厚,身為國內最大 BSP+搜尋引擎+網路廣告業者,如此作為,是否過於惡劣呢?而無名小站也再一次以行為告訴我們,他們變更服務內容是不需要公告告訴使用者的。

BBS 搜尋引擎暫停服務

Sunday, July 22nd, 2007

在上篇「BBS 搜尋引擎現身」 提到的YouSee!柚子,在隱私權爭議的部份引起了相當大的反彈(看來很多人從沒想過 BBS 文章哪一天可以直接被全站全文搜尋?我自己能被搜尋到的東西似乎也不少啦:~ ) 其實我覺得最誇張的是YouSee!柚子在進行對各 BBS 站的索引前,似乎完全沒有詢問過該站的意見(不論是站長群,或是一般使用者) 更糟糕的是,一開始完成索引的都是人數眾多的大型站台,且也未選擇哪些版面要索引,而是索引所有公開看板,結果索引了一堆班板、社團、個人板,以及一些使用者較不喜歡被公開的看板,自然引起群眾群起攻之的下場(已經有人打算寄存證信函及向政大校方寄信抗議等),雖然YouSee!柚子希望能以取消班板、社團、個人板的索引,以及讓大家投票要不要被索引等機制來緩和群眾情緒,不過效果不大,直到今天終於發現眾怒難犯而暫停所有服務…
接下來的發展,值得觀察啊…
不過說實在的,要是有人偷偷索引了不公開自己用,其實也很難有人知道;這次的事件應該會讓部份人警覺所謂的公開板,的的確確就是一個全世界都讀得到的地方吧?

BBS 搜尋引擎現身

Friday, July 20th, 2007

BBS 和 Web 接軌的一大步。
前天看到一個 BBS 神兵利器的介紹:BBS搜尋引擎 _ YouSee!柚子,有人作了 BBS 搜尋引擎!並且已經對 Ptt、KKCity、無名小站等 10 個站台完成索引。大家可以試用看看,不過我也遇過搜尋關鍵字 A 可以找到的文章,拿文章作者 id 來搜尋卻搜尋不到、以及搜尋多個 KKCity 公開板文章都搜尋不到的情況。
以前 BBS 最麻煩的就是不支援全站的全文搜尋,連全站的作者、標題搜尋都很少見,最大原因不是作不出來,而是對系統負荷太重(當然隱私考量也是另一個問題),跨站的搜尋就更別提了;而且 BBS 只能顯示文字而不能直接顯示圖片、影片等素材,也不像 Web 要分享給別人給個 URL 就行了,相對麻煩很多,BBS 搜尋引擎在某種程度上解決了全文搜尋和分享方便性的問題。
但因此產生的問題是, 因為 BBS 的文章無法單純以 URL 分享,BBS 搜尋引擎無法像 Google、Yahoo 等 Web 搜尋引擎提供目標網站的 URL 和摘要給使用者即可,所以 YouSee!柚子 可以說是不得不以自己的網站呈現原始文章全文,這個作法固然解決了無法以 URL 分享的問題,便利了使用者,但直接呈現原始文章全文的方式卻可能觸犯著作權法,若無法化解這部份的疑慮和爭議,這可能會成為 BBS 搜尋引擎的致命傷。
隱私權的部份則比較奇妙,事實上能搜尋到的本來就是原本在 BBS 裡就是公開的看板,只是搜尋引擎使得有心人士要尋找相關資訊比以前容易得多,引起隱私權爭議是必然的,但這樣到底會不會違法那就很難說了,只能說一句老話:不想讓人知道的東西就絕對不要放上網路。