VimIy微民網(wǎng)，讓世界傾聽微民的聲音！
設(shè)為首頁 | 加入收藏 | 網(wǎng)站地圖
評(píng)論:Robots協(xié)議的爭(zhēng)論毫無意義
新聞發(fā)布日期：2012-09-04 07:22:12
新聞主題： cnBeta 博文精選
近期，由于國(guó)內(nèi)互聯(lián)網(wǎng)上出現(xiàn)了一個(gè)新的搜索引擎競(jìng)爭(zhēng)者，關(guān)于搜索引擎是否應(yīng)當(dāng)遵守Robots協(xié)議的問題成為了業(yè)內(nèi)人士討論的熱點(diǎn)。一些人宣稱：Robots協(xié)議是搜索領(lǐng)域的行業(yè)規(guī)范，觸犯Robots協(xié)議是沒有底線的行為，不禁不合法，而且還會(huì)泄露用戶隱私。
筆者也馬馬虎虎算是個(gè)IT工程師，不過主要研究方向是通信技術(shù)，在計(jì)算機(jī)和互聯(lián)網(wǎng)領(lǐng)域，只能說是比外行人強(qiáng)點(diǎn)，但比內(nèi)行人還差得多，充其量是個(gè)半專業(yè)人士。出于好奇，本人查閱了一些和Robots協(xié)議相關(guān)的資料以及近期的各種熱門評(píng)論，結(jié)果驚訝的發(fā)現(xiàn)，那些所謂的“專家”原來絕大多數(shù)都是“偽專家”，不過是利用人們對(duì)“Robots”的陌生和對(duì)“專家”的信任在混淆視聽。
雖然我頂多算是半個(gè)專業(yè)人士，但還是希望能說幾句真話，希望能夠幫助讀者更加接近真相。
Robots協(xié)議的由來
早期的互聯(lián)網(wǎng)主要是“用戶-網(wǎng)站”模式。用戶通過網(wǎng)站獲取信息，網(wǎng)站通過吸引用戶點(diǎn)擊來實(shí)現(xiàn)廣告收入。不過，當(dāng)Google把搜索引擎變成一種成功的商業(yè)模式之后，很多網(wǎng)站原有的商業(yè)模式遭到了嚴(yán)重的破壞。因?yàn)楹芏嘤脩魰?huì)停留在搜索引擎的搜索結(jié)果之中，不再訪問信息的源頭或發(fā)布信息的網(wǎng)站。
于是，為了維護(hù)自身的利益，一些歐美大型網(wǎng)站聯(lián)合起來與Google談判，要求Google必須做到“有所為有所不為”，于是就有了“Robots協(xié)議”。
Robot，又稱Spider，是搜索引擎自動(dòng)獲取網(wǎng)頁信息的電腦程序的通稱。Robots協(xié)議的核心思想就是要求Robot程序不要去檢索那些站長(zhǎng)們不希望被直接搜索到的內(nèi)容。將約束Robot程序的具體方法規(guī)范成格式代碼，就成了Robots協(xié)議。一般來說，網(wǎng)站是通過Robots.txt文件來實(shí)現(xiàn)Robots協(xié)議。
Robots協(xié)議的影響
國(guó)內(nèi)使用Robots協(xié)議最典型的案例，就是淘寶網(wǎng)和新浪微博拒絕百度搜索。不過，絕大多數(shù)中小網(wǎng)站都需要依靠搜索引擎來增加流量，因此通常并不排斥搜索引擎，也很少使用Robots協(xié)議。
一些站長(zhǎng)和程序員還把Robots協(xié)議當(dāng)成偷懶的工具：對(duì)于那些本來需要加密保存的信息或限制訪問的內(nèi)容，他們只是寫個(gè)了Robots.txt文件，要求搜索引擎不要去訪問，之后便以為萬事大吉。這不是典型的掩耳盜鈴嗎？
不過，Robots協(xié)議最深遠(yuǎn)的影響還是幫助Google和百度這樣的壟斷搜索引擎遏制后起的競(jìng)爭(zhēng)者。這是因?yàn)�，Google當(dāng)年在制定這個(gè)協(xié)議時(shí)，特意留下了后手，即：協(xié)議中不僅包括是否允許搜索引擎進(jìn)行搜索的內(nèi)容，還包括允許誰和不允許誰進(jìn)行搜索內(nèi)容。Google和百度在實(shí)現(xiàn)了壟斷地位之后，就利用這些排斥性規(guī)則擋住了后來的進(jìn)入者。
微軟的必應(yīng)，國(guó)產(chǎn)的搜狗、搜搜等搜索引擎，雖然運(yùn)行多年，但搜索結(jié)果始終差強(qiáng)人意，并不是因?yàn)樗麄兊募夹g(shù)能力真的不如百度，很大程度上就是受到了Robots協(xié)議的影響。
Robots協(xié)議的誤區(qū)
有了前面的介紹，我們就可以來揭露那些“偽專家”們是如何誤導(dǎo)技術(shù)知識(shí)有限的廣大公眾的。
1)Robots協(xié)議不是行業(yè)規(guī)范，更不是國(guó)際標(biāo)準(zhǔn)
所謂的Robots協(xié)議，其實(shí)就是Google自己制定的一個(gè)協(xié)議規(guī)范，并不是各大搜索廠商的共識(shí)或統(tǒng)一的協(xié)議，也從來沒有任何一家國(guó)內(nèi)搜索引擎服務(wù)商公開承諾遵守Robots協(xié)議或簽署類似協(xié)議或聲明。
所以說，Robots協(xié)議連個(gè)行業(yè)規(guī)范都算不上，更別說什么國(guó)際標(biāo)準(zhǔn)了，即便在美國(guó)，也只有Google把它當(dāng)回事來說，而不是真的當(dāng)回事來做。
不過客觀的說，確實(shí)有一些網(wǎng)站站長(zhǎng)誤以為Robots協(xié)議是強(qiáng)制規(guī)范，誤以為寫了Robots.txt就萬事大吉了。
2)Robots協(xié)議和保護(hù)用戶隱私毫不相干
研究之后我才發(fā)現(xiàn)，最普遍，但也是最可笑的一種言論就是把Robots協(xié)議和用戶隱私保護(hù)扯上關(guān)系，說什么違背Robots協(xié)議是泄漏用戶隱私的主要原因。
Robots協(xié)議即不是什么加密算法，也不是什么安全機(jī)制，怎么可能阻止外部用戶訪問相關(guān)數(shù)據(jù)呢？確切的說，Robots協(xié)議希望解決的，不是用戶能不能訪問的問題，而是用戶是否可以通過搜索引擎來訪問的問題。就算Robots協(xié)議擋得住搜索引擎，那也擋不住用戶訪問啊。只要用戶能夠從外部訪問，那該“泄密”還是會(huì)“泄密”。
想通過Robots協(xié)議來保護(hù)私密數(shù)據(jù)，實(shí)際上只是一些懶惰的站長(zhǎng)們誤解和濫用了Robots協(xié)議。所謂的搜索引擎泄露用戶隱私，本質(zhì)上說，還是網(wǎng)站本身安全性嚴(yán)重欠缺。
到底有誰在遵守Robots協(xié)議
到底誰遵守了Robots協(xié)議？這個(gè)問題很有挑戰(zhàn)性。
最近幾天，百度和360相互揭底，各自爆出了不少對(duì)方違背Robots協(xié)議的案例。非常有趣的是，對(duì)于這些案例，雙方采取的應(yīng)對(duì)措施都是揭露對(duì)方的更多案例，而誰也沒敢正面質(zhì)疑對(duì)方提供案例的真實(shí)性。同時(shí)，在這些爆料中，包括Google在內(nèi)其他一些國(guó)內(nèi)國(guó)外主流搜索引擎也都或多或少的，不幸的躺著中槍。
這些事情似乎在告訴我們，Robots協(xié)議只不過是某些人口中討伐對(duì)手的工具而已，其實(shí)，起碼在中國(guó)，誰也沒太把Robots協(xié)議真的當(dāng)回事，除非是自己的壟斷地位受到威脅!
360在水區(qū)天天被黑
作為360員工壓力很大
其實(shí)我自己是不用360產(chǎn)品的
不對(duì)。。瀏覽器是360的 這貨洗地太惡心了，有本事就隨便說一個(gè)不遵守robots的搜索引擎，哪那么多廢話。
豬一樣的七毛啊都不是這個(gè)專業(yè)的，比一般人強(qiáng)，比專家弱，然后研究，得出個(gè)結(jié)論，專家都在放屁，研究個(gè)蛋蛋...專注360黑20年