百度與360對簿公堂 搜素引擎大戰(zhàn)白熱化
什么是Robots協(xié)議
Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。Robots協(xié)議的本質是網站和搜索引擎爬蟲的溝通方式,用來指導搜索引擎更好地抓取網站內容,而不是作為搜索引擎之間互相限制和不正當競爭的工具。Robots協(xié)議用來告知搜索引擎哪些頁面能被抓取,哪些頁面不能被抓取;可以屏蔽一些網站中比較大的文件,如:圖片,音樂,視頻等,節(jié)省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容;設置網站地圖連接,方便引導蜘蛛爬取頁面。
robots.txt文件是一個文本文件,使用任何一個常見的文本編輯器,比如Windows系統(tǒng)自帶的Notepad,就可以創(chuàng)建和編輯它。robots.txt是一個協(xié)議,而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。
如果將網站視為酒店里的一個房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進入和參觀,哪些房間因為存放貴重物品,或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但robots.txt不是命令,也不是防火墻,如同守門人無法阻止竊賊等惡意闖入者。
百度與360的搜索大戰(zhàn)
正如同娛樂圈 的明星緋聞一直是各大媒體的熱點一樣,百度與360的恩恩怨怨也一直在受業(yè)內人士關注。360和百度的恩恩怨怨可追溯至十年前,而這十年間,雙方敵友關系轉變頻繁,從面紅耳赤到化干戈為玉帛,“變臉”快過川劇。在業(yè)內人士看來,“敵友關系轉換對他們都已是家常便飯。百度和360在網址導航、瀏覽器和搜索上的暗自競爭直接導致了雙方翻臉?!贝舜?,百度與360方面就到底是“濫用Robots協(xié)議”還是“違反Robots協(xié)議”展開爭論,而圍繞“Robots 協(xié)議”展開的新一輪“3B搜索大戰(zhàn)”,不僅關系到當事雙方的切身利益,還將影響到國家互聯(lián)網經濟發(fā)展、信息流動、科技創(chuàng)新和社會進步,因而備受各界關注。
百度認為,360的行為已經構成了不正當競爭,并以此索賠1億元及20萬訴訟合理支出,同時要求360停止這種行為并連續(xù)道歉30天。
360認為自己行為并不構成不正當競爭。360說,百度旗下?lián)碛邪俣戎?、百度貼吧、百度文庫以及百度百科等70多種產品,占互聯(lián)網網頁的15%,是新浪、搜狐和網易的總和。按照Robots協(xié)議設置的原則,百度應本著公平開放的原則,同時限制應當有正當理由,但百度利用Robots協(xié)議自設白名單,谷歌、微軟必應、雅虎、搜狗、SOSO等搜索引擎均可以抓取這些內容,而唯獨不允許360搜索抓取這些內容。
百度與360的搜索大戰(zhàn)正在激烈進行中,各路圍觀者觀點不一。有的說:“百度擠走谷歌后氣焰囂張,終于有對手治治它了!”有的說:“360還挺流氓的,斗完騰訊斗百度?!庇械耐χ锌希骸昂芎寐?為互聯(lián)網搜索行業(yè)創(chuàng)造更公平的競爭環(huán)境,對于企業(yè)這是好結果?!?