robots應該寫哪些,禁止哪些,允許收錄哪些

2021-03-04 05:41:49 字數 626 閱讀 4251

1樓:匿名使用者

你想哪些搜尋引擎的蜘蛛索引就你允許,反之就禁止唄。要禁止蜘蛛爬取你的重要資料夾,比如存放使用者密碼資訊的

robots.txt禁止訪問特定目錄下的部分檔案怎麼寫?

2樓:手機使用者

生動的叫做「蜘蛛」

蜘蛛在爬去**頁面之前,會先去訪問**根目錄下面的一個檔案,就是robots.txt。這個檔案其實就是給「蜘蛛」的規則,如果沒有這個檔案,蜘蛛會認為你的**同意全部抓取網頁。

robots.txr檔案是一個純文字檔案,可以告訴蜘蛛哪些頁面可以爬取(收錄),哪些頁面不能爬取。

舉個例子:建立一個名為robots.txt的文字檔案,然後輸入

user-agent: * 星號說明允許所有搜尋引擎收錄

disallow: index.php? 表示不允許收錄以index.php?字首的連結,比如index.php?=865

disallow: /tmp/ 表示不允許收錄根目錄下的tmp目錄,包括目錄下的檔案,比如tmp/232.html

3樓:祥騰資訊

不想被掃描到的,寫上絕對路徑,

基本上可以理解為一一對應,總之絕對路徑

國家明令禁止使用的農藥有哪些,國家明令禁止出國展出的六十四件國寶級文物是哪些文物

核桃無公害bai生產,必du須按照無公害果品生產操zhi作規程進行,在dao生產上禁止使用高殘留專 高毒和劇屬毒的農藥,禁止使用 三致 致畸 致癌 致突變 作用的農藥,禁止使用無 三證 農藥登記證 生產許可證 生產批號 的農藥。中華人民共和國農業部2002年第199號公告公佈了國家明令禁止使用和不得...

國際航班哪些東西禁止託運,乘坐國際航班哪些東西不能帶

回答您好 親 我是小星,很高興為您服務,您的問題我已收到,看完會及時回覆,追問後,因為單子太多會依次回答,不會不回答的,請耐心等待哦 親!親 您請稍等一下哦!正在為您查詢 親您稍等哦 親這邊為您查詢到了國際航班托執行李的相關規定哦 1.乘坐國際航班,手提行李的總重量不能高於7公斤,每件行李的體積也不...

電腦開機啟動項哪些可以禁止

1.msascui.exe 微軟反間諜windows defender的程式 2.ndstray.exe 東芝筆記本toshiba的configfree系統托盤程式,用於切換網路裝置 3.cffncenabler.exe 灰鴿子木馬,該病毒修改登錄檔建立系統服務access實現自啟動,病毒執行後連線...