我不確定你所指的“robots非標(biāo)準(zhǔn)擴展協(xié)議”是什么，因為Robot協(xié)議是Web爬蟲標(biāo)準(zhǔn)協(xié)議之一，旨在告訴Web爬蟲哪些頁面可以爬取和哪些頁面不應(yīng)該被爬取。它是一個標(biāo)準(zhǔn)協(xié)議，而不是擴展協(xié)議。 如果您能提供更多信息，我可以嘗試提供更詳細(xì)的回答。
一級目錄是什么一級目錄繼承在主站目錄下的，相當(dāng)于在網(wǎng)站的根目錄下再建立一個文件夾存放網(wǎng)站。從嚴(yán)格上講，目錄是按"/"來算的，不算最后的“/”，域名中有一個“/”的就是一級目錄，有兩個“/”的就是二級目錄。類似www.seowhy.com/faq、www.seowhy.com/faq/ 就是一級目錄。舉個例子：我建一個簡單的html文件，命名為123.html，上傳到搜外網(wǎng)站根目
robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。來源：360站
禁止搜索引擎收錄的方法什么是robots.txt文件?搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分
我不確定你所指的“robots非標(biāo)準(zhǔn)擴展協(xié)議”是什么，因為Robot協(xié)議是Web爬蟲標(biāo)準(zhǔn)協(xié)議之一，旨在告訴Web爬蟲哪些頁面可以爬取和哪些頁面不應(yīng)該被爬取。它是一個標(biāo)準(zhǔn)協(xié)議，而不是擴展協(xié)議。 如果您能提供更多信息，我可以嘗試提供更詳細(xì)的回答。
