網絡用語機器人意思是搜索引擎術語。
Robot英文直譯是機器人,在搜索引擎優化SEO中,我們經常翻譯為:探測器。有時,你會碰到crawlew(爬行器),spider(蜘蛛),都是探測器之一,只是叫法不同。
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的範圍如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。