robots.txt 文件必須放在網(wǎng)站的根目錄。
放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會(huì)起任何作用。
如：
http://m.xkzzvc.cn/robots.txt 是有效的。
http://m.xkzzvc.cn/a/robots.txt 是無(wú)效的。
以下3種情況需要注意：
1、如果手機(jī)網(wǎng)站采用的是m.的二級(jí)域名，要給手機(jī)網(wǎng)站設(shè)置robots.txt的話，robots.txt要放在m. 這個(gè)二級(jí)域名的根目錄下，而不是www的根目錄。
2、給網(wǎng)站添加了一個(gè)站內(nèi)站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內(nèi)站創(chuàng)建獨(dú)立的robtos.txt文件。
3、網(wǎng)站有多個(gè)二級(jí)域名的話，應(yīng)該每個(gè)二級(jí)域名設(shè)置一個(gè)robots.txt。搜外問(wèn)答的例子，點(diǎn)擊查看。
擴(kuò)展閱讀：
本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。
搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案，10年來(lái)超過(guò)五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。
SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。
192期A班報(bào)名時(shí)間7月1日-7月15日，請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。
微信掃碼添加客服人員
我們的目標(biāo)是：讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
SEO技術(shù)實(shí)戰(zhàn)微信群
微信掃碼添加客服人員
大站流量總監(jiān)群(審核身份）
微信掃碼添加客服人員
Google獨(dú)立站英文SEO群
微信掃碼添加客服人員
SEO團(tuán)隊(duì)KPI管理表格
微信掃碼添加客服人員
工業(yè)品網(wǎng)站友情鏈接群
微信掃碼添加客服人員
本地生活服務(wù)業(yè)友鏈群
微信掃碼添加客服人員
