robots里這樣寫，就能避免蜘蛛爬這個“index.htm”這個首頁？

1334次閱讀

我robots這樣寫是不是就能避免蜘蛛爬這個“index.htm”這個首頁？

User-agent: *
Disallow: /index.htm

11-30.

我的index.htm是現(xiàn)在默認的首頁，想屏蔽蜘蛛抓取。讓蜘蛛爬另一個文檔，主要是規(guī)避備案巡查

我的網(wǎng)站和我備案的不一樣，服務(wù)器那邊要求改，我就整了個htm文檔來規(guī)避下。

寫法沒有問題。但正常的不建議屏蔽首頁地址，，“index.htm”這個后綴地址是需要處理掉的。

當(dāng)然，如果只是應(yīng)付備案短暫需求，，就只能這樣處理。

后續(xù)備案處理后，盡快處理后綴“index.htm”。同時robots修改回去。

本文由夫唯團隊編輯，如發(fā)現(xiàn)錯誤，歡迎通過客服微信反饋。

夫唯于2024年12月停止百度SEO研究和培訓(xùn)。道別信：夫唯：再見了百度SEO！

2025年1月正式啟動Google SEO培訓(xùn)課程，一千零一夜帶領(lǐng)大家一起出海。

感興趣的同學(xué)，請?zhí)砑诱猩头∧⑿牛簊eowhy2021。微信掃碼添加客服人員

我們的目標(biāo)：讓大家獨立站出海不再“望洋興嘆”。

robots里這樣寫，就能避免蜘蛛爬這個“index.htm”這個首頁？