一、網(wǎng)站異常
1、dns異常
當(dāng)Baiduspider無(wú)法解析您網(wǎng)站的IP時(shí)，會(huì)出現(xiàn)DNS異常?？赡苁悄木W(wǎng)站IP地址錯(cuò)誤，或者域名服務(wù)商把Baiduspider封禁。請(qǐng)使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無(wú)法解析，請(qǐng)與域名注冊(cè)商聯(lián)系，更新您的IP地址。
2、連接超時(shí)
抓取請(qǐng)求連接超時(shí)，可能原因服務(wù)器過(guò)載，網(wǎng)絡(luò)不穩(wěn)定
3、抓取超時(shí)
抓取請(qǐng)求連接建立后，下載頁(yè)面速度過(guò)慢，導(dǎo)致超時(shí)，可能原因服務(wù)器過(guò)載，帶寬不足
4、連接錯(cuò)誤
無(wú)法連接或者連接建立后對(duì)方服務(wù)器拒絕
二、鏈接異常
1、訪問(wèn)被拒絕
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是403
2、找不到頁(yè)面
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是404
3、服務(wù)器錯(cuò)誤
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是5XX
4、其他錯(cuò)誤
爬蟲(chóng)發(fā)起抓取，httpcode返回碼是4XX，不包括403和404
閱讀本文的人還可以閱讀：
