如何防止網(wǎng)站被爬蟲(chóng)爬取的幾種辦法？您可以添加機(jī)器人.txt文件，防止爬蟲(chóng)程序爬網(wǎng)。被別人爬蟲(chóng)了，應(yīng)該怎么找出來(lái)？首先，爬蟲(chóng)有一定的特點(diǎn)。爬蟲(chóng)一般有以下特點(diǎn)：?jiǎn)蜪P訪問(wèn)頻率非常規(guī)律，我們經(jīng)常遇到一個(gè)問(wèn)題

如何防止網(wǎng)站被爬蟲(chóng)爬取的幾種辦法？

您可以添加機(jī)器人.txt文件，防止爬蟲(chóng)程序爬網(wǎng)。

被別人爬蟲(chóng)了，應(yīng)該怎么找出來(lái)？

首先，爬蟲(chóng)有一定的特點(diǎn)。爬蟲(chóng)一般有以下特點(diǎn)：

單IP訪問(wèn)頻率非常規(guī)律，我們經(jīng)常遇到一個(gè)問(wèn)題，當(dāng)我們?cè)诰W(wǎng)站上發(fā)帖時(shí)，會(huì)提示“發(fā)帖太快，請(qǐng)等待XX秒”，或提示“刷新頻率太快，請(qǐng)休息一會(huì)兒”，這是網(wǎng)站為了緩解對(duì)“用戶(hù)”的壓力而做出的一些限制，而爬蟲(chóng)是相關(guān)用戶(hù)比較猖獗，訪問(wèn)頻率比較快，如果單個(gè)IP訪問(wèn)頻率很高，那么就會(huì)判斷為“爬蟲(chóng)”，然后進(jìn)行限制。

請(qǐng)問(wèn)怎么才能禁止一個(gè)網(wǎng)站的訪問(wèn)？

如果您知道URL并想阻止它，它非常簡(jiǎn)單。修改主機(jī)后，所有瀏覽器都無(wú)法訪問(wèn)它。詳情如下：

1。首先，單擊[this computer]并根據(jù)[C:windowssystem32driversetc]的路徑打開(kāi)存儲(chǔ)主機(jī)的文件夾。由于該操作需要管理員權(quán)限，請(qǐng)右鍵單擊[hosts]文件，單擊屬性，然后切換到[hosts property]頁(yè)上的[security]選項(xiàng)卡。如圖所示：

2。單擊[組或用戶(hù)名]框下的[編輯]，如圖所示：

3。用記事本打開(kāi)hosts，在末尾添加一行，然后輸入“127.0.0.1 URL you want to block”。最后，它將生效。

例如，我現(xiàn)在添加127.0.0.1百度網(wǎng)

瀏覽器效果如下：