一、什么是Bingbot？
Bingbot 是 Bing 用來抓取或“蜘蛛”網絡的爬蟲的名稱。Bingbot的工作是尋找新的 并更新了互聯網上網站上的頁面，以便可以對其進行索引處理。而 抓取網站，Bingbot查看機器人.txt文件以獲取來自網站的特殊說明 所有者/網站站長。Bingbot 遵守機器人.txt指令，包括抓取延遲：設置和 在沒有抓取延遲的情況下，會尊重網站站長在抓取控制功能中的輸入。
Bingbot在確定它應該訪問您網站上的頁面的頻率方面做得很好，需要機器人.txt 以及考慮爬網控制規則和提示。我們稱之為“爬行禮貌”。可能還有 您覺得 Bingbot 不夠禮貌并且訪問您的頁面比對您有用的情況（一個案例 的過度爬行）。

二、如何處理必應蜘蛛過度爬網？
1.驗證您看到的機器人流量是否確實來自有效的 Bingbot 服務器。您可以通過以下方式執行此操作 查看用戶代理字符串（任何人都可以輕松欺騙）以及 IP 地址。用 這驗證 必應機器人工具以獲得驗證。
2.驗證它是真正的 Bingbot 流量后，您可以使用其中一種來減少爬網程序流量 以下方法（3、4 或 5，如果您尚未這樣做）。
3.在繁忙時段使用爬 控制特征。
4.將“抓取延遲：”指令添加到您的機器人.txt文件中。例如：
A.用戶代理：必應機器人
B.爬網延遲：5
C.爬網延遲限制必應機器人可以爬網的頁數。它定義了小的時間段 窗口（1 到 20 秒），在此期間，Bingbot 只能從您的網站抓取一個 URL。為 例如，如果您將抓取延遲設置為 5（即，您給出指令以在 1 秒內抓取 5 個網址）， Bingbot每天將能夠抓取17280個URL。如果將爬網延遲增加到 10，則只有 8640 系統會抓取網址。爬網延遲越高（最高為 20），頁數越少 爬。
5.如果您已按照步驟 1 和 2 操作，但問題仍然存在，您可以聯系必應網站站長支持.填寫 ，然后在“您遇到什么類型的問題？”下拉菜單中，選擇“正在抓取” 問題”。在“你需要什么幫助？”下拉菜單下，選擇“必應也在爬網 很多“，它提供了您問題的即時解決方案。如果您仍有疑問，請切換 按鈕為“是”，描述問題，然后單擊“獲取幫助”。您可以期待在 24-48小時。當您報告過度爬網問題時，支持團隊將要求您提供服務器日志 在下一步中顯示 Bingbot 在一段時間內的活動的示例，因此請確保 隨身攜帶。