工具用的順手嗎?
你的回饋能幫助我們做得更好
透過 PTR 反向解析、正向 DNS 回驗和公開 IP 網段,判斷訪問日誌中的 IPv4 或 IPv6 是否能驗證為已知搜索引擎爬蟲。
輸入日誌中的來源 IP,查看完整驗證鏈
概覽
了解工具能解決的問題、計算或處理邏輯,以及資料邊界。
這項檢查適合網站管理者或維運人員,拿一筆存取日誌中的來源 IPv4 或 IPv6,查看它是否有可辨識的搜尋引擎爬蟲證據。結果分成反向 DNS(PTR)主機名稱、符合條件時的正向 DNS 回驗,以及是否命中公開 IP 網段;頁面也會列出查詢狀態與可辨識的來源。
User-Agent 是請求自行帶上的文字,可以被仿冒;單看它寫著 Googlebot 或 Bingbot,不能證明連線來源。Google 與 Bing 的官方說明都提供 DNS 核驗或對照發布 IP 範圍的做法。Googlebot 簡介;Bingbot 核驗說明。
PTR 反向查詢由 IP 找到 DNS 主機名稱。若主機名稱符合工具支援的網域後綴,系統會再查該主機名稱對應的 IP,檢查原始地址是否在回傳結果中;這種「反向找到名稱、正向再回到原 IP」的交叉核對,比只看名稱多一層確認。Google 文件列出 Googlebot 常見的反向 DNS 核驗方法,Bing 也說明 search.msn.com 的反查與回查流程。
公開網段比對則是把輸入 IP 與服務提供者公布的網路前綴核對。此頁目前的公開清單涵蓋 Google common crawlers、Bingbot 與 DuckDuckBot;DuckDuckGo 也在官方說明中提供爬蟲 IP 清單。DNS 網域規則另涵蓋 Google、Bing、百度及 Yandex 的若干已知後綴,但不代表所有爬蟲都能識別。
「已驗證」代表至少有一項支援的證據成立;「可疑」表示名稱與正向回查或網段來源出現不一致;「未驗證」表示本次沒有形成足夠的支援證據。應同時閱讀三張證據卡,而非只看總結標籤。
指南
依步驟完成操作,並透過範例核對輸入與結果。
在 Nginx、Apache、CDN 或應用程式存取日誌中,找出要核對那筆請求的來源 IP。輸入單一 IPv4 或 IPv6,不要貼 User-Agent、網址或整行日誌。
若位址來自含有方括號或連接埠的日誌格式,先整理成單純 IP 位址;若網站經過 CDN 或反向代理,先依已設定的可信代理規則確認真正來源,不要直接把代理節點當訪客 IP。
送出後先看整體判定與來源,再依序檢查 PTR 主機名稱、正向回查位址及公開網段命中狀態。可用頁面提供的範例 IP 熟悉欄位,但不要把範例當成永久名單。
把結果與同一筆請求的時間、路徑、頻率及回應狀態一起留存。需檢查其他日誌時,替換 IP 逐筆查詢;目前不接受批次日誌。
情境
查看這項工具在不同工作與生活流程中的用法。
當日誌中的 User-Agent 顯示 Googlebot,可用同一筆連線的來源 IP 查看 DNS 與公開網段證據。結果能協助確認來源身份線索,不能說明網站頁面已被收錄。
調整允許或限制規則前,對有疑問的單一地址做核驗並保存證據;再依請求行為、影響範圍與站台政策決定處置,不要只憑一個狀態自動放行。
若查詢結果和觀察到的流量不符,先確認日誌記錄的是訪客 IP 還是 CDN/代理節點 IP。選錯來源地址時,後續 DNS 判斷不會代表原始請求者。
問答
集中解答常見疑問與容易混淆的問題。
不是。它只表示這次查詢沒有命中目前支援的網段或形成有效 DNS 證據;可能是未涵蓋的爬蟲、DNS 暫時失敗或來源清單不可用。請再看請求行為與日誌脈絡。
因為系統會將匹配到的主機名稱再做正向查詢;若回傳位址不包含原始 IP,反查名稱與連線地址未能互相印證。不要只憑 PTR 字串加入允許名單。
可依目前程式中的已知網域後綴檢視百度與 Yandex 的 PTR 名稱及回查結果,但公開 IP 網段清單僅提供 Google common crawlers、Bingbot、DuckDuckBot。沒有網段命中不代表已完成該服務的完整核驗。
不行。一次只查一個 IPv4 或 IPv6;請先從日誌擷取單一來源位址,再逐筆提交。
須知
使用前了解適用範圍、結果限制與必要提醒。
公開 IP 範圍與 DNS 記錄可能變動,查詢當下也可能遇到逾時或來源清單無法載入。因此單次結果不適合當作永久白名單;保存判定時也要記下時間與當時可用的證據。若來源 IP 是代理節點,或日誌中的來源欄位取值不正確,結果也會失去參考性。
已驗證只表示本次至少有一項身份證據符合,不保證請求沒有風險、遵守網站政策或只存取預期頁面;未驗證與可疑也不是惡意判決。封鎖、限速或允許流量前,仍須依請求頻率、路徑、回應碼及業務影響判斷。
推薦
查找相關工具、專題與可用的 API 能力。