Cookie の使用について.本サイトでは、基本機能の提供に必要な必須 Cookie を使用しています。さらに、同意いただいた場合に限り、アクセス解析 Cookie を利用して利用状況を把握し、サービス改善に役立てます。詳しくは .
このツールが役に立ったら、開発者にコーヒーを奢ってください ☕
検索エンジンクローラーのIPを正確に識別し、正規スパイダーと悪意のあるトラフィックを区別します
指定されたIPアドレスが、GoogleやBaiduなどの正規の検索エンジンクローラーのものであるかを確認します。
ウェブサイトのサーバーログに大量のクローラーリクエストが出現した場合、Google、Baiduなどの正規検索エンジンのスパイダーを素早く識別するにはどうすればよいでしょうか。本ツールは世界主要検索エンジンの公式IPアドレスライブラリと比較することで、入力されたIPが信頼できるクローラーに属するかどうかを即座に検証します。検出対象はIPv4/IPv6アドレスで、結果には逆引きDNS検証情報が含まれ、ウェブサイトセキュリティ対策の重要な根拠を提供します。
検出されたBaiduスパイダーが本物かどうかを判断するにはどうすればよいですか?
逆引きDNS検証を実行します:検出結果のPTRレコードドメインに対して正引き解析を行い、返されるIPが元のアドレスと一致する場合は、実際のクローラーです。
ツールが認識していないIPがクローラーとして表示される場合はどうしたらよいですか?新しいタイプのスパイダーIPがまだデータベースに登録されていない可能性があります(DNSレコードの手動検証をお勧めします)。または、悪意のあるクローラーがUser-Agentを偽造している場合があり、アクセス頻度などのログ機能と組み合わせて総合的に判断する必要があります。
検索エンジンは毎月IPプールを更新するため、検出結果はリアルタイムDNS検証と組み合わせる必要があります。IPv6アドレスは圧縮形式で完全に入力する必要があります(例:2001:db8::1)。1回のクエリは1つのIPに制限されており、バッチ検出はサポートされていません。
典型的な検証ケース:検出に「66.249.66.1 → crawl-66-249-66-1.googlebot.com」が表示された場合、「googlebot.com」に対してAレコード解析を実行し、同じIPが返された場合は合法的なGoogleクローラーであることが確認されます。User-Agentが「Baiduspider」であるが、IPが公式ライブラリにない場合は注意してください。これは通常、スクレイピングツールの偽装です。