Cookie の使用について.本サイトでは、基本機能の提供に必要な必須 Cookie を使用しています。さらに、同意いただいた場合に限り、アクセス解析 Cookie を利用して利用状況を把握し、サービス改善に役立てます。詳しくは .
Cookie の使用について.本サイトでは、基本機能の提供に必要な必須 Cookie を使用しています。さらに、同意いただいた場合に限り、アクセス解析 Cookie を利用して利用状況を把握し、サービス改善に役立てます。詳しくは .
このツールは使いやすかったですか？
フィードバックは改善に役立ちます
模拟搜索引擎蜘蛛抓取网页，查看抓取状态与页面源码。
選択した検索エンジンのクローラーUser-Agentを使用して対象ページをリクエストし、クローラーが実際にどのようにページを見ているかを表示します。
概要
解決できる課題、処理の仕組み、データの範囲を確認できます。
対象URLとクローラーの種類を選ぶと、そのUser-Agentを付けて公開ページへリクエストし、返ってきた応答を一度分表示します。ステータスコード、応答時間、最終URL、Content-Type、文字コード、応答ヘッダー、本文サイズに加え、タイトルやdescription、robotsメタ情報、canonical、H1〜H3、リンク、HTMLソースを確認できます。選択肢はGoogle、Bing、Baiduなどのデスクトップまたはモバイル用User-Agentです。
ここでいうUser-Agentは、アクセス元が名乗るクライアント識別文字列です。選択した文字列でサーバーの応答が変わるかを比べる用途に使えますが、Googlebotを選んでもGoogleのクローラー本人がアクセスした証明にはなりません。GoogleはUser-Agent文字列が偽装される可能性を案内しており、実際のアクセスの確認には送信元IPや逆引きDNSなど別の検証が必要です。
結果の「robots」は取得HTML内のmeta robots情報です。robots.txtファイルを読み込んで規則を判定する機能ではありません。robots.txtの規則を確認したい場合は、対象サイトのファイルを別途確認してください。また、応答がHTTP 200でも検索エンジンへの登録や検索結果への表示が保証されるわけではありません。これはそのリクエストが受け取った応答コードです。
使い方
手順に沿って操作し、例を使って入力と結果を確認します。
http://またはhttps://で始まるページURLを指定します。スキームを省略したURLもHTTPSとして扱われます。ログイン情報をURLに含めず、確認する権限のある公開ページを使ってください。
Google、BingなどのPCまたはモバイル用識別子を選びます。別の環境と比べるときは、同じURLで選択肢を切り替えて、それぞれの応答を見比べます。
ステータス、最終URL、応答時間、Content-Type、サイズを先に見ます。その後、メタ情報、見出し、リンク、ヘッダー、HTMLソースの各欄で必要な項目を確認します。
想定外の転送や403などが出たら、最終URLと応答ヘッダーを記録し、サイトのアクセス制御や配信設定を確認します。単一の応答だけで、すべてのクローラーの挙動を結論づけないでください。
活用例
仕事や日常の流れの中での活用方法を紹介します。
自分が管理するページで、PC用とモバイル用など複数のUser-Agentに対するステータス、最終URL、ヘッダー、HTMLを比較します。クローラー向けに意図しない応答差がないかを見つけたら、サーバーやCDNの設定を確認します。
タイトル、description、canonical、見出しが初回応答のHTMLに含まれているかを確認できます。JavaScript実行後の表示内容や、検索エンジンの登録状況まで判断するものではないため、必要に応じて各検索エンジンの公式管理ツールでも確認します。
Q&A
よくある疑問や迷いやすい点をまとめて確認できます。
GooglebotのUser-Agentを付けたリクエスト結果を確認できますが、Googleの実際の取得を再現・証明するものではありません。User-Agentは偽装可能であり、Googleの実アクセスは別の方法で確認する必要があります。
いいえ。200は今回のHTTPリクエストに成功応答が返ったことを示します。クロールやインデックス登録の状態は、この結果だけでは分かりません。
確認できるのはHTML内のrobotsメタ情報です。robots.txtの内容取得や、指定URLが規則に許可されるかの判定は行いません。
あります。このリクエストにはAccept-Languageとして簡体字中国語を優先する指定が含まれます。サイトが言語をこのヘッダーで切り替える場合、表示結果が日本語ページと異なる可能性があります。別言語の応答を確認したいときは、その点を考慮してください。
注意
利用範囲、結果の制限、必要な注意点を事前に確認します。
この確認はブラウザーのようにJavaScriptを実行せず、サーバーから届いた応答本文を読み取ります。後からスクリプトで生成される内容は結果に現れない場合があります。本文が大きいときは取得上限により途中で切り詰められるため、サイズ表示と切り詰め表示を確認してください。応答時間はこのサービスの実行環境から測った値で、訪問者の回線速度やCore Web Vitalsを示すものではありません。
対象にできるのは公開インターネット上のHTTPまたはHTTPSページです。ローカル、プライベート、予約済みアドレスは対象外です。アクセス制限、地域、時刻、配信状態などが変われば結果も変わり得ます。管理または確認の許可を得たページだけを指定し、URLに機密情報を含めないでください。
関連
関連ツール、特集、利用可能なAPIを探せます。