蜘蛛抓取模擬器

用指定爬蟲標識檢視一次網頁回應

輸入公開網頁網址並選擇一種搜尋引擎 User-Agent 後，工具會向該網址送出 HTTP 請求，呈現這次請求收到的狀態碼、最終網址、回應時間、內容類型、字元編碼、回應標頭及 HTML 文字。可選標識包括百度、Google、Bing、搜狗、360、Yandex 與位元組跳動的桌面或行動版本。伺服器可能根據 User-Agent 或其他請求條件回傳不同頁面，因此結果適合用來比對自有網站對不同請求標識的回應。

User-Agent 是請求中描述用戶端的文字欄位。只更換這段文字，不會讓請求變成搜尋引擎本身的真實檢索，也不會使用該搜尋引擎的來源 IP 或完整瀏覽器環境。Google 說明其 User-Agent 常被其他爬蟲假冒；若要確認伺服器記錄中的請求是否來自 Google，應依官方建議核對來源 IP 或反向 DNS。Google 搜尋中心：Googlebot 簡介。

狀態碼、頁面欄位與原始 HTML

結果先列出本次 HTTP 狀態、請求與最終網址、所選標識、回應耗時及內容大小；後續可查看頁面標題、description、keywords、meta robots、canonical、H1 至 H3 標題、站內與站外連結、回應標頭及 HTML 原始碼。meta robots 是 HTML 頁面中的中繼資料，並非網站根目錄的 robots.txt。工具不會展示 robots.txt 檔案，也不會替你判定 Google 是否已收錄頁面。

這些欄位反映單次請求取得的初始回應內容。若狀態碼為 200，只能表示這次請求得到成功狀態；檢索與建立索引是不同階段。若回應因大小限制被截斷，畫面會提示原始碼不完整，後段標籤、連結或文字也可能無法完整呈現。

如何比較不同標識的頁面回應

1. 輸入可公開存取的網址

   填入完整的 HTTP 或 HTTPS 網址，例如 https://example.com/page。網址可包含路徑與查詢參數；工具會移除片段識別字。僅能檢查公開網際網路位址，內網、localhost 與保留位址不適用。

2. 選擇要檢查的 User-Agent

   依網站預計比對的對象選取桌面或行動標識。可先記錄一種標識的狀態碼、最終網址與頁面欄位，再切換選項重做，以便辨認伺服器是否回傳不同內容。

3. 檢視回應摘要與分頁

   先查看狀態碼和最終網址，再對照回應標頭、頁面資訊、標題層級、連結及 HTML。若最終網址改變，表示請求經過重新導向；若標題或正文空白，確認 Content-Type、回應大小與截斷提示。

4. 回到網站設定確認差異

   把結果與伺服器日誌、存取控制及頁面原始碼對照。對自己管理的網站，可檢查是否有預期的轉址、權限規則或依請求標識提供不同內容；單次差異本身不等同錯誤。

常見結果該怎麼解讀

單次請求的觀察範圍與使用邊界

結果取決於請求當下的網站狀態、伺服器位置、存取規則及網路環境，不能代表訪客所在地的頁面體驗、真實搜尋引擎檢索或索引結果。這不是完整瀏覽器，不執行 JavaScript；HTML 回應過大時會截斷，解析出的標題、連結與文字可能不完整。畫面中的 robots 欄位來自頁面 meta robots，不是 robots.txt 規則檢查。

只提交你有權檢查的公開網址，不要把含有登入憑證、個人資料或其他機密的連結放入欄位。工具拒絕私有、回環與保留網路位址，並限制請求時間及可讀取回應大小；因此不適合測試內部服務或大型下載內容。不同搜尋引擎也可能使用不同來源位置、爬取政策及渲染方式，這項測試不能取代各搜尋引擎自己的站長診斷工具。