有人幫你睇伺服器記錄，話你知：「Google 同 AI 都嚟爬過你個站。」聽落好似係同一類嘢嚟咗兩次。其實唔係。Googlebot 同 AI 爬蟲點樣嚟、嚟做乜、聽唔聽你嘅指示、認唔認得出，四樣都唔同。當咗佢哋一樣，你會用錯方法擋，又會睇錯數字。
呢篇唔講 Cloudflare 嗰個「擋 AI 可能擋埋 Google」嘅掣，嗰件事另一篇講過。呢度講嘅係兩類程式本身有乜分別，同埋分清楚之後你點樣睇自己嘅記錄。
一、點樣嚟：一個自己爬落去，一個我哋測嗰輪冇爬落去
Googlebot 係自動爬嘅。Google 嘅搜尋運作說明寫明，佢由已知網頁抽出連結去發現新網頁，亦會讀你提交嘅網頁清單，然後用演算法決定爬邊啲站、幾耐爬一次。同一份文件亦寫，Google 爬嗰陣會用新版 Chrome 執行頁面上嘅 JavaScript。
AI 嗰邊我哋自己量過，測嘅係你喺對話貼條網址畀佢嗰種讀取。2026-09-05 我哋喺乾淨條件下同一輪測 Grok、Gemini、Claude、ChatGPT：畀每隻一條全新網址，頁面上有一條第二層連結。結果四隻都攞咗我哋畀嗰一版，但第二層連結一條都冇被抓。同一日嘅測試，Gemini、Claude、ChatGPT 都冇執行 JavaScript，得 Grok 有。
即係話，Googlebot 嗰套順住連結爬落去嘅做法，嗰日四隻 AI 都冇做。注意：呢個係一個站、一日嘅少量觀測，唔係定律，所以我哋每次講都標住日期。但實務上你唔應該指意 AI 自己爬入去，點應對我哋喺〈AI 唔會由你首頁爬入去搵你篇文〉講過。
二、嚟做乜：一個服務搜尋，一個唔止一個目的
Googlebot 嚟係為咗 Google 搜尋，同埋圖片、影片、新聞、Discover 呢類搜尋相關嘅產品，Google 嘅爬蟲清單寫得清楚。
AI 公司嘅爬蟲就唔止一個目的。以 OpenAI 嘅官方爬蟲文件為例，佢列咗幾隻，同你個網站最有關嘅三隻係：GPTBot 攞嘅內容可能用嚟訓練模型；OAI-SearchBot 係畀 ChatGPT 搜尋功能用嘅，擋咗佢，網站就唔會出現喺 ChatGPT 嘅搜尋答案（官方補一句：仍可能以導航連結形式出現）；ChatGPT-User 係用戶喺 ChatGPT 做某啲動作嗰陣先去開網頁。三隻嘢嚟過，對你嘅意思唔同，呢點我哋喺〈「AI 讀過我個站」唔等於「AI 會推薦我」〉拆過，唔重講。
順帶一提，Google 自己都分開兩個掣：robots.txt 入面有個叫 Google-Extended 嘅控制項，管嘅係你嘅內容可唔可以用嚟訓練 Gemini 模型同做參考依據。上面嗰份爬蟲清單寫明佢冇自己嘅 User-Agent，亦唔影響網站喺 Google 搜尋嘅收錄同排名。即係連 Google 自己都將「搜尋收錄」同「AI 用途」分開。
三、聽唔聽 robots.txt：自動爬嗰類聽，有人叫嚟嗰類「可能唔適用」
Google 將自己嘅程式分三類，寫喺爬蟲同擷取工具總覽：一般爬蟲（Googlebot 屬呢類）自動爬嗰陣一律遵守 robots.txt；特殊用途爬蟲係個別產品同網站有協議之下先用；而用戶觸發嘅擷取工具，因為係用戶要求去攞，官方寫明一般會忽略 robots.txt 規則。
AI 嗰邊亦有同一條線。OpenAI 寫明 ChatGPT-User 唔係用嚟自動爬網，而且因為呢啲動作係由用戶發起，robots.txt 規則可能唔適用。
所以就 Google 同 OpenAI 嘅官方講法，robots.txt 擋得住嘅，係「程式自己排期嚟爬」嗰種。有個人當場叫 AI 開你一版嗰種，官方自己都話未必聽。你想擋乜、擋唔擋得到，要分開諗。
四、認唔認得出：一個有官方方法對，一隻嗰輪一個名都冇報
Google 話你知點樣核實一個請求係唔係真係 Googlebot，兩個方法：反查 DNS 睇域名係唔係 googlebot.com、google.com 或者 googleusercontent.com，再正查對返原本個 IP；或者直接對 Google 公開嘅 IP 範圍清單。OpenAI 上面提到嘅三隻亦各有公開 IP 清單。
AI 讀取端嗰邊，我哋 2026-09-05 收到嘅就參差好多：
- Claude 報
Claude-User/1.0，仲留埋聯絡電郵。 - Gemini 嘅 User-Agent 得一個字：
Google。反查到 google.com，但同 Googlebot 嗰串自報完全唔同（Googlebot 自報嘅格式，上面嗰份爬蟲清單有公開寫低）。 - ChatGPT 報
ChatGPT-User/1.0，由 Azure 網段出，而 OpenAI 有公開 IP 清單可以對。 - Grok 2026-09-05 同一輪出咗 11 次，一次都冇自報身分。行 JavaScript 嗰次用嘅 User-Agent 同一個真人用 Windows Chrome 一模一樣，仲經住宅代理出。我哋知道係 Grok，純粹因為條網址係我哋親手畀佢嘅。
所以 Googlebot 嚟過，你有官方方法可以對。AI 讀取就唔係次次對得到：我哋個公開數據頁寫明，有啲公司根本冇出官方 IP 清單，有啲讀取係由問嘢嗰個人自己部電腦發出，核實唔到係設計上嘅事，唔係量得差。
Googlebot 係一個有名有姓、有固定路數嘅訪客。AI 爬蟲係一班唔同公司、唔同目的、有啲唔報名嘅訪客。用同一個格仔記佢哋，記出嚟嘅數冇意思。
睇記錄嗰陣點樣分開計
我哋自己個數據頁係咁做嘅：搜尋引擎嘅爬蟲另開一欄叫「搜尋引擎收錄記錄」，刻意唔計入「AI 讀取」個數；同時寫明 Googlebot 嚟過唔等於已收錄，而且每一層都係獨立嘅事，上一層發生咗唔代表下一層會發生。
你自己睇記錄，或者有人畀你一份爬蟲報告，可以問三句：
- 嚟嗰隻叫咩名，係搜尋引擎定 AI 公司？
- 佢係嚟收錄、訓練，定係有人當場叫佢讀？
- 認出佢係靠自報個名，定係對過 IP？
三句答得出，份報告先有參考價值。答唔出，嗰個「爬蟲次數」只係「有嘢嚟過」。
一句要講清楚嘅說話
分清楚兩類程式，唔會令 Google 排你高啲，亦唔會令 AI 提起你。佢做到嘅只係：你唔會擋錯嘢，亦唔會為一個撈埋計嘅數字開心或者擔心。
想知自己個站對呢兩類程式而家係咩樣，可以行一次我哋嘅免費檢查：八項專睇 AI 讀唔讀到嘅檢查，包括有冇擋走 AI 爬蟲、原始 HTML 有冇文字。免費，唔使登記。
