# AI 爬蟲同 Googlebot 唔係同一回事：四個分別，同點解要分開計 AI 爬蟲同 Googlebot 聽落似同一類嘢，其實點樣嚟、嚟做乜、聽唔聽 robots.txt、認唔認得出，四樣都唔同。呢篇用 Google 同 OpenAI 官方文件，加我哋 2026-09-05 嘅實測記錄逐樣拆開，同埋講睇爬蟲數字嗰陣點樣分開計。 原文：https://www.haoflowai.com/learn/ai-crawler-vs-googlebot 發佈日期：2026-10-23 --- 有人幫你睇伺服器記錄，話你知：「Google 同 AI 都嚟爬過你個站。」聽落好似係同一類嘢嚟咗兩次。其實唔係。Googlebot 同 AI 爬蟲點樣嚟、嚟做乜、聽唔聽你嘅指示、認唔認得出，四樣都唔同。當咗佢哋一樣，你會用錯方法擋，又會睇錯數字。 呢篇唔講 Cloudflare 嗰個「擋 AI 可能擋埋 Google」嘅掣，嗰件事[另一篇](https://www.haoflowai.com/learn/cloudflare-ai-block-may-block-google)講過。呢度講嘅係兩類程式本身有乜分別，同埋分清楚之後你點樣睇自己嘅記錄。 ## 一、點樣嚟：一個自己爬落去，一個我哋測嗰輪冇爬落去 Googlebot 係自動爬嘅。Google 嘅[搜尋運作說明](https://developers.google.com/search/docs/fundamentals/how-search-works)寫明，佢由已知網頁抽出連結去發現新網頁，亦會讀你提交嘅網頁清單，然後用演算法決定爬邊啲站、幾耐爬一次。同一份文件亦寫，Google 爬嗰陣會用新版 Chrome 執行頁面上嘅 JavaScript。 AI 嗰邊我哋自己量過，測嘅係你喺對話貼條網址畀佢嗰種讀取。2026-09-05 我哋喺乾淨條件下同一輪測 Grok、Gemini、Claude、ChatGPT：畀每隻一條全新網址，頁面上有一條第二層連結。結果四隻都攞咗我哋畀嗰一版，但第二層連結一條都冇被抓。同一日嘅測試，Gemini、Claude、ChatGPT 都冇執行 JavaScript，得 Grok 有。 即係話，Googlebot 嗰套順住連結爬落去嘅做法，嗰日四隻 AI 都冇做。注意：呢個係一個站、一日嘅少量觀測，唔係定律，所以我哋每次講都標住日期。但實務上你唔應該指意 AI 自己爬入去，點應對我哋喺[〈AI 唔會由你首頁爬入去搵你篇文〉](https://www.haoflowai.com/learn/ai-wont-crawl-deep)講過。 ## 二、嚟做乜：一個服務搜尋，一個唔止一個目的 Googlebot 嚟係為咗 Google 搜尋，同埋圖片、影片、新聞、Discover 呢類搜尋相關嘅產品，Google 嘅[爬蟲清單](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)寫得清楚。 AI 公司嘅爬蟲就唔止一個目的。以 OpenAI 嘅[官方爬蟲文件](https://developers.openai.com/api/docs/bots)為例，佢列咗幾隻，同你個網站最有關嘅三隻係：GPTBot 攞嘅內容可能用嚟訓練模型；OAI-SearchBot 係畀 ChatGPT 搜尋功能用嘅，擋咗佢，網站就唔會出現喺 ChatGPT 嘅搜尋答案（官方補一句：仍可能以導航連結形式出現）；ChatGPT-User 係用戶喺 ChatGPT 做某啲動作嗰陣先去開網頁。三隻嘢嚟過，對你嘅意思唔同，呢點我哋喺[〈「AI 讀過我個站」唔等於「AI 會推薦我」〉](https://www.haoflowai.com/learn/ai-read-is-not-ai-recommend)拆過，唔重講。 順帶一提，Google 自己都分開兩個掣：robots.txt 入面有個叫 Google-Extended 嘅控制項，管嘅係你嘅內容可唔可以用嚟訓練 Gemini 模型同做參考依據。上面嗰份爬蟲清單寫明佢冇自己嘅 User-Agent，亦唔影響網站喺 Google 搜尋嘅收錄同排名。即係連 Google 自己都將「搜尋收錄」同「AI 用途」分開。 ## 三、聽唔聽 robots.txt：自動爬嗰類聽，有人叫嚟嗰類「可能唔適用」 Google 將自己嘅程式分三類，寫喺[爬蟲同擷取工具總覽](https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)：一般爬蟲（Googlebot 屬呢類）自動爬嗰陣一律遵守 robots.txt；特殊用途爬蟲係個別產品同網站有協議之下先用；而[用戶觸發嘅擷取工具](https://developers.google.com/search/docs/crawling-indexing/google-user-triggered-fetchers)，因為係用戶要求去攞，官方寫明一般會忽略 robots.txt 規則。 AI 嗰邊亦有同一條線。OpenAI 寫明 ChatGPT-User 唔係用嚟自動爬網，而且因為呢啲動作係由用戶發起，robots.txt 規則可能唔適用。 所以就 Google 同 OpenAI 嘅官方講法，robots.txt 擋得住嘅，係「程式自己排期嚟爬」嗰種。有個人當場叫 AI 開你一版嗰種，官方自己都話未必聽。你想擋乜、擋唔擋得到，要分開諗。 ## 四、認唔認得出：一個有官方方法對，一隻嗰輪一個名都冇報 Google 話你知點樣[核實一個請求係唔係真係 Googlebot](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot)，兩個方法：反查 DNS 睇域名係唔係 googlebot.com、google.com 或者 googleusercontent.com，再正查對返原本個 IP；或者直接對 Google 公開嘅 IP 範圍清單。OpenAI 上面提到嘅三隻亦各有公開 IP 清單。 AI 讀取端嗰邊，我哋 2026-09-05 收到嘅就參差好多： - Claude 報 `Claude-User/1.0`，仲留埋聯絡電郵。 - Gemini 嘅 User-Agent 得一個字：`Google`。反查到 google.com，但同 Googlebot 嗰串自報完全唔同（Googlebot 自報嘅格式，上面嗰份爬蟲清單有公開寫低）。 - ChatGPT 報 `ChatGPT-User/1.0`，由 Azure 網段出，而 OpenAI 有公開 IP 清單可以對。 - Grok 2026-09-05 同一輪出咗 11 次，一次都冇自報身分。行 JavaScript 嗰次用嘅 User-Agent 同一個真人用 Windows Chrome 一模一樣，仲經住宅代理出。我哋知道係 Grok，純粹因為條網址係我哋親手畀佢嘅。 所以 Googlebot 嚟過，你有官方方法可以對。AI 讀取就唔係次次對得到：我哋個[公開數據頁](https://www.haoflowai.com/stats)寫明，有啲公司根本冇出官方 IP 清單，有啲讀取係由問嘢嗰個人自己部電腦發出，核實唔到係設計上嘅事，唔係量得差。 > Googlebot 係一個有名有姓、有固定路數嘅訪客。AI 爬蟲係一班唔同公司、唔同目的、有啲唔報名嘅訪客。用同一個格仔記佢哋，記出嚟嘅數冇意思。 ## 睇記錄嗰陣點樣分開計 我哋自己個數據頁係咁做嘅：搜尋引擎嘅爬蟲另開一欄叫「搜尋引擎收錄記錄」，刻意唔計入「AI 讀取」個數；同時寫明 Googlebot 嚟過唔等於已收錄，而且每一層都係獨立嘅事，上一層發生咗唔代表下一層會發生。 你自己睇記錄，或者有人畀你一份爬蟲報告，可以問三句： 1. 嚟嗰隻叫咩名，係搜尋引擎定 AI 公司？ 2. 佢係嚟收錄、訓練，定係有人當場叫佢讀？ 3. 認出佢係靠自報個名，定係對過 IP？ 三句答得出，份報告先有參考價值。答唔出，嗰個「爬蟲次數」只係「有嘢嚟過」。 ## 一句要講清楚嘅說話 分清楚兩類程式，唔會令 Google 排你高啲，亦唔會令 AI 提起你。佢做到嘅只係：你唔會擋錯嘢，亦唔會為一個撈埋計嘅數字開心或者擔心。 想知自己個站對呢兩類程式而家係咩樣，可以行一次我哋嘅[免費檢查](https://www.haoflowai.com/check)：八項專睇 AI 讀唔讀到嘅檢查，包括有冇擋走 AI 爬蟲、原始 HTML 有冇文字。免費，唔使登記。 --- ## 關於呢篇文入面嘅數據 文中數字有唔同來源：我哋自己嘅觀測，只代表標明日期同條件下伺服器收到嘅記錄；Google、研究機構等外部數字，要按佢哋各自嘅量度範圍去睇。兩者都**唔係行業通則**，亦唔等於你個網站嘅結果。要睇得準，有四樣要記住。 **更正記錄（2026-10-13）：**舊版共用聲明寫「我哋寫落嘅每一個數，都係我哋自己部伺服器喺文入面嗰個日子收到嘅記錄」；呢句忽略咗文章亦會引用外部數據，現已改為分清來源。 **一、AI 嘅運作模式同條件會不停轉換。** 佢哋幾時改、改乜，唔會事先通知任何人。今日成立嘅觀察，下個月可能已經唔同。 我哋會持續追住呢啲轉變、重新量度；量到同之前唔同，就會更新呢篇文，並且寫明改咗乜、幾時改。 **二、我哋唔保證所有數據 100% 精準。** 呢句唔係客套。講到 AI 爬蟲紀錄，具體限制包括： - 有 AI 讀嘢嗰陣**完全唔自報身分**，扮成普通瀏覽器（2026-09-05 我哋實測 Grok 出咗 11 次，一次都冇報過，其中一次連 User-Agent 都同真人用 Windows Chrome 一模一樣）。所以任何「AI 讀取次數」都**唔會齊** - 部分公司（例如 Anthropic、xAI）冇公開爬蟲 IP 清單，所以我哋**核實唔到，唔等於係假** - 一次觀測代表嗰一日、嗰一個站、嗰一套設定。一個站試到，唔代表你個站一樣 **三、我哋只講量到嘅，唔講定律。** 講我哋自己嘅觀測時，會寫明「X 月 X 日我哋收到咩」，唔會將一次觀測講成「某某 AI 一律會／唔會點點點」。 一次觀測撐唔起一條定律。我哋寧願句子講得細，都唔想講得靚但企唔穩。 **四、我哋量錯咗會點做。** 如果我哋量錯咗、引錯來源，或者有人攞得出相反嘅伺服器記錄，我哋會喺呢篇文入面**留住原本嗰句**， 再標明更正咗乜、幾時更正 —— 唔會靜靜哋改完當冇事發生。 一個睇唔到更正紀錄嘅網站，先至係最唔應該信嗰種。 有懷疑，或者你手上有唔同嘅記錄，[講聲畀我哋知](mailto:info@haoflowai.com)。攞得出記錄嘅更正，我哋一定出。 --- ## 關於 灝創智能 灝創智能（https://www.haoflowai.com）係一個香港商戶免費宣傳平台，由灝創智能 Haoflow AI營運。 登記免費，平台唔收刊登費亦唔收排位費。新商戶首 7 日按加入時間展示，其後每日輪換；AI 優化分只作診斷，唔影響展示次序。 展示次序唔代表平台對商戶質素、服務或產品作出評分、認證或推薦。