AI 可讀度

幾間 AI 公司認咗同一句 robots.txt「唔准攞我去訓練」:中小企使唔使即刻加?

2026 年 10 月 30 日,Google、Microsoft、OpenAI 表態支持一個由 Anthropic 喺 IETF 提出嘅共用訓練退出訊號。呢句寫法係咩、幾時生效、唔管乜,同埋香港中小企加唔加之前要諗清楚嘅兩件事。

幾間 AI 公司認咗同一句 robots.txt「唔准攞我去訓練」:中小企使唔使即刻加?(示意圖)

上星期有單同 AI 爬蟲有關嘅新聞。以前你唔想畀 AI 攞你啲內容去訓練模型,要逐間公司逐個爬蟲名去寫規則:GPTBot 一行、Google-Extended 一行、ClaudeBot 又一行。

而家幾間大公司話:可以寫一組共用規則,同時講畀有參與嘅公司聽。

件事係咩

2026 年 10 月 30 日,Anthropic 嘅 Kevin Kelley 喺 IETF(制定互聯網標準嘅組織)提交咗一份草案。同一日,Google 同 Microsoft 各自出公告:Google 話打算支援,Microsoft 話會支援。Engadget 同 The Next Web 10 月 31 日嘅報道都講埋 OpenAI 會跟。

草案自己舉嘅例係咁寫:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

意思係:成個站都唔想畀人攞去訓練,/press-kit/ 嗰度就歡迎。

幾時生效,各家唔同:

公司幾時開始跟出處
Google打算 2027 年初Google 爬蟲說明頁
Microsoft2027 年 2 月 1 日Bing 官方 blog
OpenAI「未來幾個月」Engadget、The Next Web 轉述

⚠️ 份草案仲係個人提交(individual)嘅初稿,IETF 未背書,唔係已定案嘅標準。Google 自己都話會繼續喺 IETF 改。寫法到時可能會變。

佢唔管嘅三樣嘢

一、唔係「唔准爬」。 草案寫明呢個標記唔係爬取指令。想限制邊個入嚟爬,要照舊用各家爬蟲嘅名去寫。

二、唔影響 Google 搜尋。 Google 嘅爬蟲說明頁寫明,Google-Extended 唔影響網站喺 Google 搜尋嘅收錄,亦唔係排名訊號。Microsoft 亦講明,呢套偏好唔改變傳統 Bing 搜尋結果嘅收錄資格。

三、唔追溯。 Engadget 報道指出,呢句改變唔到過去已經被攞咗嘅嘢,只係講你之後嘅意願。

加之前要知嘅兩件事

第一件:舊規則唔算數。 好多網站張 robots.txt 有一段 User-agent: *,對所有程式講話。草案寫明呢種通用組別唔可以當成對應呢個標記。即係話,你冇特登加 __usage_ai-training 呢一組,就係「未表達任何意願」。

第二件:喺 Google 嗰邊,佢連住 Gemini 答問題。 Google 公告講,網站用呢句退出訓練、又冇另外寫 Google-Extended,Google 打算當你封咗 Google-Extended。而按 Google 爬蟲說明,Google-Extended 唔止管訓練,仲管 Gemini 應用程式答問題時攞唔攞你嘅內容做依據。Google 公告亦講,明確放行 Google-Extended 嘅網站,有資格喺 Gemini 應用程式嘅回應度出現同收到點擊。

我哋嘅讀法係:一句「唔准攞我去訓練」,喺 Google 嗰邊可能順手令你喺 Gemini 應用程式嘅答案度少咗出場機會。呢個係由官方文件推論出嚟,冇實測;Google AI 摘要同 AI 模式受唔受影響,公告同說明頁都冇講,我哋唔知。

「唔想畀人攞去訓練」同「唔想 AI 答問題嗰陣引用我」,聽落似一件事,其實係兩個決定。

呢個分別我哋之前喺〈Google 開咗個掣,畀你唔出現喺 AI 搜尋〉同〈「擋 AI」同「擋 Google」可能係同一個掣〉都講過。今次只係換咗一個新掣,問題一樣。

同我哋量到嘅嘢有咩關係

2026 年 9 月 5 日我哋測試嗰陣,Claude 同 ChatGPT 喺對話入面即時讀網頁,報嘅身分係 Claude-User/1.0 同 ChatGPT-User/1.0。嗰種係「有人問緊,AI 即刻去睇」,同「攞你嘅內容去改個模型」係兩回事。

新訊號會唔會令嗰種即時讀取有變,草案冇講,我哋亦未量過,唔知。

另外要講清楚:放行訓練,唔等於 AI 會推薦你。讀過同推薦本身已經係兩回事,詳細見〈「AI 讀過我個站」唔等於「AI 會推薦我」〉。

咁我要唔要加?

我哋唔會替你決定,但可以講我哋點睇:

  1. 唔使趕。 Google 打算 2027 年初先跟,Microsoft 定咗 2027 年 2 月 1 日,草案仲會改。而家加咗,Google 同 Microsoft 暫時都未照做。
  2. 先問自己想擋乜。 內容就係你賣緊嘅產品(例如收費教材),退出訓練好合理。如果你寫文係為咗畀客人搵到你,就要諗埋上面講嘅 Gemini 嗰點。
  3. 真係要加,就獨立寫一組。 唔好改你原本 User-agent: * 或者 Googlebot 嗰段,改錯咗有機會連搜尋引擎都擋埋。
  4. 想喺 Google 嗰邊分開處理,就照公告講法,另外寫一段 Google-Extended 規則,講明你想點。
  5. 加完喺網域後面打 /robots.txt 睇一次,確認冇唔小心封咗成個站。

第 5 點唔想自己逐行睇,可以用我哋嘅免費檢查。佢會睇你張 robots.txt 有冇成個站封晒,或者擋咗主要 AI 爬蟲。

先建立一個清晰的品牌資料入口

讓更多用戶在搜尋與 AI 時找到你,從準確的資料開始。