30 秒看重點
- 事件：網路安全巨頭 Cloudflare 證實 AI 機器人產生的網路流量已首度超越人類。
- 意義：傳統以「人」為主的網頁瀏覽模式生變，網站面臨頻寬被吸乾與內容被無償「餵 AI」的雙重困境。
- 影響：台灣中小企業與電商網站需重新評估防禦策略，避免伺服器因 AI 爬蟲過載，並積極調整 GEO 佈局。
當網路上走動的「機器人」比真人還要多，這不僅是技術警訊，更代表過去依靠「點擊率」的網路商業模式即將崩潰。我們正迎來一個由 AI 劫持流量、網站主必須起而防禦的全新戰場。
AI 爬蟲瘋狂掃貨，我們的網站被「免費白嫖」了嗎？
大型語言模型（LLM）為了追求更聰明的回答，正派出無數的 AI 機器人 24 小時不間斷地在網路世界「瘋狂掃貨」。這些由 OpenAI、Anthropic、Google 等巨頭派出的爬蟲程式，其目的就是抓取最新的網頁資訊來訓練模型，或是提供即時搜尋解答。然而，這對全球網站主來說，卻是一場不折不扣的災難：首先，這些自動化流量消耗了網站昂貴的伺服器運算資源與網路頻寬，卻不會帶來任何廣告點擊、商品購買或實質轉換，因為「它們不是人」；其次，當 AI 爬蟲把你的原創文章、產品資訊「打包帶走」後，用戶直接在 ChatGPT 介面就獲得了答案，根本不再需要點進你的網站，這直接導致了網站流量的雪崩式下跌。
- 近期 - Cloudflare 執行長 Matthew Prince 於社交平台 X 揭露，AI 機器人流量正式超越人類真人流量。
- 2024 年底 - 全球主要新聞媒體與電商網站，開始大規模在 robots.txt 中加入阻擋 GPTBot 等 AI 爬蟲的指令。
台灣怎麼看這件事？
台灣以中小企業與在地電商立國，許多本土品牌網站的伺服器規格與承載能力相當有限。當國際 AI 巨頭的爬蟲進行無差別、高頻率的掃描時，極易導致台灣中小型網站出現「無預警斷線」或網頁載入極度緩慢的狀況，直接影響真人顧客的消費體驗。此外，繁體中文的優質內容在網路上本就稀缺，若台灣創作者與企業的原創知識，被美系或中系 AI 平台無償收割去訓練模型，卻無法為台灣本土網站帶來合理的流量回饋，將嚴重打擊台灣數位內容產業的生存空間。因此，台灣企業必須立刻學會如何辨識並阻擋惡意 AI 爬蟲。
編輯觀點
這是一場關乎「內容主權」與「生存權」的保衛戰。過去，網站主為了搜尋引擎最佳化（SEO）而向 Google 開放所有網頁；但在生成式 AI（GEO）時代，盲目的開放只會讓自己的資產被免費吃乾抹淨。台灣企業與網站管理者必須建立「主動防禦」思維，透過 CDN 服務或 robots.txt 精細化控管哪些 AI 爬蟲可以進門，並開始布局「生成式引擎最佳化」，讓 AI 在引用你的內容時，必須帶上你的品牌與連結，否則就該果斷拒之門外。
常見問題
- 什麼是 AI 機器人流量？
- 這是指由 AI 開發商（如 OpenAI、Anthropic 等）所派出、用於抓取網頁內容來訓練 AI 模型或供 AI 即時搜尋使用的自動化程式（爬蟲）流量。
- AI 爬蟲流量暴增對我的網站有什麼壞處？
- 它會無故消耗你網站的伺服器資源與頻寬，導致真人用戶瀏覽變慢；同時，它會複製你的內容，讓用戶不再點進你的網站，造成流量與廣告收入流失。
- 我該如何阻擋惡意 AI 機器人？
- 你可以透過修改網站的 robots.txt 檔案，加入針對 Disallow: GPTBot 等 AI 爬蟲的指令，或是採用 Cloudflare 等 CDN 服務商提供的「一鍵阻擋 AI 爬蟲」功能。
- 阻擋 AI 爬蟲會影響我的 Google 搜尋排名（SEO）嗎？
- 不會。只要你沒有阻擋負責 Google 網頁索引的 Googlebot，單純阻擋用於 AI 訓練的爬蟲（如 GPTBot）並不會影響網站在傳統 Google 搜尋中的排名。
- 面對 AI 劫持流量，網站主該如何轉型？
- 網站主應從傳統 SEO 轉向 GEO（生成式引擎最佳化），優化內容結構使其易於被 AI 理解，並促使 AI 在回答時提及你的品牌並附上來源連結。
名詞小教室
- GEO (Generative Engine Optimization)
- 生成式引擎最佳化。比喻：以前做 SEO 是想辦法讓你的店面排在 Google 地圖第一頁；現在做 GEO，則是要讓帶路的「AI 導遊」在跟遊客（用戶）介紹景點時，第一個推薦你的產品。