一句話結論：robots.txt 是放在網站根目錄的純文字檔，用來告訴 Googlebot、GPTBot、ClaudeBot 等守規矩的爬蟲哪些頁面可以抓、哪些不要抓。2026 年正確的做法是：只擋後台與不必要的目錄，明確開放主流 AI 爬蟲，並指向正確的 sitemap。設錯一行 Disallow: / 會讓整站從搜尋消失；把 AI 爬蟲全擋掉，則等於放棄整個 AI 搜尋市場。
robots.txt 是網站的「守門員」，決定哪些爬蟲可以進來。它只有幾行字，卻是甫東科技做網站健檢時最常發現問題的地方：有人整站封鎖了自己都不知道，也有人因為擔心內容被 AI 拿走，把 GPTBot、ClaudeBot 全部擋在門外，結果 ChatGPT 與 Google AI 完全不認識這家公司。這篇文章用白話說明 robots.txt 怎麼運作、2026 年該開放哪些 AI 爬蟲、正確的設定範例，以及最常見的錯誤與檢查方法。
robots.txt 是什麼？它能做什麼、不能做什麼？
robots.txt 是放在網站根目錄的文字檔，網址是「你的網域/robots.txt」，用來告訴各種爬蟲「哪些頁面可以抓、哪些不要抓」。它是一份給守規矩的爬蟲看的指引，例如 Googlebot、Bingbot，以及各家 AI 公司的爬蟲，這些爬蟲會先讀 robots.txt 再決定要不要抓取。
用生活比喻來說，robots.txt 就像店門口的守門員，手上有一張名單，決定誰能進、誰不能進。但這位守門員只認名單、不會動手：它沒有強制力，惡意爬蟲、抓資料的程式根本不會理它。所以 robots.txt 的用途是「管理正派爬蟲的抓取範圍」，不是資安工具。
能做的事
告訴 Google 不要抓後台、搜尋結果頁、購物車等無意義頁面，節省抓取資源；指向 sitemap 幫助收錄。
不能做的事
擋惡意爬蟲、保護機密資料、讓已收錄的頁面從 Google 消失（那要用 noindex）。
2026 年的新角色
決定 AI 爬蟲能不能認識你的網站，進而影響你會不會出現在 AI Overview、ChatGPT 與 Perplexity 的答案裡。
為什麼 2026 年要開放 AI 爬蟲？
要開放 AI 爬蟲，是因為 AI 搜尋已經成為使用者找答案的主要管道之一，而 AI 只會推薦它讀得到的網站。Google 的 AI Overview 已在台灣上線，ChatGPT 搜尋與 Perplexity 也越來越多人用來找廠商、比較服務；如果你的 robots.txt 把這些爬蟲擋在門外，AI 就無法認識你，自然不會在回答裡提到你。
很多網站主的顧慮是「內容會被 AI 拿走」。這個顧慮可以理解，但對多數中小企業官網來說，網站內容本來就是公開給人看的，被 AI 正確理解並引用，帶來的曝光遠大於被「拿走」的損失。真正需要保護的是後台、會員資料、未公開文件，這些本來就不該放在公開網址上。
重點：把 AI 爬蟲擋在門外，等於把「想幫你介紹客人的貴賓」擋在店外。它進不來，就沒辦法認識你、推薦你。想了解 AI 搜尋的整體策略，可參考 SEO、GEO、AEO、AIO 一次搞懂。
主流 AI 爬蟲有哪些？
各家 AI 公司使用不同名稱的爬蟲，而且同一家可能有多個用途不同的爬蟲：有的用來訓練模型，有的用來即時搜尋、回答使用者問題。對想被 AI 推薦的網站來說，「搜尋用」的爬蟲最重要，建議至少開放下面這些。
| 公司 | 爬蟲名稱（User-agent） | 用途 |
|---|---|---|
| OpenAI | GPTBot、OAI-SearchBot、ChatGPT-User | 模型訓練、ChatGPT 搜尋、使用者即時瀏覽 |
| Anthropic | ClaudeBot、Claude-Web | Claude 模型訓練與即時查詢 |
| Perplexity | PerplexityBot | Perplexity AI 搜尋引擎 |
| Google-Extended | Gemini 模型訓練（AI Overview 仍使用 Googlebot） | |
| Apple / 其他 | Applebot-Extended、CCBot | Apple 智慧功能、Common Crawl 公開資料集 |
一個常見誤解：擋掉 Google-Extended 不會影響 Google 搜尋與 AI Overview，因為 AI Overview 用的是一般的 Googlebot。但反過來說，如果你擋掉 Googlebot，Google 搜尋與 AI Overview 都會一起消失。設定前務必分清楚每個爬蟲的用途。
robots.txt 正確設定範例
對多數 WordPress 官網來說，一份乾淨的 robots.txt 只需要三件事：擋掉後台目錄、明確開放主流 AI 爬蟲、指向 sitemap。下面是甫東科技為客戶設定時的基本範本，可以依網站結構調整。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# 明確開放主流 AI 爬蟲
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://yoursite.com/sitemap.xml幾個設定時的原則：
預設放行，例外才擋
User-agent: * 之下只列真正不需要被抓的目錄（後台、購物車、站內搜尋結果頁）。不要把 wp-content 或 wp-includes 整個擋掉，那會讓 Google 抓不到圖片與樣式，影響行動裝置評分。
AI 爬蟲逐一明確開放
雖然 User-agent: * 的規則已經放行，但逐一列出 Allow: / 可以避免被其他規則或外掛覆蓋，也方便日後檢查。
一定要有 Sitemap 這一行
指向正確的 sitemap 網址，讓爬蟲有效率地找到所有重要頁面。WordPress 的 SEO 外掛通常會自動產生 sitemap，確認網址正確即可。
最常見的四個 robots.txt 錯誤
robots.txt 的錯誤很少是複雜的技術問題，多半是一行寫錯、或改版時忘了改回來。下面四種是我們健檢時最常遇到的。
- 不小心整站封鎖：Disallow: / 會擋掉全站，是最嚴重的錯誤。常見於網站改版時，開發環境的設定直接搬到正式站，導致網站從搜尋消失。
- 把 AI 爬蟲全部擋掉：有些主機商或資安外掛預設封鎖所有 AI 爬蟲。這樣做等於放棄 AI 搜尋帶來的曝光，多數中小企業得不償失。
- 忘了放 Sitemap：沒有指向 sitemap，爬蟲要靠自己在網站裡摸索，新頁面的收錄速度會明顯變慢。
- 用 robots.txt 想讓頁面「消失」：被擋的頁面如果有外部連結，Google 仍可能收錄網址但顯示不出內容。真的要移除，應該用 noindex 標籤或 Search Console 的移除工具。
我們為客戶設定 robots.txt 時，會先用 Search Console 確認目前的抓取狀況，再決定要擋什麼、開什麼。依我們的經驗，最容易出事的時間點是網站改版與換主機：測試期加的封鎖規則忘了拿掉，或新主機的預設設定擋了 AI 爬蟲，往往幾週後客戶才發現流量掉了。所以我們把 robots.txt 檢查列為每次上線與每季健檢的必做項目。設定錯一行，可能讓網站從搜尋消失，這是值得花十分鐘專業把關的細節。
怎麼檢查 robots.txt 有沒有設對？
檢查只需要三個步驟，不需要任何付費工具。建議每次改版、換主機、更換 SEO 或資安外掛之後都做一次。
- 直接打開檔案：在瀏覽器輸入「你的網域/robots.txt」，確認檔案存在、內容是你預期的，沒有 Disallow: /。
- 用 Google Search Console 檢查：「設定」裡的 robots.txt 報表會顯示 Google 最近讀到的版本與錯誤；「網址檢查」工具則能確認特定頁面是否被 robots.txt 擋住。
- 用網址檢查確認 AI 爬蟲：逐一確認 GPTBot、ClaudeBot、PerplexityBot 沒有被任何規則封鎖。若使用資安外掛或 CDN 防火牆，也要檢查那一層是否另外擋了 AI 爬蟲，因為那不會顯示在 robots.txt 裡。
更完整的 AI 可見度檢查項目，可以對照 官網被 AI 引用的 8 個檢查清單。
常見問題
robots.txt 設錯會怎樣？
最嚴重的情況是 Disallow: / 讓整站從 Google 消失；較常見的是誤擋圖片與樣式目錄，導致行動裝置評分下降，或誤擋 AI 爬蟲讓 AI 搜尋完全找不到你。設定需謹慎，改版後務必重新檢查。
要開放 AI 爬蟲嗎？內容會被 AI 拿走嗎？
建議開放。公開的官網內容被 AI 正確理解並引用，帶來的是曝光與詢問；完全封鎖則等於放棄 AI 搜尋市場。真正需要保護的是後台與未公開資料，那些本來就不該放在公開網址上。
robots.txt 能擋惡意爬蟲嗎？
不能。robots.txt 只對守規矩的爬蟲有效，惡意爬蟲與抓資料的程式不會理會它。要防護惡意流量，需要用防火牆、CDN 規則、速率限制等資安手段，而不是 robots.txt。
怎麼檢查 robots.txt 有沒有設對？
先在瀏覽器直接打開「你的網域/robots.txt」確認內容，再用 Google Search Console 的 robots.txt 報表與網址檢查工具，確認重要頁面沒有被擋、AI 爬蟲沒有被封鎖。若有資安外掛或 CDN，也要檢查那一層的設定。
甫東科技提供哪些相關服務？
甫東科技的 SEO / GEO / AIO 服務包含 robots.txt 與 AI 爬蟲設定、llms.txt 建置、結構化資料、網站技術健檢與每季檢視。服務範圍以高雄、屏東、台南為核心，嘉義、台東與全台皆可遠端合作。
不確定你的網站有沒有把 AI 擋在門外？
甫東科技提供免費網站健檢，會實際檢查你的 robots.txt、資安外掛與 CDN 設定，告訴你 Google 與各家 AI 爬蟲目前能不能進來，以及該怎麼修正。
預約免費網站健檢 →甫東科技有限公司｜高雄市大寮區鳳林一路 184 巷 20-11 號
電話 07-641-8686｜Email service@fulldot.com.tw｜了解 SEO 專業服務
圖片來源：首圖取自 Pexels，依 Pexels License 免費使用；螢幕上的 HTML 程式碼照片由 Florian Olivo 攝影，取自 Unsplash，依 Unsplash License 免費使用。
