# FLIGHT DECK — robots.txt
# 政策（2026-07-27 訂）：
#   搜尋引擎（含會標出處、會帶流量進來的 AI 搜尋）一律歡迎。
#   純粹拿去訓練模型、不會回連也不會標出處的爬蟲，一律擋。
#   robots.txt 是君子協定，只有守規矩的爬蟲會理它；真正的強制在
#   Cloudflare 的 AI Crawl Control（同一套分類，在 dashboard 開）。

# ---------- 一般搜尋引擎：全站開放 ----------
User-agent: *
Allow: /

# 開發／工具頁面不需被索引
Disallow: /tools/
Disallow: /docs/
# 題庫原始 JSON：是給 App 執行時抓的，不是給人讀的頁面，被索引沒有 SEO 價值，
# 卻等於把整套題庫連同英文欄位攤成一份現成的可下載資料集。可被索引的內容
# 走 /modules/ 的靜態頁，那邊照常開放。（此行只擋索引，不影響 App 讀取。）
Disallow: /data/

# ---------- AI 搜尋／使用者觸發的取用：允許 ----------
# 這幾支是「有人問問題時才來取用、答完會標出處連回來」的，等於曝光，不擋。
# 注意：爬蟲只讀「自己那一組」，不會繼承上面 * 那組的 Disallow，
# 所以每組都要自己重寫一次，否則等於對它們開放 /data/。
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /tools/
Disallow: /docs/
Disallow: /data/

# Google-Extended：放行（2026-07-28 使用者決定）。
# 它與上面幾支不同，是「一個開關管兩件事」：既管內容能不能拿去訓練 Gemini，
# 也管 Gemini 回答時能不能引用本站（Grounding with Google Search 明文不使用
# disallow 了 Google-Extended 的網頁）。Google 沒有把兩者拆開，只能整包決定。
# 取捨：引用那一半符合本站政策（會標出處、會帶流量回來），故放行，代價是內容
# 可能被用於訓練。使用條款的「禁止抓取供 AI 訓練」因此加註「本檔明示放行者除外」。
# 註：擋或放都不影響 Google 搜尋排名與 AI Overviews（那兩者走一般 Googlebot）。
User-agent: Google-Extended
Allow: /
Disallow: /tools/
Disallow: /docs/
Disallow: /data/

# ---------- 純模型訓練用的爬蟲：擋 ----------
# 擋這些不影響任何搜尋排名：Googlebot 與 Bingbot 不在此列。
# （Google-Extended 已移到上面放行，理由見那一段。）
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: ImagesiftBot
Disallow: /

Sitemap: https://flightdecktw.net/sitemap.xml