KitScout

Categories › Web & Browser › Scraping, crawling & page-to-text

llms.txt 檢查工具

MCP serverVerified domain · penguindriver.comRemote● LiveFree to try

llms.txt 檢查工具：檢查網站的 llms.txt、robots 與 sitemap。台灣繁體中文 MCP 工具。

Install

Remote server: your requests and data go to llms.penguindriver.com. Claude Code: claude mcp add --transport http llms-txt https://llms.penguindriver.com/mcp · Claude app: Settings → Connectors → Add custom connector.

What it can do

The tools this server listed when we connected to it, in its own words.

  • check_llms_txt — 檢查一個網站對 AI 的友善程度：llms.txt 是否存在與格式問題、llms-full.txt、Markdown 頁面、robots.txt 對各 AI 爬蟲的設定、sitemap，回傳 0–100 分與改善建議。
  • check_ai_crawler_access — 讀取網站 robots.txt，回報 GPTBot、ChatGPT-User、ClaudeBot、Claude-User、PerplexityBot 等 13 種 AI 爬蟲是被允許還是封鎖。
  • generate_llms_txt — 讀取網站首頁與 sitemap，自動產生 llms.txt 草稿。
  • validate_llms_txt — 驗證一段 llms.txt 內容是否符合格式（H1、摘要、分區、連結）。

KitScout test notes

Not tested by KitScout yet. When our harness runs it, pros, cons and the tasks we tried appear here, with the date and evidence.

Similar tools