# ===================================================
# Maskinhallar.se, Ågårds Bygg AB
# Plattform: Astro (statisk) på Vercel
# AI-policy: tillåt sök- och citeringsbottar samt seriösa
# träningsbottar, blockera aggressiva skrapor och regional
# trafik utan målmarknad. Efterlevs server-side i middleware.ts.
# ===================================================

# Alla bottar, grundregler
User-agent: *
Allow: /
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?utm_

# ===================================================
# AI-CRAWLERS, EXPLICIT TILLÅTNA
# Sök- och citeringsbottar, kritiska för AI-synlighet.
# ===================================================

# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: anthropic-ai
Allow: /

# Google AI (Gemini, AI Overviews)
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Apple Intelligence
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Microsoft Copilot (Bing-index)
User-agent: Bingbot
Allow: /

# Övriga seriösa AI-aktörer
User-agent: Amazonbot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: CCBot
Allow: /

# ===================================================
# BLOCKERADE BOTTAR
# Aggressiva skrapor, kostnadsdrivande crawlers och regional
# trafik utan målmarknad. Speglas i middleware.ts (403).
# ===================================================

# Aggressiva SEO-skrapor
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: UbersuggestBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# Extremt aggressiva crawlers
User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

# Regionala sökmotorer utan målmarknad (Småland)
User-agent: Yandex
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Sogou
Disallow: /

User-agent: YisouSpider
Disallow: /

User-agent: 360Spider
Disallow: /

# ===================================================
# SITEMAP (XML, för sökmotorer)
# ===================================================
Sitemap: https://maskinhallar.se/sitemap.xml

# ===================================================
# INFORMATION
# ===================================================
# Företag: Ågårds Bygg AB
# AI-kontext (llms.txt): https://maskinhallar.se/llms.txt
# Mänsklig webbplatskarta: https://maskinhallar.se/webbplatskarta
# Kontakt: info@agardsbygg.se
# ===================================================