# robots.txt – Urtipuul
# https://urtipuul.etobuilds.com/

# Tüm standart arama botları ve Yapay Zeka (AI) botlarına tam izin ver (Gemini, ChatGPT, Perplexity, Claude)
User-agent: *
User-agent: Google-Extended
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: AnthropicAI
Allow: /

# API endpointlerini indeksleme
Disallow: /api/
Disallow: /api.php

# Admin paneli
Disallow: /admin-urtipuul-secret-panel/
Disallow: /admin-new.html

# Veritabanı ve konfigürasyon dosyaları
Disallow: /db-setup.php
Disallow: /db-setup-auto.php
Disallow: /dbfix.php
Disallow: /diag.php
Disallow: /diag2.php
Disallow: /diagnostic.php
Disallow: /fix-live.php
Disallow: /live-check.php
Disallow: /deep-diag.php
Disallow: /check-db-integrity.php
Disallow: /.env
Disallow: /api_debug.log
Disallow: /*.log$

# Google için Sitemap konumu
Sitemap: https://urtipuul.etobuilds.com/sitemap.xml

# Crawl delay (aşırı istekleri önlemek için)
Crawl-delay: 1