User-agent: * Allow: / # ═══════════════════════════════════════════════ # GOOGLE BOTS # ═══════════════════════════════════════════════ User-agent: Googlebot Allow: / Crawl-delay: 2 User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Video Allow: / User-agent: Googlebot-News Allow: /newsroom Allow: /our-science Allow: /tests/genecancer Allow: /tests/genepgx Allow: /tests/genemind Allow: /rd-innovation # Google AI Overviews & Gemini User-agent: Google-Extended Allow: / # ═══════════════════════════════════════════════ # BING / MICROSOFT COPILOT # ═══════════════════════════════════════════════ User-agent: Bingbot Allow: / Crawl-delay: 2 User-agent: msnbot Allow: / User-agent: msnbot-media Allow: / # ═══════════════════════════════════════════════ # OPENAI / CHATGPT # ═══════════════════════════════════════════════ User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / # ═══════════════════════════════════════════════ # ANTHROPIC / CLAUDE # ═══════════════════════════════════════════════ User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / # ═══════════════════════════════════════════════ # PERPLEXITY AI # ═══════════════════════════════════════════════ User-agent: PerplexityBot Allow: / # ═══════════════════════════════════════════════ # GROK / XAI # ═══════════════════════════════════════════════ User-agent: Grok Allow: / User-agent: xAI Allow: / # ═══════════════════════════════════════════════ # META AI / LLAMA # ═══════════════════════════════════════════════ User-agent: Meta-ExternalAgent Allow: / User-agent: Meta-ExternalFetcher Allow: / # ═══════════════════════════════════════════════ # APPLE / SIRI # ═══════════════════════════════════════════════ User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # ═══════════════════════════════════════════════ # AMAZON ALEXA / AWS # ═══════════════════════════════════════════════ User-agent: Amazonbot Allow: / # ═══════════════════════════════════════════════ # YOU.COM # ═══════════════════════════════════════════════ User-agent: YouBot Allow: / # ═══════════════════════════════════════════════ # COHERE AI # ═══════════════════════════════════════════════ User-agent: cohere-ai Allow: / # ═══════════════════════════════════════════════ # COMMON CRAWL (AI TRAINING DATA) # ═══════════════════════════════════════════════ User-agent: CCBot Allow: / # ═══════════════════════════════════════════════ # DIFFBOT (AI KNOWLEDGE GRAPH) # ═══════════════════════════════════════════════ User-agent: Diffbot Allow: / # ═══════════════════════════════════════════════ # BYTEDANCE / TIKTOK AI # ═══════════════════════════════════════════════ User-agent: Bytespider Allow: / # ═══════════════════════════════════════════════ # DUCKDUCKGO # ═══════════════════════════════════════════════ User-agent: DuckDuckBot Allow: / # ═══════════════════════════════════════════════ # YAHOO / SLURP # ═══════════════════════════════════════════════ User-agent: Slurp Allow: / # ═══════════════════════════════════════════════ # BLOCK SCRAPERS & SPAM BOTS # ═══════════════════════════════════════════════ User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSeoBot Disallow: / # ═══════════════════════════════════════════════ # SITEMAPS # ═══════════════════════════════════════════════ Sitemap: https://genematrix.io/sitemap.xml Sitemap: https://genematrix.io/sitemap-news.xml Sitemap: https://genematrix.io/sitemap-products.xml # ═══════════════════════════════════════════════ # HOST DECLARATION # ═══════════════════════════════════════════════ Host: https://genematrix.io