# =========================================
# robots.txt für netzwerkartikel.de
# =========================================

User-agent: *

# ------------------------------
# 1. Crawling erlauben für:
# ------------------------------

# Kategorien
Allow: /*/

# Produktseiten & Unterseiten
Allow: /*.htm$
Allow: /*.html$

# Bilder, Medien und Logos
Allow: /Klein400/pic1/
Allow: /OBEN/
Allow: /Bilder/
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.webp$
Allow: /*.svg$

# ------------------------------
# 2. Crawling blockieren für:
# ------------------------------

# Parameter & Filter
Disallow: /*nsort=*
Disallow: /*pic=*
Disallow: /*page=*
Disallow: /*?sort=
Disallow: /*?filter=

# Interne Templates, Admin, Warenkorb usw.
Disallow: /template2012/
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /pdf/
Disallow: /cart/
Disallow: /*.cgi$
Disallow: /warenkorb
Disallow: /checkout
Disallow: /suche
Disallow: /EAN/PDF/

# ------------------------------
# 3. Crawl-Rate
# ------------------------------
Crawl-delay: 3

# ------------------------------
# 4. Sitemap
# ------------------------------
Sitemap: https://www.netzwerkartikel.de/sitemap/sitemap_index.xml