User-agent: *
Disallow: /images/
Disallow: /js/
Disallow: /img/
Disallow: /demo/
Disallow: /cgi-bin/
Crawl-delay: 3 # задает таймаут в 2 секунды
Host: digi-shop.spb.ru

sitemap: http://digi-shop.spb.ru/sitemap.xml