diff --git a/robots.txt b/robots.txt index 25c2092..8335981 100644 --- a/robots.txt +++ b/robots.txt @@ -1,10 +1,21 @@ User-agent: * Allow: / +Allow: /$ +Allow: /blog/$ +Allow: /blog/feed.xml +Allow: /blog/feed.en.xml +Allow: /blog/feed.fi.xml +Allow: /irc/$ +Allow: /matrix/$ +Allow: /n/$ +Allow: /sitemap.xml +Allow: /sitemaps.xml Disallow: /*.asc$ Disallow: /*.json$ Disallow: /*.sig$ Disallow: /*.txt$ Disallow: /*.toml$ +Disallow: /*.xml$ Disallow: /txt/ Disallow: /php/ Disallow: /r/