#################################### # robots.txt für enabc.de # # # # Aufbau einer robots.txt # # # Kommentar (optional) # User-Agent: # Disallow: # # Ein / ohne jegliches Verzeichnis # sperrt den Spider/Crawler aus! # # Das frei lassen sorgt dafür, # dass sie freien Zugriff haben. # # # gestellt von php-gfx.net # #################################### ################################################## ##### Folgenden wurde eine Erlaubnis erteilt ##### ################## # Google AdSense User-agent: Mediapartners-Google* Disallow: ############# # Googlebot User-agent: googlebot Disallow: ############################################### ##### Folgenden wurde der Zugang verwehrt ##### ######### # Lycos User-agent: lycos Disallow: / ############## # JetBot/1.0 User-agent: JetBot Disallow: / ########## # MSNBot User-agent: msnbot Disallow: / ######## # Wget User-agent: wget Disallow: / ############### # e-collector User-agent: e-collector Disallow: / #################### # W3C Link checker User-agent: W3C-checklink Disallow: / ######### # Rover User-agent: Roverbot Disallow: / ######### # Slurp User-agent: Slurp Disallow: / ######### # alle bleiben draussen User-agent:* Disallow: / ######################## # Robots die durchdrehen fliegen raus User-agent: GagaRobot Disallow: / ####################### # email Sammler draussenbleiben User-agent:EmailCollector Disallow: / ############################################################# ##### Auf folgende Verzeichnisse darf niemand zugreifen ##### ############### # Alle Robots User-agent: * Disallow: /fx/ Disallow: /pk/ Disallow: /pkinc/ Disallow: /cgi-bin/ Disallow: /losung/ Disallow: /ue/