#!/usr/bin/env python # -*- coding: utf-8 -*- # # robots.py # # Copyright 2013 Fraph <jfraph@gmail.com> # # Sumar este Archivo con fwshell.py & diccionario.txt - Add this file with fwshell.py & diccionario.txt ############# #Visualizacion del archivo robots.txt ############# import urllib2 def robots(url): request_robots= urllib2.urlopen(url+"robots.txt") respuesta= request_robots.read() print "\033[1;33mContenido del Robots.txt:\033[1;m" print respuesta