miércoles, 8 de octubre de 2014

Juankeando con la Pitón - Parte 3

robot.txt (intento de chiste // al menos es mejor que el chiste de la lechuga de #nn4ed :D )
Tercera entrega de Juankeando con la Pitón. En esta ocasión un script que, pasada una url como parámetro, busca si tiene el archivo robots.txt. Si posee tal archivo, hace peticiones a cada uno de los directorios marcados con Disallow para ver si éstos son accesibles o no. Dicha confirmación viene del código que arroje el servidor.

Ejemplo de uso a www.google.es:


Es el primer script de la serie escrito en python 3 y utiliza docopt para los parámetros junto con urllib para las peticiones al servidor.

Para descargarlo, se puede descargar en el repositorio pyJuanker del github de 0verl0ad, concretamente aquí.

Fuentes y material interesante:
Nos leemos en breve ;)


5 0verl0ad Labs: Juankeando con la Pitón - Parte 3 robot.txt (intento de chiste // al menos es mejor que el chiste de la lechuga de #nn4ed :D ) Tercera entrega de Juankeando con la Pitón....

3 comentarios:

Rock Neurotiko dijo...

Muy buena entrada, como siempre!

Me alegro que entres en Python3, mucho mejor que usar 2.x, aunque por desgracia algunas librerias no estan portadas todavia...

Igual que te recomendaron docopt para parsear la entrada, te recomiendo un par de librerias (una de las cosas que mas amo de Python, la cantidad de librerias buenas!)

Para parsear las entradas: Yo siempre uso "click", muy, muy bueno y "pythonico"! http://click.pocoo.org/3/

Para hacer peticiones HTTP (GET,POST,...) la mejor es "requests": http://docs.python-requests.org/en/latest/

Y ahora, un pequeño truco ;)

En la funcion printRes, el modo que tienes de iterar es muy "old-school", el modo "pythonico" seria algo asi:
for i, d in enumerate(validDirectories):

Asi, en cada iteracion tienes el contador i, y el valor d.

Mucho mas bonito que tener que incrementar no? :)

Un saludo!

Rock Neurotiko dijo...

Por cierto!

Si tienes 20 minutillos, aqui tienes una charla de la PyTexas de hace un par de dias sobre interfaces de lineas de comandos ;)

https://www.youtube.com/watch?v=1fsgxOGHl6M&list=UUQ7dFBzZGlBvtU2hCecsBBg

Aetsu Alpha dijo...

[-] Sobre python2 y python3 lo que me ataba a la versión 2 es lo de las librerías junto que los comentarios que hay por internet respecto a la migración tampoco eran muy halagüeño que digamos.

[-] Respecto a las librerias que comentas me las apunto y las probaré en otras cosas que haga.

[-] Lo del for si, es muy C/C++, en mis códigos se nota bastante que tengo que adaptarme a la forma de programar de python, estamos trabajando en ello xD.

[-] Me guardo el vídeo y lo veré cuando pueda.

Gracias por todo, tomo en consideración todo lo que me has dicho ;) .

< >