robots.js

robots.js 0.9.4

Se puede utilizar para extraer datos del archivo robots.txt y alimentar a otras aplicaciones o herramientas estadísticas.Extraerá URL de destino, motivo de datos de acceso y de estado ¿Qué hay de nuevo en esta versión:. Maneja http (s ) Los...

Leer más