sCrawler

Hay un sinfín de razones por las que una persona o empresa que se desea utilizar el software rastreador web. Este tipo de programa navega por la web de una manera designada a la que podría ser automatizado, metódica o de una manera ordenada. Si eres nuevo en el término software rastreador web, tal vez usted ha oído hablar de arañas, robots, hormigas, índices automáticos, robots o scutters? Todos son básicamente la misma cosa!
El Propósito de Crawler Software Web

Cuando usted piensa en el rastreo web de software, usted representa probablemente los grandes motores de búsqueda de nombres como Google, Bing y Yahoo. Sus robots se arrastran a través de páginas de Internet para determinar el contenido, la pertinencia y la indexación. Al crear una copia de las páginas visitadas, pueden proporcionar búsquedas más rápidas y más precisas. SqrBox le dirá que desde luego no es necesario ser un motor de búsqueda para tener una necesidad de software rastreador web. Usted simplemente tiene que ser alguien que tiene la necesidad de reunir grandes cantidades o información extremadamente intrincado.
Tipos de Software Web Crawler

Si usted planea usar los servicios de una empresa profesional como SqrBox, usted realmente no necesita preocuparse con toda la jerga complicada en materia de software rastreador web. Aún así, es útil entender algunas cosas sobre él.

Crawling Focused - El propósito de este tipo de software rastreador web es para descargar páginas que parecen contener información similar. A menudo hay algunos defectos asociados con este método sin embargo y el desempeño real de la oruga y el resultado se depende de lo rico que los enlaces están en ese tema específico que se busca. Este tipo de software rastreador web a menudo se utiliza como punto de partida para reducir búsquedas para su posterior rastreo.

Normalización URL - software rastreador web a menudo realizar algún nivel de URL normalización que ayuda a reducir el rastreo repetitiva de la misma fuente más de una vez.

Restringir Enlaces Seguidos - En algunos casos, el software rastreador web puede querer evitar ciertos contenidos web y sólo buscar páginas .html. Para ello, la dirección URL es a menudo examinado y sólo se pedirá entonces recursos si hay ciertos personajes en la URL, como .html, .asp, .htm, .php, .aspx, .jspx o .jsp. software rastreador web típicamente ignorará recursos con un "?" . para evitar las trampas de araña

Requisitos :

.NET Framework 3.5