yahi

yahi es un analizador de registro versátil proporcionando extractores predeterminados para apache / lighttpd.
uso de la línea de comandos
Ejemplo de los datos analizados con yahi: http://wwwstat.julbox.fr/
El uso más simple es:
speed_shoot -g / usr / / data / GeoIP / var / www / apache / * Acceso de registro local
devolverá un json en la forma:
{
& Nbsp; "by_date": {
& Nbsp; "05/03/2012": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "desconocido": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& nbsp; "by_os": {
& Nbsp; "desconocido": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "desconocido": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "desconocido": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11; Ubuntu, Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (a través translate.google.com)": 1,
& Nbsp; "Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "by_country": {
& Nbsp; "": 10,
& Nbsp; "US": 1
& Nbsp;}
}
Si utiliza:
speed_shoot -f csv -g / usr / / data / GeoIP / var / www / apache / * Acceso de registro local
Su resultado es:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, desconocido, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, desconocido, 11
week_browser, 3, desconocido, 11
by_referer, -, 11
by_browser, desconocido, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (a través translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, 10
by_country, US, 1
Bueno, supongo, no funciona, porque primero tiene que ir a buscar el archivo de datos GeoIP:
wget -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Por supuesto, esta es la base de datos GeoLite, no incluyo los datos en el paquete desde GeoIP debe actualizarse con frecuencia para mantenerse exacta.
Ruta predeterminada para geoip hay datos / GeoIP.dat
Usar como una secuencia de comandos
rodaje velocidad es de hecho una plantilla de cómo usar yahi como un módulo:
#! / Usr / bin / env python
desde archery.bow importación Hankyu como _dict
desde yahi muesca importación, disparar
desde datetime datetime importación
context = muesca ()
date_formater = lambda dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; disparar (
& Nbsp; contexto,
& Nbsp; datos lambda: _dict ({
& Nbsp; "by_country ': _dict ({datos [' _ país]: 1}),
& Nbsp; "by_date ': _dict ({date_formater (datos [' _ datetime ']): 1}),
& Nbsp; "by_hour ': _dict ({. Datos [' _ datetime '] horas: 1}),
& Nbsp; "by_os ': _dict ({datos [' _ os_name ']: 1}),
& Nbsp; "by_dist ': _dict ({datos [' _ dist_name ']: 1}),
& Nbsp; "by_browser ': _dict ({datos [' _ BROWSER_NAME ']: 1}),
& Nbsp; "by_ip ': _dict ({datos [' ip ']: 1}),
& nbsp; "by_status ': _dict ({datos [' status ']: 1}),
& Nbsp; "by_url ': _dict ({datos [' uri ']: 1}),
& Nbsp; "by_agent ': _dict ({datos [' agente ']: 1}),
& Nbsp; "by_referer ': _dict ({datos [' referer ']: 1}),
& Nbsp; "ip_by_url ': _dict ({datos [' uri ']: _dict ({datos [' ip ']: 1})}),
& Nbsp; "bytes_by_ip ': _dict ({datos [' ip ']: int (datos [' bytes '])}),
& Nbsp; "week_browser ':. _dict ({Datos [' _ datetime '] de lunes a viernes ():
& Nbsp; _dict ({datos ["_ BROWSER_NAME"]: 1})}),
& Nbsp; "total_line ': 1,
& Nbsp;}),
& Nbsp;),
)
Instalación
fácil como:
PIP instalar yahi
o:
easy_install yahi
uso Recommanded
- Para la agregación de registro básico, yo recomiendo el uso de línea de comandos;
- Para una métrica tiro Recomiendo una consola interactiva (bpython o ipython);
. - Para las métricas específicas o filtros elaborados Yo recomiendo el uso de la API

Requisitos :

• Python