LPBS

LPBS (Portable Batch System Local) es una herramienta para emular PBS en una estación de trabajo local.
PBS / PAR es un sistema de planificación de tareas que se utiliza en muchos clusters de computación de alto rendimiento. El paquete LPBS ofrece herramientas para ejecutar scripts de PBS de trabajo en una estación de trabajo local. En concreto, LPBS proporciona el comando lqsub que toma las mismas opciones que el comando qsub PBS y se ejecuta un script de trabajo a nivel local, en un entorno prácticamente idéntico al que PBS / PAR proporcionaría. La tarea se ejecutará en segundo plano y se le asigna un identificador de trabajo. A diferencia del sistema PBS, LPBS no realizará ninguna programación, sino que simplemente ejecutar el trabajo presentado. LPBS proporciona más herramientas para administrar los trabajos en ejecución.
Instalación
LPBS se puede instalar desde PyPI, utilizando
PIP instalar LPBS
Alternativamente, el paquete puede ser instalado desde la fuente con
python setup.py install
Configuración
Tiendas LPBS todos sus datos de configuración y de tiempo de ejecución de la carpeta que figuran en la variable de entorno $ LPBS_HOME. Se debe definir esta variable de entorno. La configuración se encuentra en el archivo dentro lpbs.cfg $ LPBS_HOME. Si este archivo no existe cuando se ejecutan cualquiera de los scripts LPBS, un archivo de configuración con los siguientes valores por defecto se creará:
[Server]
# Nombre de host completo del servidor de presentación (hostname.domain). Se pondrá a disposición
# Para un trabajo en ejecución a través del entorno PBS_SERVER variable. ID de trabajo terminarán
# En el nombre del servidor
nombre de host: localhost
dominio: locales
[Nodo]
# Nombre de host completo del nodo de ejecución (hostname.domain). Se pondrá a disposición
# Para un trabajo en ejecución a través del entorno PBS_O_HOST variable. Desde LPBS es
# Diseñado para ejecutar trabajos a nivel local, la configuración aquí debería ser en general
# Idénticas a las de la sección [Server]
nombre de host: localhost
dominio: locales
[LPBS]
# Ajuste para la ejecución del trabajo.
# Si 'username_in_jobid' está activada, las ID de trabajos tendrán la forma
# 'Seqnr.user.hostname.domain ", donde" usuario "es el nombre del usuario
# Enviar la tarea.
# El archivo dado en 'sequence_file' se utiliza para hacer el seguimiento de la 'seqnr'
# Que aparece en el identificador de trabajo.
# El archivo dado en "archivo de registro" se utiliza para el registro de todos los eventos LPBS. Ambos
# 'Sequence_file "y" archivo de registro "son en relación con $ LPBS_HOME.
username_in_jobid: 0
sequence_file: secuencia
archivo de registro: lpbs.log
[Rasguño]
Ajustes # para el espacio de uso temporal previsto para el empleo. 'Scratch_root' define una
# Ubicación donde los trabajos deben escribir los datos temporales. Si se da como una ruta relativa,
# Es relativa a $ LPBS_HOME. Las variables de entorno se ampliarán en el
# Momento de la presentación del trabajo.
# Si el valor de # 'create_jobid_folder' se establece en 1, una carpeta con el nombre de
# El ID del trabajo completo se crea dentro scratch_root. Esta carpeta es automáticamente
# Elimina cuando el trabajo termina, a menos que 'keep_scratch' se pone a 1. Si el trabajo
# Falló, el cero no se eliminará, a menos que se establece 'delete_failed_scratch'
# Para 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Notificación]
Ajustes # sobre cómo el usuario deben ser notificados de eventos tales como el inicio
# Y el final de un trabajo. Si sent_mail se establece en 1, se enviarán correos electrónicos para
notificaciones # Según el valor de la opción '-m' a lqsub. Si
# 'Send_growl' se establece en 1, Growl (http://growl.info) se utiliza para la notificación
# En MacOS X. Notificaciones vía Growl no tienen en cuenta las opciones '-m'
# Durante el envío de trabajos.
send_mail: 0
send_growl: 0
[Correo]
configuración SMTP # de notificaciones por correo electrónico. Correos electrónicos de notificación serán enviados desde
# La dirección indicada por la opción 'de'. El servidor SMTP dada en 'smtp' es
# Usado para el envío de los mensajes de correo electrónico, si «verificar», se establece en 1, la autenticación es
# Hecho con el dado "nombre de usuario" y "contraseña". Si 'tls' es 1, cifrado TLS
# Se utilizará.
desde: nobody@example.org
smtp: smtp.example.com:587
nombre de usuario: user
contraseña: secreto
autenticar: 0
tls: 1
[Growl]
# Configuración de notificaciones de Growl. Las notificaciones se envían a cualquiera
# Localhost o un host remoto a través del protocolo GNTP. El ajuste 'host'
# Da la dirección y el puerto del servidor de Growl, lo dado 'password' es
# Usado para la autenticación (tenga en cuenta que si el envío a localhost, no
# Autenticación es necesaria, y la contraseña debe estar vacío). Si
# 'Pegajosa' se establece en 1, las notificaciones de Growl serán pegajosa. Es
# Posible enviar notificaciones a más de un host. En este caso, tanto
# 'Host' y 'password' debe ser una lista separada por comas de los valores, con
# Cada elemento corresponde a un host. Por ejemplo
# Nombre de host: localhost, remotehost
# Contraseña: secreto
nombre de host: localhost: 23053
contraseña:
pegajosa: 0
[Iniciar sesión]
# 'Log' da el nombre del archivo de registro central, relativa a $ LPBS_HOME.
archivo de registro: lpbs.log
Tenga en cuenta que si se utiliza el archivo de configuración por defecto, la variable de entorno $ SCRATCH_ROOT debe ser definida y el directorio al que apunta deben existir y tener permisos de escritura para todos los usuarios que pueden presentar los trabajos.
Para una instalación de todo el sistema, / var / lpbs es un lugar adecuado para $ LPBS_HOME. La variable de entorno se puede ajustar en /etc/bash.bashrc para todos los usuarios. Para una instalación en espacio de usuario, se recomienda virtualenv.
Después de que el archivo de configuración principal, también se leerá el archivo $ HOME / .lpbs.cfg. Un usuario puede usar esto para anular los ajustes en la configuración del sistema. Por último, el comando qsub también tiene una opción --config que permite especificar todavía un archivo de configuración adicional para ser leído.
Uso
LPBS contiene los scripts lqsub, lqstat y lqdel, que emulan la PBS / PAR comandos qsub, qstat y lqdel, respectivamente. El comando lqsub se utiliza para enviar los trabajos, lqstat se utiliza para mostrar información sobre los trabajos en ejecución, y lqdel se usa para abortar los trabajos en ejecución. Por ejemplo:
Goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
Goerz @ localhost: ~> lqstat
Identificación del trabajo Nombre de Usuario walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 0:00:22
Goerz @ localhost: ~> lqstat -f 3.localhost.local
Identificación del Aviso: 3.localhost.local
& Nbsp; job_name = pbstest
& Nbsp; Job_Owner = Goerz
& Nbsp; server = localhost.local
& Nbsp; EXEC_HOST = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; output_path = pbstest.out
& Nbsp; resources_used.walltime = 0:00:43
Goerz @ localhost: ~> lqdel 3.localhost.local
El comando qsub está diseñado para entender todas las opciones de línea de comandos del comando qsub en versión PAR 2.18, excepto que todas las opciones relacionadas con la programación es ignorado sin advertencias. Por lo tanto, todos los comandos para tareas de PBS debe ser submittable sin cambios. Para obtener más información, lqsub correr, lqstat y lqdel con la opción --help, y / o mirar el manual PAR.
Una de comandos para tareas Ejemplo
El siguiente es un ejemplo de un simple script de trabajo PBS que imprimir el entorno completo que el trabajo ve. Es posible que desee para enviar esta tarea tanto con LPBS y PBS / PAR para comprobar que con los ajustes apropiados en lpbs.cfg, LPBS ofrece un entorno idéntico como LPBS.
#! / Bin / bash
#PBS -N Pbstest
#PBS -j Oe
#PBS -l Nodos = 1: ppn = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10mb
#PBS -o Pbstest.out
echo "################################################ #### "
echo "usuario: $ PBS_O_LOGNAME"
echo "por lotes de trabajo comenzó en $ PBS_O_HOST"
echo "PBS Identificación del empleo: $ PBS_JOBID"
echo "PBS nombre del trabajo: $ PBS_JOBNAME"
echo "directorio de trabajo PBS: $ PBS_O_WORKDIR"
echo "comenzó Trabajo sobre" date` `` hostname`
echo "Directorio actual:" `pwd`
echo "ambiente PBS: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Medio Ambiente completa:"
printenv
echo "################################################ #### "
echo "El trabajo se está ejecutando en el nodo siguiente:"
gato $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "trabajo terminado:" date` `
exit 0

Requisitos :

• Python