MDP

MDP (kit de herramientas modular para Procesamiento de Datos) es una biblioteca de algoritmos de procesamiento de datos ampliamente utilizadas que pueden combinarse de acuerdo a una analogía de tuberías para construir software de procesamiento de datos más complejos.
Desde la perspectiva del usuario, MDP consiste en una colección de algoritmos supervisadas y no supervisadas de aprendizaje, y otros datos de procesamiento de unidades (nodos) que se pueden combinar en secuencias de procesamiento de datos (flujos) y arquitecturas de red feed-forward más complejos. Dado un conjunto de datos de entrada, MDP se encarga de la formación de forma sucesiva o ejecutar todos los nodos en la red. Esto permite al usuario especificar algoritmos complejos como una serie de simples etapas de procesamiento de datos de una manera natural.
La base de algoritmos disponibles es cada vez mayor, e incluye, por citar sólo los más comunes, Análisis de Componentes Principales (PCA y NIPALS), varios algoritmos de Análisis de Componentes Independientes (cúbica, FastICA, TDSEP, JADE, y XSFA), Análisis de funciones lenta, Gauss Clasificadores, Restringido Boltzmann Máquinas y localmente lineal integración.
Especial cuidado se ha tomado para hacer cálculos eficientes en términos de velocidad y memoria. Para reducir los requisitos de memoria, es posible llevar a cabo el aprendizaje utilizando lotes de datos, y definir los parámetros internos de los nodos sean de precisión simple, que hace que el uso de datos muy grandes conjuntos posible. Por otra parte, el sub-paquete 'paralelo' ofrece una aplicación paralela de los nodos y los flujos básicos.
Desde la perspectiva del desarrollador, MDP es un marco que hace que la implementación de nuevos algoritmos de aprendizaje supervisado y no supervisado fácil y sencillo. La clase básica, 'nodo', se encarga de las tareas tediosas como el tipo numérico y comprobación dimensionalidad, dejando el desarrollador libre para concentrarse en la ejecución de las fases de aprendizaje y ejecución. Debido a la interfaz común, el nodo entonces integra automáticamente con el resto de la biblioteca y se puede utilizar en una red junto con otros nodos. Un nodo puede tener varias fases de entrenamiento y hasta un número no determinado de fases. Esto permite que la aplicación de algoritmos que necesitan para recoger algunas estadísticas sobre toda la entrada antes de continuar con la formación actual, y otros que necesitan para repetir una fase de entrenamiento hasta que un criterio de convergencia está satisfecho. La capacidad de entrenar cada fase utilizando fragmentos de datos de entrada se mantiene si los trozos son generadas con iteradores. Por otra parte, la recuperación de choque está disponible opcionalmente: en caso de fallo, el estado actual del flujo se guarda para su inspección posterior.
MDP se ha escrito en el contexto de la investigación teórica de la neurociencia, pero ha sido diseñado para ser útiles en cualquier contexto donde se utilizan algoritmos de procesamiento de datos entrenables. Su sencillez en el lado del usuario, junto con la reutilización de los nodos implementados hacen también una herramienta educativa válida

¿Qué hay de nuevo en esta versión:.

• Python 3 apoyo.
• Las nuevas extensiones: almacenamiento en caché y el gradiente
.
• Un tutorial mejorado y ampliado.
• Varias mejoras y correcciones de errores.
• Este comunicado está bajo una licencia BSD.

¿Qué hay de nuevo en la versión 2.5:

• 06/30/2009: Añadido detección en línea de backend numérica , el apoyo python paralelo, backend symeig y backend numérica a la salida de las pruebas unitarias. Debe ayudar en la depuración.
• 12/06/2009:. Integración de los nodos de corte y de histograma
• 12/06/2009:. Corregido error en el flujo paralelo (manejo de excepciones)
• 06/09/2009: bug en LLENode cuando output_dim es un flotador. Gracias a Konrad Hinsen.
• 06/05/2009:. Corregidos errores en el flujo paralelo para múltiples programadores
• 06/05/2009:. Se ha corregido un error en inversa capa, gracias a Alberto Escalante
• 04/29/2009:. Se ha añadido una LinearRegressionNode
• 03/31/2009: PCANode no quejarse más cuando matriz de covarianza tiene valores propios negativos FIB svd == Cierto o reducir == True. Si output_dim ha especificado tiene una varianza deseada, se ignoran los valores propios negativos. Mejora de mensaje de error para SFANode en el caso de valores propios negativos, ahora recomendamos anteponer el nodo con un PCANode (svd = True) o PCANode (reducir = True).
• 03/26/2009: emigrado de paquete de hilo antiguo al nuevo enhebrado una. Añadido bandera para deshabilitar el almacenamiento en caché en el planificador de procesos. Hay algunos cambios de ruptura para programadores personalizados (formación de flujo paralelo o ejecución no se ve afectada).
• 03/25/2009:. Soporte seguimiento Añadido revisión svn
• 03/25/2009: Se ha eliminado la bandera copy_callable de planificador, esto está ahora completamente reemplazado por bifurcar el TaskCallable. Esto no tiene ningún efecto para la cómoda interfaz ParallelFlow, pero los programadores personalizados conseguir roto.
• 22/03/2009:. Implementado el almacenamiento en caché en el ProcessScheduler
• 02/22/2009:. MAKE_PARALLEL ahora trabaja completamente en el lugar para ahorrar memoria
• 02/12/2009:. Añadido métodos de contenedores a FlowNode
• 03/03/2009:. Agregado CrossCovarianceMatrix con pruebas
• 03/02/2009:. Agregado IdentityNode
• 01/30/2009:. Se ha añadido una función auxiliar en Hinet para visualizar directamente una representación HTML flujo
• 01/22/2009:. Permitir output_dim en capas para ajustarse perezosamente
• 23/12/2008:. Añadido total_variance al nodo NIPALS
• 23/12/2008:. Explained_variance Ajuste siempre y total_variance después del entrenamiento en PCANode
• 12/12/2008: Modificado symrand para volver realmente matrices simétricas (y definitiva no sólo positivo). GaussianClassifierNode Adaptado para dar cuenta de eso. Symrand Adaptado para volver también matrices hermitianos complejos.
• 12/11/2008: Se ha corregido un problema en PCANode (cuando output_dim se estableció en input_dim la varianza total fue tratado como desconocido). Var_part parámetro fijo en ParallelPCANode.
• 12/11/2008:. Añadido función var_part a PCANode (filtro de acuerdo a la variación con respecto al absoute varianza)
• 12/04/2008: Fijo falta arg eje en la llamada amax en tutorial. Gracias a Samuel John!
• 12/04/2008: Se ha corregido los datos vacía manipulación en ParallelFlow iterador. También se ha añadido controles iterador vacíos en el flujo normal (lanzar una excepción si el iterador está vacía).
• 11/19/2008: Modificado pca y nodos SFA para comprobar si hay valores propios negaive en las matrices cov
• 11/19/2008: symeig integrado en scipy, mdp puede usarlo desde allí ahora
.
• 11/18/2008:. Agregado ParallelFDANode
• 11/18/2008:. Actualizado el tren exigible para ParallelFlow para apoyar argumentos adicionales
• 05/11/2008: reescritura del código paralelo maquillaje, ahora es compatible con las estructuras Hinet
.
• 03/11/2008: reescritura del repesentation creador HTML Hinet. Desafortunadamente esto también rompe la interfaz pública, pero los cambios son bastante simple.
• 10/29/2008: Apague advertencias procedentes de procesos remotos en ProcessScheduler
• 27/10/2008:. Arreglado el problema con sobrescribir kwargs en el método init de ParallelFlow
• 24/10/2008:. Fijo nodos pretrained error en hinet.FlowNode
• 20/10/2008:. Solución del problema de la importación crítico en paquete paralelo al pp (biblioteca python paralelo) se instala

Requisitos

• Python
• NumPy
• SciPy