DataCleaner

DataCleaner es un código abierto y una solución totalmente gratuito para las organizaciones y empresas que deseen aumentar y medir la calidad de sus datos.
Con DataCleaner, los usuarios serán capaces de perfil, comparar, validar los datos en contra de las reglas de negocio, y vigilar la progresión de estas mediciones en el tiempo.
Entre sus características, podemos mencionar el monitoreo de datos, perfiles de datos y análisis de DQ, limpieza de datos y el enriquecimiento, detectar y fusionar los duplicados, la calidad de datos de clientes, así como ETLightweight súper rápido (Extract-Transform-Load).
Para aprender más acerca de las funciones y capacidades de DataCleaner, así como la forma de trabajar con ella, consulte http://eobjects.dk/docs

What es nuevo en este comunicado :

• Mejoras y nuevas características:
• Hemos hecho posible la creación y soltar las tablas a través de la interfaz de usuario de escritorio de DataCleaner. Tenga en cuenta que el término tabla de & quot; aquí en realidad cubre más de tablas de la base solo relacionales. También incluye hojas en almacenes de datos de MS Excel, Colecciones en MongoDB, tipos de documento en CouchDB y Elasticsearch y así sucesivamente ... Básicamente todo tipo almacén de datos que admiten cancelaciones de operaciones, con excepción de almacenes de datos de una sola mesa, tales como almacenes de datos CSV, admite esta funcionalidad! La funcionalidad se expone a través de:
• & quot; Crear una tabla & quot; permitido a través del menú del botón derecho de esquemas en el árbol en el lado izquierdo de la aplicación.
• & quot; Crear una tabla & quot; permitido también a través de las entradas de selección de tabla de componentes, tales como insertar en la tabla, la tabla de consulta y actualización de la tabla.
• & quot; & quot mesa de gota; permitido a través del menú del botón derecho de mesas en el árbol en el lado izquierdo de la aplicación.
• Hemos añadido (opcional) Capacidad de especificar su servicio web Salesforce.com Punto URL. Esto le permite utilizar DataCleaner para conectarse a entornos sandbox de Salesforce.com, así a sus propios puntos finales personalizados.
• El apoyo Elasticsearch se ha mejorado, lo que permite mapeos personalizados, así como la reutilización de las definiciones del almacén de datos Elasticsearch ahora también para la búsqueda y la indexación.
• El muestreo de los registros y selección de posibles duplicados en la función de detección de duplicados se ha mejorado, lo que lleva a la configuración más rápida porque las decisiones tomadas durante la sesión de entrenamiento son más representativos.
• El formato de archivo de modelo de detección de duplicados se ha actualizado que ha eliminado la necesidad de un archivo separado de "referencia" a fin de salvar las decisiones de formación pasadas. Compatibilidad con el formato antiguo se ha mantenido, pero utilizando el nuevo formato agrega muchos beneficios para la experiencia del usuario.
• Corrección de errores:
• Una cuestión hambre hilo se fija en el monitor DataCleaner. El impacto de este problema era grande, pero sucedió sólo en casos excepcionales y muy personalizados. Si escucha personalizado objetos en el monitor DataCleaner lanzaría un error, que daría lugar a un recurso no está liberado y tomando un hilo desde la piscina de cuarzo-programación en el servidor. Si esto iba a pasar muchas veces que el servidor podría llegar a quedarse sin hilos en esa piscina.
• El menú vertical en la pantalla de resultados está haciendo un buen trabajo de mostrar las etiquetas de los componentes que tienen resultados. Esto hace que sea más fácil reconocer que los puntos de menú a qué artículo resultado.

¿Cuál es nuevo en la versión 3.5.7:

• La transformación 'Sinónimo de búsqueda' tiene ahora una opción para buscar cada muestra de la entrada. Esto es útil si usted está haciendo la sustitución de sinónimos dentro de los valores de un campo de texto largo.
• El bloqueo de la ejecución de los trabajos DataCleaner a través del servicio web de la monitor para esto a veces puede fallar con un error causado por el hilo de bloqueo. Este problema se ha solucionado.
• Una mejora fue hecha en la forma en que los empleos y la secuencia de los componentes están cerrados / limpiado después de la ejecución.
• La versión / Java WebStart JNLP de DataCleaner fue expuesto por un error en el tiempo de ejecución de Java causando ciertos archivos JAR no ser reconocidos por el lanzador WebStart, bajo ciertas circunstancias. Este problema se ha solucionado al hacer pequeñas modificaciones a los archivos JAR.
• Unos enlaces muertos en la documentación fue corregido.

¿Qué hay de nuevo en la versión 3.5.4:

• Ahora es posible ocultar columnas de salida de las transformaciones . Esconder no afectará el flujo de procesamiento en absoluto, sino simplemente esconderse de la interfaz de usuario, por lo que podría hacer la experiencia más limpia, en la interacción con otros componentes.
• Un nuevo servicio web ha sido añadido a la aplicación de monitoreo web, que proporciona una forma para sondear el estado de la ejecución de un trabajo en particular.
• Un error se corrigió, haciendo que el informe HTML a fallar para ciertos tipos de análisis cuando se habían tramitado ningún registro.
• y otros 6 error menor ha sido adressed.

¿Qué hay de nuevo en la versión 3.5.1:

• Captura cambió registros:
• Se ha añadido un nuevo filtro para permitir el procesamiento incremental de los registros que no han sido procesados ​​antes, por ejemplo, para perfilar o copiar solamente modificado registros. El nombre del nuevo filtro es Captura cambió registros, refiriéndose al concepto de captura de datos modificados.
• En cola de ejecución de los trabajos:
• El monitor DataCleaner ahora Cola de la ejecución del mismo puesto de trabajo, si se dispara varias veces. Esto asegura que usted no se quede accidentalmente el mismo trabajo al mismo tiempo que puede llevar a todo tipo de problemas, dependiendo de lo que haga el trabajo.
• correcciones de errores menores:
• Varias correcciones de errores se implementó.

¿Qué hay de nuevo en la versión 3.5:

• Varios asistentes están ahora disponibles para el registro de almacenes de datos; incluyendo de carga de archivos al servidor de archivos CSV, entrada de conexión de base de datos, registro guiada de credenciales de Salesforce.com y más.
• Los magos de construcción trabajo también se han ampliado con varias características mejoradas; Selección de distribución de valor y el patrón de búsqueda de campos en el asistente de análisis rápido, un nuevo asistente para la creación de puestos de trabajo de limpieza al cliente basado EasyDQ y un nuevo asistente de trabajo para disparar empleos Pentaho Data Integration (leer más abajo).
• Usted puede ahora ad hoc consultar cualquier almacén de datos directamente en la interfaz de usuario de la web. Esto hace que sea fácil obtener ideas rápidas o esporádicos en los datos sin la creación de puestos de trabajo u otros enfoques manejados de tratamiento de datos.
• Una vez que se crean puestos de trabajo o almacenes de datos, el usuario es guiado a tomar medidas con el objeto de nueva construcción. Por ejemplo, puede ejecutar muy rápidamente un trabajo justo después de que está construido, o consultar un almacén de datos después de que se ha registrado.
• Ahora, los administradores pueden subir directamente puestos de trabajo en el repositorio, que es especialmente útil si quieres entregar a editar el contenido XML de los archivos de trabajo.
• Una gran cantidad de la costra técnica está ahora escondido en favor de mostrar diálogos sencillos. Por ejemplo, cuando se activa un trabajo se muestra un indicador de carga grande, y cuando termine el resultado se mostrará. La pantalla de registro avanzado que fue previamente no puede todavía se mostrará al hacer clic en un enlace para obtener más detalles.

¿Qué hay de nuevo en la versión 3.1.2:

• Hemos añadido un servicio web en el seguimiento solicitud para obtener una (lista de valores métricos). Esto hace que el monitoreo aún más útil como un componente clave de la infraestructura, como una manera de controlar los datos (calidad) y exponer los resultados de aplicaciones de terceros.
• El componente 'Búsqueda en una tabla' se ha mejorado mediante la adición de unirse a la semántica como una propiedad configurable. Utilizando la unión semántica se puede ajustar si desea que la búsqueda de trabajar semánticamente como un LEFT JOIN o un INNER JOIN.
• Los componentes EasyDQ se han actualizado, añadiendo nuevas opciones de configuración y una interfaz resultado deduplicación más ricos.
• Mejoras de rendimiento han sido un foco específico de este comunicado. Se han realizado mejoras en el motor de DataCleaner utilizar además un enfoque de procesamiento de streaming en ciertos casos de esquina que no fue cubierto previamente.

¿Cuál es nuevo en la versión 3.1.1:

• La fecha y opciones de análisis en tiempo relacionadas se han ampliado , añadiendo analizadores de distribución para los números de las semanas, meses y años. Todos los analizadores relacionados con la fecha y la hora se agrupan ahora en un submenú llamado & quot; Fecha y hora & quot; en & quot; Analizar & quot;.
• Una opción & quot; & quot estadísticas descriptivas; opción se ha añadido al analizador Número y el analizador Fecha / hora. Esta opción añade métricas adicionales para los resultados de estos analizadores, tales como mediana, asimetría, percentiles y curtosis. Estas métricas son opcionales, ya que su consumo de memoria es algo mayor que las métricas existentes.
• Las líneas en los gráficos de línea de tiempo de la aplicación web de monitoreo ahora tienen pequeños puntos en ellos. Esto es especialmente útil para los gráficos con pocos (o incluso sólo uno) observaciones en ellos -. Señalar exactamente donde los puntos de observación son
• El analizador de consultas cuando las consultas ad-hoc que invocan también se han mejorado sustancialmente. Ahora consultas pueden contener cláusulas distintas, * -wildcards, subconsultas y son tolerantes a fallos hacia temas texto de caso.
• Dos nuevos transformadores se han añadido para generar UUID y para generar marcas de tiempo.

¿Qué hay de nuevo en la versión 3.1:

• fórmulas métricos - elaboran datos KPI Calidad:
• Ahora es posible construir mucho más elaborado de datos KPI Calidad en la aplicación web de monitoreo de DataCleaner. La interfaz de usuario permite crear fórmulas complejas en un estilo fórmula de hoja de cálculo; utilizando variables recogidas por trabajos DataCleaner.
• fórmulas métricas puede combinar cualquier número de métricas, constantes y operaciones, el tiempo que se puede expresar en una ecuación matemática.
• Por ejemplo - medir la tasa de registros duplicados en porcentaje del número total de registros. O medir la cantidad de códigos de los productos que se ajusten a un conjunto de múltiples patrones de cadena.
• Ad-hoc de consulta - de cualquier almacén de datos:
• Con DataCleaner 3.1 ahora puede realizar consultas ad-hoc a cualquier almacén de datos! Las consultas se pueden expresar de manera clara SQL y se aplicarán a las bases de datos, así como archivos, bases de datos NoSQL y más, proporcionando un mecanismo de consulta verdaderamente útil para extender en su experiencia de descubrimiento y de datos de perfiles.
• La opción de consulta también está disponible a través de un servicio web para el seguimiento de los usuarios con el rol de administrador. La consulta se proporciona como un parámetro HTTP o cuerpo POST, y el resultado se proporciona como una tabla XHTML.
• Valor matcher - una nueva opción de análisis:
• Muchas veces usted tiene una idea firme sobre el que los valores se debe permitir y espera para un campo en particular. En DataCleaner siempre ha habido la opción de análisis de valor de distribución que ayudaría a hacer valer sus suposiciones. En DataCleaner 3.1, sin embargo, usted tiene una oferta más precisa - el matcher Valor. Esta opción de análisis le permite especificar un conjunto de valores esperados y luego de realizar una distribución de valores como el análisis, específicamente para validar e identificar valores inesperados.
• Copiar, borrar y gestión de los puestos de trabajo:
• Gestión de puestos de trabajo y los resultados en la aplicación del monitor DataCleaner se ha mejorado mucho. Ahora puede hacer clic en un puesto de trabajo en la página Programación del monitor, y encontrar las opciones de gestión disponibles para operaciones tales como el cambio de nombre, copiar, borrar y más. Cada operación respeta los vínculos con otros artefactos en el monitor, como los resultados de análisis, horarios y más. Esto significa que la gestión del repositorio de vigilancia se ha convertido en mucho más fácil y maduro.
• Administrar historial de calidad de los datos:
• A veces te enfrentas a situaciones en las que realmente quieres hacer el monitoreo con los datos históricos! Podría ser que usted tiene vertederos históricos o copias de seguridad de bases de datos, las que se desee mostrar y contar la historia de. Ahora puede hacer el análisis de estos datos históricos, subirlo al monitor DataCleaner, y el uso de un nuevo servicio web, establecer un conjunto de datos históricos de ese resultado del análisis particular. Esto significa que sus plazos serán trazar adecuadamente los resultados utilizando su fecha prevista, pero con los resultados que usted ha recogido tal vez en un momento posterior en el tiempo.
• Soporte planificador clúster (EE solamente):
• El planificador de monitor de DataCleaner se ha exteriorizado, de modo que pueda ser sustituido por los medios de configuración simple. En la versión Enterprise Edition (EE) de DataCleaner, ofrecemos un planificador agrupado, proporcionando la capacidad de equilibrar la carga y distribuir sus ejecuciones en un clúster de máquinas.
• un solo inicio de sesión (SSO) con CAS (EE solamente):
• En la versión Enterprise Edition (EE) de DataCleaner que ahora ofrecemos una opción de inicio de sesión único para la aplicación del monitor. Ahora DataCleaner puede ser una parte integral de su infraestructura de TI, también la seguridad se refiere.
• ... Y mucho más:
• El anterior es sólo un resumen. Más de treinta cuestiones se han resuelto en esta versión. Hemos resuelto varias solicitudes procedentes de los foros y comunidad, y animar a todos a utilizar este medio como vehículo para el cambio. Estamos muy felices de hacer el desarrollo de DataCleaner ser fuertemente influenciado por las corrientes en la comunidad.

¿Qué hay de nuevo en la versión 3.0.3:

• Añade un servicio para cambiar el nombre de puestos de trabajo en el repositorio de monitoreo .
• Usted puede acceder a este como un servicio Web REST o de forma interactiva en la interfaz de usuario.
• Un servicio web se ha añadido para el cambio de la fecha histórica de un resultado de análisis en el repositorio de vigilancia.
• La aplicación web se ha hecho compatible con contenedores JSF legado.
• El almacenamiento en caché de configuración de la aplicación web se ha mejorado en gran medida, lo que lleva a los tiempos de carga de página y la inicialización de trabajo más rápidos.

¿Cuál es nuevo en la versión 3.0.2:

• Cuando desencadenar un trabajo en la aplicación web de monitoreo, el panel de auto-actualiza cada segundo para obtener el último estado de la ejecución.
• almacenes de datos basados ​​en archivos (como CSV o Excel hojas de cálculo) con rutas absolutas están resueltos correctamente en la aplicación de monitoreo web.
• El & quot; Seleccione de clave / valor del mapa & quot; transformador ahora soporta expresiones seleccione anidadas como & quot; Address.Street & quot; o & quot; OrderLines [0] .product.name & quot;.
• El mecanismo de tabla de búsqueda se han optimizado para el rendimiento, el uso de declaraciones preparadas cuando se ejecuta con bases de datos JDBC.,
• Los administradores pueden ahora descargar almacenes de datos basados ​​en archivos directamente desde la & quot; Datastores & quot; página.
• El manejo de excepciones en la aplicación de monitorización web se ha mejorado un poco, por lo que los mensajes de error más preciso e intuitivo.