Big Data en tiempo real con HANA y HADOOP

Big Data es un concepto que hace referencia a un gran conjunto de datos complejos, para los cuales las aplicaciones y mecanismos tradicionales de procesamiento no son los más adecuados para procesarlos.

Los desafíos dentro del Big Data incluyen el análisis, la captura, la transformación de datos, búsqueda, intercambio, almacenamiento, transferencia, visualización y privacidad de la información. Big Data a menudo se refiere a la utilización de análisis predictivo, búsqueda de patrones u otros métodos avanzados para extraer valor dentro de este gran conjunto de datos heterogéneos.

Inmerso en este nuevo ecosistema de datos de gran tamaño se encuentra Apache Hadoop, un framework de software desarrollado en un principio por Yahoo, y que ha sido y está siendo utilizado para el procesamiento masivo de datos dentro de un cluster de computadores diseñado para tolerar fallas. El core de Hadoop consiste principalmente en un sistema de archivos conocido como HDFS (Hadoop Distributed File System) en donde reside esta enorme cantidad de datos en distintos formatos, y además se compone de un núcleo de procesamiento que implementa el sistema de procesamiento distribuido y paralelo de los datos dentro del cluster utilizando un modelo de programación llamado MapReduce (un modelo de programación y procesamiento de grandes colecciones de datos dentro de un cluster de computadores) el cual, en términos generales, divide y mapea el trabajo entre los distintos nodos del cluster y reduce los resultados en una respuesta coherente a una consulta establecida por el negocio.

Hadoop, por ser tremendamente útil y de bajo costo para el negocio, ha sido adoptado por múltiples fabricantes como la principal herramienta para dar soporte a los procesos analíticos y al descubrimiento de información fundamental en la toma de decisiones.

SAP, consciente del potencial de esta herramienta ha guiado sus esfuerzos en la integración de su tecnología con esta nueva plataforma dentro de su ecosistema de productos. De esta forma nace SAP Real-Time Data Platform que combina SAP HANA y otras tecnologías de SAP, con tecnologías no SAP, en particular con Hadoop, dentro de una única plataforma para procesamiento analítico y OLTP (OnLine Transaction Processing) de datos estructurados, semiestructurados y no estructurados.

SAP Real-Time Data Platform permite procesar, analizar y entregar información completa y exacta a cualquier aplicación o usuario de forma rápida y eficaz. Este marco moderno de gestión de datos ofrece un enfoque totalmente nuevo para el procesamiento, que unifica todos sus activos de datos en un solo ambiente, altamente eficiente, permitiendo procesar grandes cantidades de datos con velocidad y eficiencia sin precedentes, mezclando lo mejor de ambos mundos.

Algunos ejemplos de las ventajas de esta  tecnología son los siguientes:

• Simplificar la infraestructura tanto para aplicaciones actuales como de de próxima generación.
• Acceder a una amplia gama de fuentes de datos externos e internos desde un único ambiente.
• Mejorar la disponibilidad de datos y la recuperación de desastres con el movimiento de datos en tiempo real.
• Adaptarse a las tendencias emergentes de TI sin interrumpir los niveles de servicio actuales.
• Resolver las nuevas necesidades de los departamentos de TI con plataformas flexibles, escalables, tolerante a fallas y de rápida integración con las ya existentes.

La industria del Retail, la Minería, bancos, la gestión hospitalaria y toda aquella industria que encuentre en el Big Data una oportunidad para generar conocimiento de su negocio y una oportunidad de crecimiento, o mejora en sus procesos productivos, pueden verse beneficiadas con la utilización de SAP y herramientas analíticas como el caso de Hadoop.

SAP Real-Time Data Platform, permite la diferenciación y segmentación de clientes basado en comportamiento de compras o navegaciones en portales de ventas, mejorando las estrategias comerciales de captación o fidelización de clientes. Así también el análisis en tiempo real de la producción o avance de proyectos mineros, la toma de decisiones en tiempo real, basado en el análisis de datos provenientes de sensores utilizados en la minería, en distintos etapas del proceso productivo.

El mantenimiento proactivo y preventivo en maquinaria pesada basado en información sensométrica. También un mejoramiento de las políticas comerciales basado en el análisis de datos generados por clientes bancarios en distintas plataformas.

En la imagenología, la búsqueda de patrones y análisis de resultados son un área de estudio dentro del Big Data, y herramientas como Hadoop son ampliamente utilizadas para este efecto. (Pueden ver más ejemplos de uso al final de la nota)

Una propuesta interesante, con la cual es posible obtener lo mejor del uso de estas tecnologías, es el procesamiento paralelo dentro de la nube, lo que se conoce como Hadoop as a Service (HaaS). Básicamente consiste en una solución de computación en la nube que hace que los datos de mediana y gran escala de procesamiento sean accesibles de manera fácil, rápida y de bajo costo, apuntando a clientes que no tienen el know how o no necesitan una gran infraestructura on site, permitiéndoles enfocarse solamente en construir aplicaciones y respondiendo a las problemáticas del negocio, centrándose de esta forma únicamente en el crecimiento de este.

Finalmente, toda una nueva gama de soluciones está siendo desarrollada e impulsada por SAP dentro del mundo del Big Data. Tal es el caso de SAP Vora, un nuevo motor de búsqueda en memoria que aprovecha y amplía el marco de la ejecución Spark Apache (un motor de procesamiento general de alta velocidad compatible con el framework Hadoop) para proporcionar análisis interactivos enriquecidos en Hadoop, esto es, extender Hadoop con computación en memoria principal.

Por lo tanto, Hadoop se potencia con el aporte de SAP HANA. En palabras de SAP,“Cuando se utilizan estas tecnologías por separado, entregan valor a la empresa, sin embargo, cuando se utilizan en conjunto pueden combinar, analizar y procesar todos los datos que la compañía tiene, proporcionando un conocimiento profundo sobre el negocio y abriendo nuevas oportunidades”.

Mayores detalles de Hadoop, en “Gain unprecedented insight with Hadoop and the SAP HANA platform for Big Data”

Para mayores detalles de SAP Vora consultar:

• Get valuable business context with SAP HANA Vora – an in-memory query engine for Apache Spark and Hadoop.

Otros  ejemplos en donde el Big Data y las herramientas analíticas son utilizadas dentro de la industria, son los siguientes:

• Captura y procesamiento de datos de máquina.
• Geolocalización.
• Tratamiento de datos multimedia (imágenes, audio, video).
• Almacenamiento y tratamiento de documentos de distintos formatos.
• Auditorías y gestión de riesgos.
• Análisis de satisfacción de clientes mediante encuestas de diferentes tipos.
• Extracción, transformación y carga de datos hacia y desde Hadoop.
• SAP Data Services.
• Real time database para BLOBS (Binary Large OBjects).
• Procesamiento OLAP (On-Line Analytical Processing)
• Análisis de patrones.
• Minería de datos.
• Análisis de riesgos.
• Comparación y diferenciación de datos.
• Integración con SAP Lumira.
• Procesamiento analítico en conjunto con repositorios externos.

Feedback/discusión con el autor: cristian.fernandez@noviscorp.com