Apache Iceberg y Lakehouse Optimizer: los nuevos pilares de Cloudera para la analítica moderna

La empresa refuerza su arquitectura abierta para facilitar proyectos de IA con gobernanza y eficiencia.

0
5

Cloudera ha anunciado mejoras significativas en su plataforma de datos, orientadas a facilitar el desarrollo de proyectos de inteligencia artificial (IA) y análisis avanzado. Las novedades, presentadas durante el evento EVOLVE 25 en Nueva York, incluyen la integración del catálogo REST de Apache Iceberg y el lanzamiento del servicio Lakehouse Optimizer. Ambos componentes buscan resolver desafíos comunes en la gestión de datos empresariales, como la fragmentación de plataformas, la duplicación de datos y la falta de gobernanza unificada.

El catálogo REST de Iceberg permite compartir datos sin necesidad de duplicarlos, lo que reduce costos y riesgos de seguridad. Esta funcionalidad se integra en toda la plataforma de Cloudera, ofreciendo interoperabilidad con motores de terceros como Snowflake, Databricks, AWS Athena y Salesforce. Además, se mantiene el cumplimiento de transacciones ACID y se extienden las políticas de acceso y auditoría a herramientas externas mediante el marco Shared Data Experience (SDX) de Cloudera.

Por su parte, el Lakehouse Optimizer automatiza tareas de mantenimiento y optimización de tablas Iceberg, como la reescritura de archivos de manifiesto y eliminación de posiciones. Este servicio, compatible con cualquier motor Iceberg en nubes públicas, mejora el rendimiento de consultas hasta 13 veces y reduce los costos de almacenamiento en un 36%, según pruebas internas de la compañía. También ofrece una interfaz para definir políticas granulares, aplicables a tablas individuales o catálogos completos.

Estas actualizaciones responden a una necesidad creciente en el sector empresarial: contar con arquitecturas de datos abiertas, seguras y eficientes que permitan aplicar IA sin depender de proveedores específicos ni replicar información. En este contexto, Cloudera se posiciona como uno de los actores que promueve el uso del formato abierto Apache Iceberg, diseñado para facilitar el trabajo con grandes volúmenes de datos en entornos distribuidos.

La adopción de Iceberg ha crecido en los últimos años, impulsada por su capacidad para manejar datos tabulares con versiones, transacciones y compatibilidad con múltiples motores de consulta. Empresas como Netflix, Apple y Adobe han contribuido al desarrollo del proyecto, que forma parte de la Fundación Apache. Su diseño permite separar el almacenamiento de datos del procesamiento, lo que resulta clave para entornos multicloud y estrategias de datos híbridas.

Con estas mejoras, Cloudera busca ofrecer una experiencia coherente en la nube, centros de datos y el borde, manteniendo el control y la visibilidad sobre los activos de datos. La compañía afirma que sus clientes han logrado reducciones de hasta 79% en costos de almacenamiento, al tiempo que fortalecen sus flujos de trabajo de IA. Uno de los casos destacados es el de una empresa global del sector satelital, que optimizó sus pipelines de datos sin comprometer la seguridad ni la gobernanza.

Las nuevas capacidades ya están disponibles para los clientes de Cloudera. La empresa continúa promoviendo una visión de datos abiertos y gobernados, en la que la inteligencia artificial puede aplicarse de forma segura y eficiente, sin importar dónde residan los datos.

Fuente: comunicado de prensa Cloudera | Editado por CDOL

Custom Text
Artículo anteriorEl «padre del web» teme el monopolio de la IA y pide crear una entidad global para la investigación abierta
Artículo siguienteClaude Sonnet 4.5: el nuevo estándar global para el coding y la automatización empresarial