Gestión de datos: el pensamiento proactivo de Cloudera con Iceberg

De las noticias de Databricks Inc. para adquirir Tabular Technologies Inc. y su motor de almacenamiento independiente para Snowflake Inc. Al abrir su catálogo Polaris, el espacio de gestión de datos estaba lleno de actividad significativa.

No es coincidencia que esta oleada esté sucediendo para respaldar la explosión de la inteligencia artificial empresarial, la automatización y el análisis avanzado. ¿El status quo resultante pondrá a los actores de largo plazo, como Cloudera Inc., en la primera línea de la estrategia y la entrega de valor?

«Lo primero que noto es que se trata de una validación de nuestra estrategia», afirmó Venkat Rajaji (en la foto, derecha), vicepresidente senior de gestión de productos de Cloudera. “Entramos en modo Iceberg hace unos dos años. Estamos evolucionando, y lo que hemos avanzado en los últimos años es proporcionar las bases para crear e implementar aplicaciones de IA, incluidos chatbots, resúmenes de documentos y generación de códigos. La semana pasada anunciamos la adquisición de la plataforma de IA operativa de Verta”.

Rajaji y Sanjeev Mohan (centro), directores de SanjMo, hablaron con el analista de CUBE Rob Strechay (izquierda), durante una conversación de CUBE en el estudio de transmisión en vivo de SiliconANGLE Media en Boston. Discutieron las implicaciones de los recientes anuncios sobre la gestión de datos, ya que señalan un cambio hacia estándares abiertos y la interoperabilidad. (*Divulgación a continuación.)

Gestión de datos: Metadatos, interoperabilidad y posicionamiento estratégico de Cloudera

Cloudera diseñó los presagios antes del terremoto de datos. Al adoptar Apache Iceberg, está preparado para el futuro con un formato de alto rendimiento para conjuntos de datos a gran escala. Ahora, con más de 25 exabytes de datos bajo gestión, Cloudera ofrece un lago híbrido de datos abiertos que combina análisis e inteligencia artificial. Según Rajaji, la adquisición de Verta también fortalece esa propuesta de valor de la IA a largo plazo.

«Nuestra decisión de realizar esta adquisición estratégica no se trata sólo de crecimiento», afirmó. “Se trata de ofrecer una experiencia de IA enriquecida a nuestros clientes y anticipar sus necesidades, ya que el futuro de la gestión de datos es la IA. Los datos son la base de la IA y las aplicaciones de IA y hacia dónde se dirige el mercado”.

Debido a la proliferación de herramientas para diferentes escenarios de uso en la pila de datos moderna, la interoperabilidad se ha vuelto crucial para simplificar la gestión de datos en todos los formatos y plataformas. Según Mohan, adoptar estándares abiertos brinda a las empresas de usuarios finales el valor de flujos de trabajo más optimizados y eficientes.

«Esperar que los clientes tomen sus datos y los ejecuten dondequiera que funcione la IA no va a suceder», afirmó. “No es práctico debido al costo, el tiempo y el riesgo de seguridad que implica mover estos datos. Lo que empiezo a ver es que el péndulo se ha desplazado nuevamente. Quieren tener la capacidad de traer cualquier máquina informática que puedan tener, cualquier máquina procesadora. Esta es la razón por la que el Iceberg se ha convertido en uno de los temas más candentes.»

El péndulo ha cambiado y los metadatos se han vuelto esenciales para el paradigma de interoperabilidad al conectar diferentes motores de procesamiento de datos y mejorar la confiabilidad general de los modelos de IA. Los metadatos proporcionan el contexto necesario para generar conocimientos precisos a partir de los datos, añadió Mohan.

«Quien tenga control sobre los metadatos tiene las llaves del reino», afirmó. “Los metadatos se utilizan no solo para la interoperabilidad de nuestros informes, paneles y análisis tradicionales, sino que también confiamos en los metadatos para ayudar a mejorar la precisión y reducir las alucinaciones de nuestros LLM. Los metadatos proporcionan el contexto para toda esta gran riqueza de datos que hemos recopilado durante las últimas décadas».

Aquí está la entrevista completa en vídeo de theCUBE con Venkat Rajaji y Sanjeev Mohan:

(*Divulgación: Cloudera Inc. patrocinó este segmento de CUBE. Ni Cloudera ni otros patrocinadores tienen control editorial sobre el contenido de theCUBE o SiliconANGLE).

Foto de : SiliconANGLE