Blog de Jerónimo López https://www.jerolba.com/ Spring Batch es una de las pocas herramientas existentes en el ecosistema Java Enterprise para construir procesos batch o pipelines de datos. Sin embargo, sus componentes (ItemReader/ItemWriter) están orientados principalmente a bases de datos relacionales, CSV, XML o JSON. En un mundo donde los Data Lakes y los formatos columnares... Mon, 08 Dec 2025 00:00:00 +0100 https://www.jerolba.com/integracion-de-spring-batch-con-parquet/ https://www.jerolba.com/integracion-de-spring-batch-con-parquet/ Esta semana he publicado una nueva versión de Carpet, la librería de Java para trabajar con ficheros Parquet. En esta versión he añadido una funcionalidad que creo que nunca nadie va a usar: la capacidad de leer y escribir columnas de tipo BSON. Parquet soporta tipos embebidos, que permiten definir... Sun, 11 May 2025 00:00:00 +0200 https://www.jerolba.com/la-funcionalidad-de-carpet-que-nadie-usara/ https://www.jerolba.com/la-funcionalidad-de-carpet-que-nadie-usara/ Hace pocos días los creadores de DuckDB escribieron el artículo: Query Engines: Gatekeepers of the Parquet File Format, donde explicaban que los engines que procesan ficheros Parquet como tablas SQL están bloqueando la evolución del formato. Esto es debido a que no terminan de soportar la última especificación, y sin... Sun, 09 Feb 2025 00:00:00 +0100 https://www.jerolba.com/las-dos-versiones-de-parquet/ https://www.jerolba.com/las-dos-versiones-de-parquet/ Apache Parquet es un formato de almacenamiento columnar optimizado para cargas de trabajo analíticas, aunque también se puede utilizar para almacenar cualquier tipo de datos estructurados con múltiples casos de uso. Una de sus características más destacadas es la capacidad de comprimir datos de manera eficiente usando diferentes técnicas de... Mon, 13 Jan 2025 00:00:00 +0100 https://www.jerolba.com/algoritmos-compresion-parquet/ https://www.jerolba.com/algoritmos-compresion-parquet/ Hoy (2 de septiembre de 2024) hace 5 años que me incorporé al equipo de Clarity AI, y me ha parecido una buena oportunidad para hacer retrospectiva de este lustro y resumir mi experiencia de estos años. El rol Uno de los factores que influyeron en mi decisión por venirme... Mon, 02 Sep 2024 00:00:00 +0200 https://www.jerolba.com/cinco-anos-en-clarity-ai/ https://www.jerolba.com/cinco-anos-en-clarity-ai/ TL;DR - He creado una librería para trabajar con ficheros Parquet en Java llamada Carpet. Tras un tiempo trabajando con ficheros Parquet en Java mediante la librería de Parquet Avro, y estudiando cómo funcionaba, llegué a la conclusión de que a pesar de ser muy útil en múltiples casos de... Sun, 17 Dec 2023 00:00:00 +0100 https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-carpet/ https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-carpet/ Este post continúa la serie de artículos acerca del trabajo con ficheros Parquet en Java. Esta vez explicaré cómo hacerlo a través de la librería de Protocol Buffers (PB). Si encontrar ejemplos y documentación sobre cómo usar Parquet con Avro es complicado, con Protocol Buffers es más complicado todavía. Tanto... Sun, 03 Dec 2023 00:00:00 +0100 https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-protocol-buffers/ https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-protocol-buffers/ En el artículo anterior hice una introducción sobre el uso de ficheros Parquet en Java, pero no puse ningún ejemplo. En este artículo explicaré cómo hacerlo a través de la librería Avro. Parquet con Avro es una de las formas más populares de trabajar con archivos Parquet en Java debido... Wed, 22 Nov 2023 00:00:00 +0100 https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-avro/ https://www.jerolba.com/trabajando-con-ficheros-parquet-en-java-usando-avro/ Parquet es un formato ampliamente utilizado en el mundo del Data Engineering y posee un potencial considerable para aplicaciones de Backend tradicionales. Este artículo es una introducción sobre el formato y de las cosas raras que he encontrado cuando he querido usarlo, para que no tengas que pasar por lo... Sat, 11 Nov 2023 00:00:00 +0100 https://www.jerolba.com/trabajando-con-ficheros-parquet-en-Java/ https://www.jerolba.com/trabajando-con-ficheros-parquet-en-Java/ TL;DR: El artículo analiza el rendimiento de la serialización y deserialización de un gran volumen de datos con Avro, comparando los resultados con el anterior artículo sobre JSON, Protocol Buffers y FlatBuffers. Apache Avro fue desarrollado como un componente del proyecto Hadoop de Apache, y lanzado en 2009 bajo licencia... Sun, 20 Nov 2022 00:00:00 +0100 https://www.jerolba.com/serializacion-java-avro/ https://www.jerolba.com/serializacion-java-avro/ TL;DR: El artículo analiza el rendimiento de la serialización/deserialización con JSON, Protocol Buffers y FlatBuffers con muchos datos. Usando ciertas propiedades no evidentes de FlatBuffers, resulta ser el mejor formato en ciertos casos de uso. En Clarity AI, generamos batches de datos que nuestra aplicación tiene que cargar y procesar... Mon, 28 Jun 2021 00:00:00 +0200 https://www.jerolba.com/serializacion-java-json-protocol-buffers-y-flatbuffers/ https://www.jerolba.com/serializacion-java-json-protocol-buffers-y-flatbuffers/ Todos los días se publica en Internet una gran cantidad de contenido que no da tiempo a leer y queda archivado en Pocket, favoritos o en bookmarks. Con tiempo finito y siendo la “economía de la atención” un problema, tener contenido curado a nuestros intereses nos ayuda a mejorar el... Mon, 02 Mar 2020 00:00:00 +0100 https://www.jerolba.com/dukesletter/ https://www.jerolba.com/dukesletter/ En Clarity, una de las tareas que estoy haciendo estos días es mejorar el rendimiento en el cálculo y persistencia de una colección de cálculos muy grande. Por usabilidad, una de las restricciones que nos hemos impuesto es que se tiene que hacer en menos de 5 segundos. La ocurrencia... Mon, 24 Feb 2020 00:00:00 +0100 https://www.jerolba.com/vistas-funciones-postgresql/ https://www.jerolba.com/vistas-funciones-postgresql/ La semana pasada fue mi última semana en Nextail, la que ha sido mi casa durante los dos últimos años y medio. Como en la mayoría de las startups el tiempo pasa volando, pero al echar la vista atrás parece que fue hace mucho tiempo aquel día que entré en... Tue, 27 Aug 2019 00:00:00 +0200 https://www.jerolba.com/nueva-etapa/ https://www.jerolba.com/nueva-etapa/ Esta semana pasada he estado revisando el rendimiento de ciertos procesos intensivos en CPU que tenemos en Nextail. La funcionalidad de profiling de Java Flight Recorder y Java Mission Control se han convertido en mi martillo en estos casos. Cada vez que lo uso caigo en el mismo error, así... Sun, 11 Aug 2019 00:00:00 +0200 https://www.jerolba.com/la-piedra/ https://www.jerolba.com/la-piedra/ Al Construir la librería Bikey, para hacer que fuera lo más fácil y natural de usar para cualquier programador con experiencia en Java, intenté que el API siguiera los mismos patrones y semánticas que la librería de Collecciones de Java. Para eso estudié y repliqué el comportamiento (e incluso Javadoc)... Mon, 05 Aug 2019 00:00:00 +0200 https://www.jerolba.com/cosas-de-mapas/ https://www.jerolba.com/cosas-de-mapas/ TL;DR: en este post os presento Bikey una librería de colecciones de Java para crear Maps y Sets cuyos elementos tienen dos claves, consumiendo desde un 70%-85% a un 99% menos de memoria que con estructuras de datos habituales. Es Open Source, publicada en https://github.com/jerolba/bikey y está disponible en Maven... Wed, 08 May 2019 00:00:00 +0200 https://www.jerolba.com/bikey/ https://www.jerolba.com/bikey/ TL;DR: en este post os presento JMnemohistosyne una pequeña utilidad para calcular el histograma de clases con la memoria consumida en una sección de código. En mis dos últimos artículos tenía una especial preocupación por conocer cuál era el consumo de memoria de algunas estructuras de datos y cómo se... Mon, 18 Mar 2019 00:00:00 +0100 https://www.jerolba.com/midiendo-el-uso-real-de-memoria-jmnemohistosyne/ https://www.jerolba.com/midiendo-el-uso-real-de-memoria-jmnemohistosyne/ En mi último post hablé de los problemas de usar una función hash incorrecta cuando guardas un objeto con clave compuesta en un HashMap de Java, pero me quedé con la duda: ¿qué estructura de datos es mejor a la hora de indexar esos objetos? Siguiendo con el mismo ejemplo... Mon, 11 Mar 2019 00:00:00 +0100 https://www.jerolba.com/mapas-con-clave-compuesta/ https://www.jerolba.com/mapas-con-clave-compuesta/ Tranquilos, no voy a hablar ni de blockchain ni de geoposicionamiento, sino de un tema más aburrido y básico: sobre funciones hash y hash maps. En este post os contaré un caso real en Nextail, donde el cambio de una sóla línea de código relacionada con una función hash cambió... Sun, 27 Jan 2019 00:00:00 +0100 https://www.jerolba.com/hashing-y-mapas/ https://www.jerolba.com/hashing-y-mapas/