Ir al contenido principal

Caso real · Integración de datos

Un catálogo de 500.000 libros que se mantiene al día solo

Un grupo editorial necesitaba tener siempre actualizado el catálogo de su distribuidor mayorista —fichas, precios, disponibilidad y restricciones de venta por país— sin descargas manuales ni hojas de cálculo intermedias.

  • Automatización de datos
  • Nube (AWS)
  • Datos editoriales ONIX
  • API de consulta

El reto

Los datos llegaban. El problema era convertirlos en información fiable a tiempo.

El distribuidor publica su catálogo en ficheros técnicos que hay que descargar, descomprimir, interpretar y cargar. Y cada tipo de dato cambia a un ritmo distinto.

  • Volumen elevado

    Unas 500.000 fichas en XML ONIX 3, el estándar internacional del sector del libro, que crece unos 10.000 títulos por semana.

  • Datos que caducan

    La disponibilidad cambia varias veces al día y las restricciones de venta se revisan a diario. Un dato de ayer puede suponer una venta que no se puede servir.

  • Un prototipo frágil

    El punto de partida eran scripts con rutas locales, pasos manuales y credenciales dentro del propio código. Funcionaba, pero no era fiable en producción.

La necesidad

Un sistema que trabaje mientras nadie mira

El objetivo no era solo descargar ficheros, sino disponer de una base de datos única, consultable en cualquier momento, que reflejara el estado real del catálogo.

Además, la carga semanal completa no podía dejar el catálogo vacío ni a medias: los sistemas que lo consultan debían seguir funcionando durante la actualización.

Antes

  • Scripts con rutas locales y pasos manuales
  • Credenciales guardadas dentro del código
  • Sin aviso si un proceso fallaba de madrugada

Con la automatización

  • Tres procesos programados en la nube, cada uno a su ritmo
  • Credenciales en un gestor de secretos
  • Alertas ante el primer error de cualquier proceso

Objetivo del proyecto

Automatizar tres flujos de datos independientes —catálogo, disponibilidad y restricciones— y publicar el resultado mediante una API, con copias de respaldo, alertas ante errores y gestión segura de credenciales.

La solución

Tres automatizaciones y una API, cada una con su propio ritmo

Procesos independientes y empaquetados en contenedores: un fallo en uno no afecta a los demás y cada flujo puede volver a ejecutarse sin efectos secundarios.

Automatización A · Semanal · lunes de madrugada

Carga completa del catálogo

Descarga el fichero comprimido más reciente, lo interpreta y recarga el catálogo completo.

  • Lectura por partes: el XML nunca se carga entero en memoria.
  • 12 campos por libro: autor, título, idioma, formato, precio, editorial, fecha…
  • Inserción en lotes de 5.000 registros en lugar de fila a fila.
  • Carga en una tabla paralela y sustitución instantánea al terminar.
  • Los títulos descatalogados desaparecen automáticamente.

Automatización B · Cada hora · 24 veces al día

Disponibilidad de stock

Localiza el último fichero de disponibilidad publicado y actualiza solo ese dato en todo el catálogo.

  • Elige solo el fichero más reciente, por fecha y secuencia.
  • Carga en tabla temporal en lotes de 10.000 registros.
  • Una única actualización masiva sobre el catálogo.
  • Solo afecta a productos existentes.

Automatización C · Diaria · 3:00 h

Restricciones de venta por mercado

Recarga la tabla de restricciones geográficas y la filtra a los mercados relevantes para el negocio.

  • Filtrado a 4 mercados: España, Portugal, Italia y Europa.
  • Lista de mercados configurable sin tocar código.
  • Recarga completa para no arrastrar restricciones antiguas.

Consulta en tiempo real · Bajo demanda · 24/7

API de libros por código EAN

Un servicio sin servidor permite a webs y aplicaciones consultar cualquier título al instante.

  • Consulta individual por EAN-13.
  • Consulta masiva de hasta 50 títulos en una sola llamada.
  • Devuelve ficha, disponibilidad y restricciones juntas.
  • Base de datos en red privada, sin exposición directa a Internet.

Tecnologías

  • Python
  • PostgreSQL
  • Docker
  • AWS EventBridge
  • AWS Lambda
  • Amazon S3
  • Secrets Manager
  • CloudWatch
  • GitHub Actions
  • SFTP

Así funciona

Del fichero del proveedor a la consulta, sin manos

Cada ejecución sigue el mismo recorrido, programado en la nube. El catálogo publicado solo cambia cuando la nueva versión está completa y validada.

  1. Paso 1: Descarga segura

    Conexión cifrada SFTP, verificando la identidad del servidor del proveedor.

  2. Paso 2: Copia de respaldo

    Cada fichero original se guarda en la nube para auditoría y recuperación.

  3. Paso 3: Transformación

    Se interpretan los datos, se descartan registros sin código válido y se cargan por lotes.

    Si algo falla, el catálogo publicado no se toca y salta una alerta.

  4. Paso 4: Publicación sin cortes

    La nueva versión sustituye a la anterior en un solo paso.

Resultados

Un catálogo vivo, actualizado cientos de veces al mes

Cifras de la configuración en producción y del volumen de datos procesado.

fichas de libro sincronizadas en cada carga semanal
~500.000
ejecuciones automáticas al mes entre los tres procesos
~750
de antigüedad máxima del dato de disponibilidad
1 h
de catálogo vacío durante la recarga completa
0 s
campos normalizados por título, más restricciones de venta
12
registros por operación de escritura, frente a uno a uno
×5.000
títulos por consulta masiva en la API
50
pasos manuales en la operación diaria
0

Las ejecuciones derivan de la programación configurada: 4 cargas semanales, ~720 actualizaciones horarias y ~30 recargas diarias de restricciones al mes. El volumen del catálogo es aproximado y varía cada semana.

Lo que no se ve

Calidad del dato y seguridad, revisadas a fondo

Automatizar un proceso que funciona a medias solo multiplica el error. Antes de dar el sistema por terminado, auditamos qué datos llegaban realmente a la base de datos y cómo se protegía el acceso.

Antes

  • 6 de los 12 campos del catálogo —título, subtítulo, tipo de precio, disponibilidad, fecha de publicación y editorial— llegaban vacíos o mal leídos.
  • 9 credenciales (nube, base de datos, servidor del proveedor y claves privadas) estaban guardadas dentro del repositorio de código.
  • Descarga por FTP sin cifrar, un protocolo que el proveedor retira a finales de 2026.
  • Sin aviso si un proceso fallaba de madrugada.

Después

  • 12 de 12 campos extraídos según la especificación oficial ONIX 3, con un informe de auditoría campo a campo.
  • Todas las credenciales retiradas del código y renovadas; ahora viven en un gestor de secretos.
  • Controles automáticos que impiden volver a subir una contraseña o clave al repositorio.
  • Migración a SFTP cifrado con la huella del servidor verificada, antes de la fecha límite.
  • Alertas automáticas ante el primer error de cualquier proceso.

Evolución

De prototipo a sistema en producción

El proyecto se construyó por fases: primero, que los datos fluyeran; después, que lo hicieran de forma fiable y segura.

  1. Jun–jul 2025

    Primeros procesos

    Lectura del catálogo XML, contenedores y primera versión de la API.

  2. Mar 2026

    Endurecimiento

    Retirada de credenciales, rendimiento por lotes, registros estructurados y despliegue continuo.

  3. Mar 2026

    Puesta en producción

    Infraestructura en la nube sobre servidores de bajo consumo y consulta masiva en la API.

  4. Abr 2026

    Auditoría y programación

    Corrección de 6 campos del catálogo, API en red privada y calendario automático de ejecuciones.

  5. Oct 2026

    Transporte seguro

    Migración completa de FTP a SFTP verificado en los tres procesos.

«Un catálogo automatizado no vale por los datos que mueve, sino por poder confiar en lo que muestra a esta hora.»

Aplicaciones

¿Dónde más puede aplicarse este enfoque?

En cualquier empresa que dependa de datos de proveedores publicados en ficheros —XML, CSV o similares—.

  • Distribución y retail

    Catálogos de proveedores, tarifas y fichas de producto sincronizados sin intervención manual.

  • Comercio electrónico

    Stock y precios actualizados cada hora para no vender lo que no se puede servir.

  • Integraciones con terceros

    APIs internas que unifican varias fuentes de datos en una sola consulta.

¿De dónde salen los datos con los que trabaja tu equipo?

Analizamos de dónde vienen tus datos y diseñamos integraciones automáticas, seguras y proporcionadas a tu volumen.

Nota técnica: El sistema procesa los ficheros que publica el proveedor; la frescura del dato depende también de la frecuencia con la que este los actualiza. Caso presentado con denominaciones genéricas para preservar la confidencialidad del cliente.