Cómo DAOS Extrae el Máximo Rendimiento de NVMe y Memoria SCM
Cuando un sistema de archivos estándar comienza a ahogarse con millones de pequeñas operaciones de E/S aleatorias, los desarrolladores típicamente buscan soluciones alternativas. La historia conocida: las unidades NVMe modernas operan a velocidades impresionantes, pero la pila estándar del kernel de Linux consume mucho tiempo en bloqueos y cambios de contexto.
Los especialistas de la Linux Foundation están desarrollando DAOS (Distributed Asynchronous Object Storage). Este es un sistema de almacenamiento de objetos distribuido con código abierto escrito en C. Fue diseñado específicamente para memoria no volátil (NVM), módulos de Storage Class Memory y unidades NVMe.
Cuál es la Idea
El almacenamiento tradicional intenta forzar el antiguo modelo POSIX sobre la memoria rápida. Esto crea cuellos de botella. DAOS toma un enfoque diferente: el proyecto abandona completamente la pila tradicional de E/S del kernel.
En lugar de archivos y carpetas familiares, el sistema ofrece una estructura clave-valor con E/S transaccional asíncrona. Los flujos de datos no se bloquean entre sí durante las escrituras, y el acceso al hardware se realiza directamente a través de las bibliotecas SPDK y PMDK.
Qué Funcionalidades Ofrece el Proyecto
Los desarrolladores incorporaron varias capacidades fundamentales en la arquitectura para trabajar con grandes volúmenes de datos.
- Transacciones asíncronas no bloqueantes para escrituras paralelas
- Verificación de integridad de datos de extremo a extremo desde el cliente hasta el almacenamiento
- Recuperación automática cuando fallan nodos individuales
- Escalado elástico del clúster sin interrupción del servicio
Un punto interesante concierne a las interfaces. A diferencia de los almacenes KV de propósito estrecho, DAOS ofrece contenedores de cliente convenientes. Puedes trabajar con él a través de un diccionario nativo de Python, conectarte a Spark, pasarlo a través de TensorFlow-IO, o usar las bibliotecas HDF5 y MPI-IO tradicionales para software científico. Para compatibilidad con software heredado, existe emulación de sistema de archivos paralelo.
Qué Hay Bajo el Capó y Qué Matices Existen
El código está escrito en C, y el repositorio existe desde 2016. El proyecto ha recopilado alrededor de mil estrellas en GitHub, pero no esperes un despliegue fácil. Este no es un práctico utilitario CLI que instalas con un solo comando.
La operación completa de DAOS requiere hardware especializado con soporte NVMe y preferiblemente memoria no volátil (SCM). No podrás evaluar el concepto con un presupuesto de un par de servidores cloud económicos. Configurar el plano de control y las bibliotecas cliente requiere una comprensión sólida de las pilas de red y la infraestructura.
Los registros de errores y la documentación son detallados pero voluminosos. Si algo sale mal durante la compilación, necesitarás profundizar en los registros o buscar ayuda en el Slack de la comunidad y los foros.
Quién Debería Probarlo
El proyecto no fue creado para sitios web cotidianos o pequeñas bases de datos PostgreSQL. Su nicho es infraestructura con requisitos de rendimiento colosales.
- Equipos que entrenan redes neuronales gigantes en TensorFlow, donde la carga de conjuntos de datos se ha convertido en el cuello de botella.
- Ingenieros de datos que trabajan con análisis distribuido en Hadoop y Spark.
- Laboratorios científicos y clústeres HPC donde Lustre o GPFS estándar han dejado de funcionar.
- Desarrolladores de sistemas de alta carga que crean su propio almacenamiento en discos NVMe sin procesar.
En Resumen
DAOS es un excelente ejemplo de cómo la arquitectura de software se adapta al nuevo hardware. El proyecto es complejo, de propósito específico y exigente en infraestructura, pero en su dominio resuelve un problema real de sobrecarga del sistema. Si estás construyendo almacenamiento para tareas de aprendizaje automático o análisis de big data, definitivamente vale la pena echar un vistazo a la documentación.
Proyectos relacionados