GPU AI introduce la optimización autónoma para reducir los costos de la infraestructura.

• Sedai implementó una optimización autónoma de las GPU, con el objetivo de reducir los costos de infraestructura. Esto se logró mediante la identificación de recursos de GPU que no se estaban utilizando adecuadamente en los entornos Kubernetes.De acuerdo con su anuncio.
• VMware Private AI Foundation con NVIDIA permite a las organizaciones construir plataformas de trabajo de inteligencia artificial utilizando máquinas virtuales de aprendizaje profundo y clústeres VKS, con acceso a GPUs.Como está documentado.
• El AMD ROCm™ AI Developer Hub ofrece recursos para que los desarrolladores puedan crear y optimizar aplicaciones de IA utilizando las GPU de AMD. Entre estos recursos se encuentran herramientas como PyTorch y TensorFlow.Según AMD.

El mercado de la infraestructura de IA está creciendo rápidamente, a medida que aumenta la demanda de recursos de GPU. Según IDC, el gasto en infraestructura de IA aumentó un 166% en el año 2025. Sin embargo, los estudios muestran que una tercera parte de todas las GPU se utilizan con menos del 15% de su capacidad real. Esta subutilización representa una importante dificultad económica para las empresas que implementan cargas de trabajo basadas en IA.

La nueva solución de Sedai aborda este problema mediante la identificación y el manejo automático de las alocaciones de memoria de la GPU que no se están utilizando. La tecnología utiliza un modelo de uso propietario para detectar los recursos que no se están aprovechando adecuadamente y optimizar la distribución de cargas de trabajo en los entornos Kubernetes.

Mientras tanto, VMware y NVIDIA permiten a las empresas construir plataformas de trabajo con IA personalizadas, utilizando recursos GPU. Estas plataformas permiten que los científicos de datos e ingenieros de MLOps desarrollen aplicaciones de IA, mientras que todo el proceso está gestionado por equipos DevOps. La infraestructura puede implementarse en entornos conectados o desconectados, con flujos de trabajo específicos para cada escenario de implementación.

¿De qué manera las empresas aprovechan las plataformas de carga de trabajo basadas en IA, utilizando los recursos de GPU?

VMware Private AI Foundation con NVIDIA ofrece un marco para que las organizaciones puedan construir plataformas de inteligencia artificial utilizando máquinas virtuales con capacidad de aprendizaje profundo y clústeres VKS con acceso a GPUs.En detalle…Estas plataformas suelen ser gestionadas por ingenieros de DevOps, quienes se encargan de la configuración y el manejo de la infraestructura necesaria para el funcionamiento de las mismas. El proceso de implementación implica la incorporación de funciones basadas en inteligencia artificial en VMware Cloud Foundation (VCF). Además, se utiliza el asistente “Private AI Foundation Quickstart” para agregar elementos relacionados con el desarrollo de soluciones basadas en inteligencia artificial.

En entornos conectados, el proceso de configuración incluye la implementación de dominios de trabajo acelerados por GPU, la configuración de NVIDIA vGPU o funciones de paso de recursos por GPU en hosts ESX, y la definición de clases de máquinas virtuales para cargas de trabajo de IA. En entornos desconectados (en ambientes sin conexión a Internet), se requieren componentes adicionales, como una instancia del Servicio de Licencias Delegadas de NVIDIA y un registro de contenedores local. Esto garantiza que las organizaciones puedan implementar infraestructura de IA en entornos donde el acceso a Internet está restringido.

¿Qué recursos existen para los desarrolladores que construyen aplicaciones de IA utilizando hardware GPU?

El AMD ROCm™ AI Developer Hub ofrece recursos completos para los desarrolladores que quieren crear aplicaciones de inteligencia artificial utilizando GPU de AMD.Como se indica.La plataforma ofrece acceso a tutoriales, proyectos de código abierto y guías de implementación. También es compatible con los principales marcos de inteligencia artificial como PyTorch, TensorFlow y JAX. Además, proporciona contenedores Docker preoptimizados tanto para el entrenamiento como para la inferencia. El centro también incluye herramientas de orquestación y puntos de referencia de rendimiento para los flujos de trabajo relacionados con la inteligencia artificial. Los desarrolladores pueden interactuar con la comunidad de código abierto de AMD a través de foros y proyectos en GitHub.

Además, la investigación académica está contribuyendo al entendimiento del rendimiento de las aplicaciones basadas en la inteligencia artificial. Un estudio introdujo un marco de evaluación que analiza el impacto del uso de controles de potencia sobre los trabajos realizados por sistemas de inteligencia artificial.De acuerdo con las investigaciones…Los resultados mostraron que los ajustes óptimos de la potencia varían en función del tipo de aplicación y de la arquitectura de la GPU. Esto resalta la necesidad de una gestión de la infraestructura flexible.

¿Cuáles son los principales desafíos relacionados con los costos y la eficiencia en la implementación de la infraestructura de inteligencia artificial?

El uso de GPU sigue siendo un desafío importante en la implementación de infraestructuras de IA. La optimización automática de GPU realizada por Sedai tiene como objetivo reducir los costos, identificando y aprovechando las recursos que no se utilizan al máximo en entornos Kubernetes.Como se informó.La solución ofrece tres funciones principales: desasignación de recursos de la GPU en estado inactivo, activación de MIG y optimización del grupo de nodos de la GPU. Estas características permiten a las empresas optimizar el uso de la GPU, sin sacrificar el rendimiento.

La plataforma NGC de NVIDIA también contribuye a la eficiencia, al ofrecer una solución basada en la nube para los profesionales del área de la IA.Como se describe.Ofrece acceso a software optimizado para GPU, SDK y modelos previamente entrenados. Las organizaciones pueden compartir de forma segura el software de IA entre los diferentes equipos, además de disfrutar de servicios de soporte para la ejecución del software en plataformas DGX o servidores certificados. La plataforma soporta una variedad de dispositivos de hardware de NVIDIA, como H100, V100, A100 y dispositivos Jetson.

¿Cuáles son los aspectos de seguridad y control de acceso que deben tenerse en cuenta al utilizar plataformas de carga de trabajo basadas en IA?

La seguridad es una consideración clave para las cargas de trabajo de IA que utilizan recursos de GPU. NVIDIA NGC soporta autenticación de múltiples factores y funciones de compartición segura, lo que permite que las organizaciones puedan gestionar los permisos de acceso.En detalle…Los usuarios pueden organizarse en equipos, con un control de acceso basado en roles. Además, los grupos de usuarios externos pueden colaborar, pero manteniendo las restricciones de acceso necesarias. Esto asegura que el software y los modelos de IA sensibles permanecen protegidos.

La Private AI Foundation de VMware, junto con NVIDIA, también incluye funciones de seguridad para las plataformas de trabajo con inteligencia artificial.De acuerdo con la documentación disponible.En entornos desconectados, las organizaciones pueden mantener un control más estricto sobre su infraestructura, utilizando registros de contenedores locales y implementando los componentes necesarios de forma interna. Esto ayuda a garantizar la seguridad de los datos y las aplicaciones en entornos de red restringidos.