Dell presenta el servidor PowerEdge XE9680 con ocho GPU AMD Instinct MI300X
Dell Technologies ha anunciado el lanzamiento de su último servidor, el PowerEdge XE9680, que cuenta con una integración de vanguardia con las GPU de IA Instinct MI300X de AMD. Esta colaboración marca un avance significativo en las soluciones de IA generativa, ya que ofrece a las empresas un sólido respaldo para el rendimiento y la innovación de la IA.
Potente rendimiento de IA con la integración de MI300X
El nuevo servidor PowerEdge XE9680 de Dell integra ocho aceleradores AMD Instinct MI300X, que ofrecen importantes capacidades de rendimiento de IA. Cada servidor está equipado con 1,5 TB de memoria HBM3 y ofrece un rendimiento teórico máximo de 42 petaFLOPS. Esta potente configuración está diseñada para acelerar el entrenamiento y la inferencia de grandes modelos de lenguaje (LLM), lo que permite a las empresas lograr innovaciones y conocimientos eficientes impulsados por IA.
El servidor ha demostrado una importante relación coste-eficacia en configuraciones de un solo nodo. Por ejemplo, el modelo de parámetros Llama 2 70B se implementó con éxito en un solo acelerador MI300X y se amplió a ocho instancias concurrentes utilizando los ocho aceleradores. Además, se logró un ajuste fino del modelo Llama 2 70B con una precisión de FP16.
Integración de tecnología avanzada
El servidor PowerEdge XE9680 incorpora varias tecnologías avanzadas para respaldar la rápida implementación y escalabilidad de soluciones de inteligencia artificial generativa. Dell OpenManage Enterprise simplifica la implementación, mientras que el software APEX AIOps proporciona automatización inteligente. Los nuevos servicios de implementación, cuyo lanzamiento está previsto para septiembre, garantizan una integración fluida de estas innovaciones en las operaciones empresariales.
Los componentes clave de esta implementación incluyen el Dell PowerSwitch Z9664F-ON, que proporciona 64 puertos de 400 GbE para admitir estructuras Ethernet de baja latencia y alto rendimiento para clústeres de IA modernos. Además, las NIC optimizadas para IA Broadcom Thor2 ofrecen interconexiones de 400 G, lo que proporciona conexiones de bajo consumo para los aceleradores MI300X.
Ampliación del ecosistema de IA generativa
El servidor Dell PowerEdge XE9680 es compatible con el marco AMD ROCm, que amplía el ecosistema de soluciones de inteligencia artificial generativa de Dell. Este marco es compatible con varios modelos de lenguaje de código abierto de gran tamaño, incluidos PyTorch, TensorFlow, ONNX-RT y JAX. Los aceleradores AMD Instinct también incluyen compatibilidad integral con controladores, kits de herramientas de desarrollo y API.
Dell Omnia simplifica la creación y la gestión de clústeres de IA, lo que permite la configuración automatizada y mejora la eficiencia del procesamiento de la carga de trabajo. Además, Dell Technologies ha presentado una versión de distribución empresarial de SONiC, que combina la plataforma SONiC de código abierto con Dell PowerSwitch para obtener funciones avanzadas y soporte de nivel empresarial.
Pautas de diseño de IA generativa y soporte para desarrolladores
En mayo, Dell y AMD publicaron una guía de verificación de diseño de IA generativa, que se encuentra disponible recientemente. Esta guía proporciona instrucciones completas para implementar tecnologías de inferencia de modelos de lenguaje (LLM) a gran escala, personalización de modelos, ajuste fino y generación aumentada por recuperación (RAG). El diseño se basa en estándares abiertos, lo que reduce la dependencia de paquetes de software de IA propietarios y permite a los desarrolladores utilizar modelos LLM de código abierto de socios como Hugging Face y Meta.
Impacto transformador en la innovación de la IA
La colaboración entre Dell y AMD, a través de la introducción de los aceleradores de IA Instinct MI300X y las soluciones de IA generativa, proporciona a las empresas una base sólida para el avance de la IA. Al ofrecer una infraestructura local eficiente y rentable y un ecosistema abierto, Dell y AMD están impulsando innovaciones y resultados impulsados por la IA más rápidos y efectivos.
El servidor PowerEdge XE9680 de Dell con GPU AMD Instinct MI300X representa un gran avance en la tecnología de inteligencia artificial generativa, ya que ayuda a las empresas a aprovechar las capacidades avanzadas de inteligencia artificial para diversas aplicaciones. Esta integración subraya la evolución continua y la creciente accesibilidad de las soluciones de inteligencia artificial en el sector empresarial.
