The Pulse
Exa afirma que las optimizaciones de los chips de AWS aumentaron alrededor de un 50 % el rendimiento de generación de embeddings
Exa informa de que su capacidad inicial de procesamiento de embeddings se multiplicó aproximadamente por 1,5 tras optimizar cargas de trabajo en chips AWS Inferentia2. El trabajo se llevó a cabo mientras la empresa de búsqueda volvía a generar embeddings para 30 mil millones de documentos prioritarios con un nuevo modelo.

Exa afirma que aumentó la capacidad de procesamiento de su carga de trabajo de generación de embeddings para documentos hasta aproximadamente 1,5 veces su nivel inicial al optimizarla para los chips AWS Inferentia2. En una publicación del 18 de noviembre en el blog de aprendizaje automático de AWS, la empresa de búsqueda también informó de una mejora del 47 % en el rendimiento y el coste por cada millón de documentos procesados, en comparación con su referencia inicial.
Fuente aws.amazon.com
El trabajo se llevó a cabo mientras Exa seleccionaba 30 mil millones de documentos prioritarios para volver a generar sus embeddings con un nuevo modelo de documentos. Ejecutar en paralelo las canalizaciones de embeddings en producción y la nueva duplicó la carga de inferencia durante esa migración.
Por qué importa la capacidad de generar embeddings
Exa crea un índice con datos web, así como con fuentes privadas y sintéticas. La empresa utiliza modelos de aprendizaje automático para situar documentos web y consultas en el mismo espacio vectorial, lo que permite realizar consultas en lenguaje natural además de búsquedas por palabras clave.
Los documentos que superan el umbral de calidad de la empresa pasan por una canalización asíncrona antes de poder ofrecerse desde su base de datos vectorial interna. La canalización rastrea, analiza, modera y filtra los datos antes de generar sus embeddings.
Las cifras de Inferentia2 comunicadas corresponden a una instancia inf2.xlarge con un chip y dos NeuronCores. La carga de trabajo se ejecuta en un único NeuronCore, con pods de Kubernetes distribuidos en instancias más grandes; el mismo proceso también se ejecuta en un NeuronCore de Trainium2 y se escala mediante paralelismo de datos.
Cambios en la carga de trabajo
El punto de partida fue una versión del modelo con paralelismo de datos y FP16. Exa cambió después la disposición de los pesos del modelo para evitar transposiciones innecesarias y habilitó autocast, lo que permite al compilador usar una precisión menor para la multiplicación de matrices y, al mismo tiempo, preservar el rango dinámico.
Según la publicación, los resultados de menor precisión alcanzaron el umbral de corrección de la empresa, de 0,999 de similitud coseno respecto a la referencia. Un kernel de atención precompilado de la biblioteca Neuron Kernel Interface aportó otra mejora del rendimiento.
El perfilado mostró que los datos se volcaban repetidamente en la memoria de alto ancho de banda y se volvían a cargar desde ella, lo que dejaba infrautilizado el Tensor Engine durante la pasada hacia delante. El equipo escribió un kernel MLP SwiGLU fusionado y personalizado que, según afirma, eliminó esas esperas de memoria.
Exa también reescribió el kernel de atención en función de las formas de su modelo para reducir los cálculos dedicados al relleno. Combinó operaciones de atención en multiplicaciones de matrices únicas, mientras que el kernel genérico utilizaba varios pasos de instrucciones, lo que redujo las operaciones del bucle interno y los viajes de ida y vuelta a la memoria.
Agentes y planificación del cómputo
Los agentes desarrollaron las optimizaciones con un sistema para comprobar la corrección, medir el rendimiento y perfilar la carga de trabajo. Cada agente ejecuta un flujo de trabajo con Flyte que compila un ejecutable de Neuron y compara una pasada hacia delante con un conjunto de datos de referencia, con una similitud coseno requerida de 0,999 respecto al modelo canónico.
El flujo de trabajo también perfila una pasada hacia delante y ejecuta en el hardware un benchmark de saturación de 30 minutos. Los modelos más ligeros buscan parámetros del compilador, los agentes de razonamiento prueban hipótesis y encuentran cuellos de botella, y los agentes de generación de código escriben kernels personalizados.
La empresa ha optimizado Inferentia2 en la región US West (Oregon) y está trasladando el trabajo a Trainium2. Exa planifica el cómputo en varias regiones desde un único plano de control de Kubernetes, compara el rendimiento por dólar entre tipos de instancia y coloca los pods en los nodos más baratos a medida que cambia la demanda de generación de embeddings.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- EE. UU. establece normas de licencias de chips dirigidas al acceso remoto a la IA
- AWS añade recuperación de trabajos atascados y comprobaciones a SageMaker HyperPod
- AWS añade una tabla de clasificación de modelos a SageMaker JumpStart
- Aikido encuentra secretos accesibles en 13 de 50 incidentes de seguridad relacionados con la IA
- Cegedim inaugura en Francia un centro de datos para IA y computación de alta densidad