Los nuevos GPU H100 de NVidia, Hopper, en honor a Grace Hopper, contendrán 80.000 millones de transistores en lo que dan a llamar “Transformer Engine”.
Los nombres cada vez son más fantásticos para cada pieza de hardware que hace más o menos lo mismo de simpre pero aquí NVidia está dedicándole mucho esfuerzo a ganarse el área de servidores desde AI hasta cualquier cálculo posible.
Una parte interesante del H100 es la tecnología MIG para poder particionar el GPU en instancias menores para distintos tipos de tareas al mismo tiempo habilitando un uso más intensivo del GPU para hacer más de una cosa a la vez.
El H100 es el primer GPU de la firma que maneja instrucciones dinámicas (DPX), la programación dinámica no es nueva, data de los años 50, y es uno de los tantos métodos para resolver problemas usando dos técnicas, recursión y “memoización” (guardar en memoria el resultado de los sub-procesos para no tener que volver a generarlos). Como un FPGA pero sin las limitaciones de éste.
El alcance son aplicaciones de búsqueda de rutas óptimas, trabajar con grandes sets de datos, secuencias de ADN, etc.
El Transformer Engine agrega FP8 (punto flotante de 8 bits) como dato simple para operaciones de AI en vez de usar todo en 16, 32 y 64, para procesar cosas menos precisas pero más rápidas (en Machine Learning tiene sentido).
El GPU brindará soporte para PCIe Gen5 con unos 5TB/s de conectividad al bus general del servidor y 3TB/s en su propia memoria, cuarta generación de NVLink para interconexión.
