Amplificadores de nivel de entrada para inferencia de bordes

Además de una serie de anuncios relacionados con el software de NVIDIA esta mañana como parte de su Fall GTC, la compañía también ha anunciado tácitamente un nuevo producto de GPU de servidor para el mercado de aceleradores: NVIDIA A2. El nuevo miembro de gama baja de la familia de aceleradores de la serie A basada en Ampere está diseñado para tareas de inferencia de nivel de entrada y, gracias a su tamaño relativamente pequeño y bajo consumo de energía, también está destinado a escenarios de computación periférica.

Además de servir como un punto de entrada de gama baja en la pila de productos aceleradores de GPU de NVIDIA, el A2 está configurado para reemplazar en gran medida al último miembro restante de las tarjetas NVIDIA de la generación anterior, el T4. A pesar de ser una tarjeta de gama alta, la T4 se diseñó para muchas de las mismas cargas de trabajo de inferencia y tenía el mismo factor de forma de ranura única HHHL. El lanzamiento del A2 termina así con el amperaje de la gama de aceleradores NVIDIA y ofrece a los clientes de servidores NVIDIA una nueva tarjeta de nivel de entrada.

Comparación de las especificaciones del acelerador NVIDIA ML
A100A30A2
Núcleos FP32 CUDA691235841280
Núcleos de tensor43222440
Impulsar el reloj1,41 GHz1,44 GHz1,77 GHz
Reloj de la memoria3,2 Gbit / s HBM2eHBM2 de 2,4 Gbit / s12,5 Gbit / s GDDR6
Ancho del bus de memoria5120 bits3072 bits128 bits
Ancho de banda de memoria2,0 TB / seg933 GB / seg.200 GB / seg.
VRAM80 GB24 GB16 GIGABYTE
Con simple precisión19,5 TFLOPS10.3 TFLOPS4.5 TFLOPS
El doble de precisión9,7 TFLOPS5.2 TFLOPS0,14 TFLOPS
Tensor INT8624 TOPS330 TOPS36 TOPS
Tensor FP16312 TFLOPS165 TFLOPS18 TFLOPS
Tensor TF32156 TFLOPS82 TFLOPS9 TFLOPS
asociarNVLink 3
12 enlaces
PCIe 4.0 x16 +
NVLink 3 (4 enlaces)
PCIe 4.0 x8
GPUGA100GA100GA107
Numero de transistores54,2B54,2B?
TDP400W165W40W-60W
método de producciónTSMC 7NTSMC 7NSamsung 8nm
Factor de formaSXM4SXM4HHHL-SS-PCIe
Arquitecturaamperioamperioamperio

Según las especificaciones oficiales de NVIDIA, el A2 parece utilizar una versión muy reducida de su GPU GA107 de gama baja. Con solo 1280 núcleos CUDA (y 40 núcleos tensores), el A2 solo usa aproximadamente la mitad de la capacidad del GA107. Sin embargo, esto está en consonancia con el objetivo de optimización de tamaño y rendimiento de la tarjeta. A2 solo extrae 60W de la caja y se puede configurar para reducirlo aún más a 42W.

En comparación con sus núcleos, NVIDIA mantiene el bus de memoria completo del GA107 para la tarjeta A2. El bus de memoria de 128 bits está emparejado con 16 GB de GDDR6, que tiene una frecuencia de 12,5 Gbit / s algo inusual. Esto le da un ancho de banda de memoria plana de 200 GB / segundo, por lo que parece que alguien realmente quiere un buen número redondo.

De lo contrario, como ya se mencionó, es una tarjeta PCIe en el factor de forma Half Height, Half Length, Single-Slot (HHHL-SS). Y como todas las tarjetas de servidor NVIDIA, A2 se enfría pasivamente y depende del flujo de aire de la carcasa del host. Hablando del host, la GA107 solo ofrece 8 carriles PCIe, por lo que la tarjeta recibe una conexión PCIe 4.0 x8 de regreso a su CPU host.

En resumen, según NVIDIA, el A2 ya está disponible. NVIDIA no cotiza públicamente sus tarjetas de servidor, pero el nuevo acelerador debería estar disponible a través de los socios OEM habituales de NVIDIA.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir