A Nvidia anunciou uma série de produtos corporativos focados em tecnologia de IA em sua conferência anual GTC. Eles incluem detalhes de sua nova arquitetura de silício, Hopper; a primeira GPU de datacenter construída com essa arquitetura, a H100; um novo “superchip” da CPU Grace; e planos vagos para construir o que a empresa afirma ser o supercomputador de IA mais rápido do mundo, chamado Eos.
Em particular, a empresa enfatizou a popularidade de um tipo de sistema de aprendizado de máquina conhecido como Transformer. Esse método tem sido incrivelmente frutífero, alimentando tudo, desde modelos de linguagem como o GPT-3 da OpenAI até sistemas médicos como o AlphaFold da DeepMind. Esses modelos aumentaram exponencialmente em tamanho no espaço de alguns anos. Quando o OpenAI lançou o GPT-2 em 2019, por exemplo, ele continha 1,5 bilhão de parâmetros (ou conexões). Quando o Google treinou um modelo semelhante apenas dois anos depois, usou 1,6 trilhão de parâmetros.
“O treinamento desses modelos gigantes ainda leva meses”, disse o diretor sênior de gerenciamento de produtos da Nvidia, Paresh Kharya, em uma coletiva de imprensa.
A Nvidia diz que sua nova arquitetura Hopper ajudará a melhorar essas dificuldades. Batizada em homenagem à cientista da computação pioneira e contra-almirante da Marinha dos EUA Grace Hopper, a arquitetura é especializada para acelerar o treinamento de modelos Transformer em GPUs H100 em seis vezes em comparação com os chips da geração anterior, o novo Nivida NVlink de quarta geração pode conectar até 256 GPUs H100 com largura de banda nove vezes maior que a geração anterior.
A própria GPU H100 contém 80 bilhões de transistores e é a primeira GPU a suportar PCle Gen5 e utilizar HBM3, permitindo largura de banda de memória de 3 TB/s. A Nvidia diz que uma GPU H100 é três vezes mais rápida que a A100 da geração anterior em computação FP16, FP32 e FP64, e seis vezes mais rápida em matemática de ponto flutuante de 8 bits.
“Para o treinamento de modelos Transformer gigantes, o H100 oferecerá desempenho até nove vezes maior, habilitado em dias o que costumava levar semanas”, disse Kharya.
A empresa também anunciou uma nova CPU de data center, a Grace CPU Superchip, que consiste em duas CPUs conectadas diretamente por meio de um novo NVLink-C2C de baixa latência. O chip foi projetado para “servir aplicativos de HPC e IA em escala gigante”
:no_upscale()/cdn.vox-cdn.com/uploads/chorus_asset/file/23337016/Screenshot_2022_03_22_at_16.05.31.png)
Além das notícias de hardware e infraestrutura, a Nvidia também anunciou atualizações para seus vários serviços de software de IA corporativa, incluindo Maxine (um SDK para fornecer aprimoramentos de áudio e vídeo, destinados a coisas como avatares virtuais) e Riva (um SDK usado para reconhecimento de fala e conversão de texto em fala).
A empresa também brincou que estava construindo um novo supercomputador de IA, que afirma ser o mais rápido do mundo quando implantado. O supercomputador, chamado Eos, será construído usando a arquitetura Hopper e conterá cerca de 4.600 GPUs H100 para oferecer 18,4 exaflops de “desempenho de IA”. O sistema será usado apenas para pesquisas internas da Nvidia.
Durante seu discurso de abertura, o CEO da Nvidia, Jensen Huang, disse que o Eos, ao executar tarefas tradicionais de supercomputadores, acumularia 275 petaFLOPS de computação – 1,4 vezes mais rápido que “o computador científico mais rápido dos EUA” (o Summit).
“Esperamos que o Eos seja o computador de IA mais rápido do mundo”, disse Huang. “Eos será o modelo para a infraestrutura de tecnologia de IA mais avançada para nossos OEMs e parceiros de nuvem.”
Via: TheVerge
