A NVIDIA anuncia atualizações em seu software de Deep Learning acelerado por GPU que dobrará a performance dos treinamentos dessas soluções.
O novo software capacitará cientistas e pesquisadores de dados a potencializar seus projetos de Deep Learning e trabalhos de desenvolvimento de produtos criando redes neurais mais precisas por meio de treinamentos de modelos mais rápidos e projetos mais sofisticados.
O NVIDIA® DIGITS™ Deep Learning GPU Training System versão 2 (DIGITS 2) e a biblioteca NVIDIA CUDA® Deep Neural Network versão 3 (cuDNN 3) fornecem melhorias de performance significativas e novos recursos.
Para os cientistas de dados, o DIGITS 2 agora fornece expansão automática do treinamento de redes neurais em várias GPUs de alta performance. Isso permite dobrar a velocidade do treinamento de redes neurais profundas para classificação de imagens em comparação com uma GPU única.
Para os pesquisadores de Deep Learning, a cuDNN 3 oferece armazenamento de dados otimizado na memória de GPU para o treinamento de redes neurais maiores e mais sofisticadas. A cuDNN 3 também oferece performance mais alta em comparação com a cuDNN 2, permitindo que os pesquisadores treinem redes neurais até duas vezes mais rápidas em uma única GPU.
A nova biblioteca cuDNN 3 deve ser integrada às próximas versões das estruturas de Deep Learning Caffe, Minerva, Theano e Torch, que são largamente usadas para treinar redes neurais profundas.
“As GPUs de alta performance representam a tecnologia fundamental que está presente em inúmeros desenvolvimentos de produtos e inúmeras pesquisas de Deep Learning no meio acadêmico e nas principais empresas da Internet”, afirma Ian Buck, vice-presidente de computação acelerada da NVIDIA. “Trabalhando em conjunto com os cientistas de dados, os desenvolvedores de framework e a comunidade de Deep Learning, estamos aplicando as tecnologias de GPU mais poderosas para expandir os limites do possível”.
DIGITS 2 – Treinamento até duas vezes mais rápido com expansão automática em várias GPUs
DIGITS 2 é o primeiro sistema gráfico multifuncional que orienta os usuários pelo processo de projetar, treinar e validar redes neurais profundas para classificação de imagens.
O novo recurso de expansão automática em várias GPUs no DIGITS 2 maximiza os recursos de GPU disponíveis distribuindo automaticamente a carga de trabalho no treinamento de Deep Learning entre todas as GPUs do sistema. Usando DIGITS 2, os engenheiros da NVIDIA treinaram o modelo da conhecida rede neural AlexNet, que ficou mais de duas vezes mais rápida em quatro GPUs baseadas na arquitetura NVIDIA Maxwell™, se comparada com uma única GPU.1 Os resultados iniciais dos primeiros clientes estão ainda melhores.
“O treinamento de uma de nossas redes profundas para marcação automática em uma única NVIDIA GeForce GTX TITAN X leva aproximadamente 16 dias, mas, usando a nova expansão automática para várias GPUs em quatro GPUs TITAN X, esse mesmo treinamento é concluído em apenas cinco dias”, diz Simon Osindero, arquiteto de IA do Flickr da Yahoo. “Essa é uma enorme vantagem e permite que vejamos os resultados mais rapidamente e exploremos de forma mais ampla o espaço de modelos para alcançar uma precisão mais alta”.
cuDNN 3 – Treinar modelos maiores e mais sofisticados com mais rapidez
A cuDNN é uma biblioteca acelerada por GPU de rotinas matemáticas para redes neurais profundas que os desenvolvedores integram a estruturas de aprendizado da máquina de nível mais alto.
A cuDNN 3 adiciona suporte para armazenamento de dados de ponto flutuante de 16 bits na memória da GPU, dobrando a quantidade de dados que pode ser armazenada e otimizando a largura de banda de memória. Com esse recurso, a cuDNN 3 permite que os pesquisadores treinem redes neurais maiores e mais sofisticadas.
“Acreditamos que o suporte de armazenamento de GPU FP16 nas bibliotecas da NVIDIA permitirá expandir nossos modelos ainda mais, visto que ele aumentará a capacidade de memória efetiva do hardware e aumentará a eficiência conforme expandirmos o treinamento de um modelo único para várias GPUs”, diz Bryan Catanzaro, pesquisador sênior na Baidu Research. “Isso resultará em aprimoramentos adicionais na precisão de nossos modelos”, finaliza.
A cuDNN 3 também fornece acelerações significativas de performance em comparação com a cuDNN 2 para o treinamento de redes neurais em uma única GPU. Os engenheiros da NVIDIA treinaram o modelo AlexNet duas vezes mais rápido em uma única GPU NVIDIA GeForce® GTX™ TITAN X.2
Disponibilidade
A versão prévia do DIGITS 2 já se encontra disponível para download gratuito por desenvolvedores registrados da NVIDIA. Para saber mais ou fazer o download, visite o site do DIGITS.
A biblioteca cuDNN 3 deverá estar disponível nas principais frameworks de Deep Learning nos próximos meses. Para saber mais, visite o site da cuDNN.
