Por que construir produtos com IA integrada é mais fácil com FPGAs

Parece que o GPT-4 destruiu todas as expectativas anteriores de Inteligência Artificial (IA). Não há dúvidas de que a IA fará grande parte da transformação digital no futuro. Na Intel®, estamos adotando a IA em todos os aspectos dos nossos negócios, do data center à nuvem, na rede e em aplicativos incorporados na borda da Internet.  

Estamos todos familiarizados com carros e robôs autônomos, mas há uma infinidade de aplicações que são menos comentadas, mas não menos interessantes. A aplicação de IA e aprendizado de máquina (ML) a imagens e diagnósticos médicos, inspeção industrial, reconhecimento de fala, processamento e reconhecimento de vídeo e imagem, cidade inteligente, sinalização inteligente e muitos, muitos outros aplicativos incorporados em breve resultará em produtos com recursos incríveis. A IA também se tornará um requisito competitivo em praticamente todas as áreas de produtos. 

Arquitetos e engenheiros estão adotando cada vez mais FPGAs para suas soluções de IA porque eles possuem muitas características que os tornam ideais para esse propósito. A estrutura lógica programável dentro de um FPGA os torna excelentes alvos de implementação para redes neurais e outras cargas de trabalho de IA. Eles fornecem processamento paralelo de alto desempenho com requisitos de energia muito baixos. Além disso, os FPGAs têm uma enorme variedade de opções de E/S externas que geralmente não estão disponíveis em outras arquiteturas de hardware. Eles podem ser usados ​​para conectar-se a uma ampla variedade de fontes, como radar, áudio, vibração e visão.  

Os provedores de soluções estão aproveitando os pontos fortes inerentes dos FPGAs Intel Agilex® para implementar IA. Aproveitando a tecnologia líder de chips da Intel, os FPGAs Intel Agilex combinam os principais blocos de construção de processamento de IA dedicado, lógica personalizada, memória, processamento de sinal digital e RF, CPUs padrão e E/S rápida em um pacote pequeno, seguro e de baixo consumo de energia. A alternativa aos FPGAs geralmente envolve vários dispositivos discretos. A maior integração fornecida pelos FPGAs permite uma implementação mais eficiente em termos de desempenho, eficiência energética e tamanho. 

Para atender à necessidade de IA em novos sistemas, os FPGAs Intel Agilex® 5 são os primeiros e atualmente a única família de produtos FPGA aprimorados por IA. Um exemplo disso é a capacidade do Intel Agilex 5 de fornecer capacidade INT8 5 vezes maior para operações de IA em comparação com nossos produtos da geração anterior1 . Embora as abordagens de GPU normalmente usem operações FP32 ou FP16 para treinamento, os modelos e técnicas de treinamento de IA mais recentes empregam “precisão escalável” para aumentar a velocidade e reduzir a potência. Os blocos tensores de IA Intel Agilex 5 oferecem a velocidade do INT8 com a precisão do FP16, na maioria dos casos eliminando a necessidade de “treinamento consciente de quantização” (QAT) adicional que estende o tempo de desenvolvimento. 

Os FPGAs Intel Agilex 5 também apresentam aumentos significativos na velocidade de inferência para reduzir a latência de resposta. O Intel  Agilex 5 oferece quadros por segundo (FPS)2 3,8x mais altos no benchmark RESNET-50 AI em comparação com nossa geração anterior e FPS 69% mais alto que os FPGAs3 da concorrência. Os FPGAs Intel Agilex 5 oferecem baixa latência de IA, alta eficiência energética, segurança reforçada e cabem em pacotes tão pequenos quanto 15 mm x 15 mm. Eles fornecem todos os recursos necessários para criar soluções FPGA personalizadas de aprendizado profundo que podem ser facilmente integradas a outros elementos do sistema por meio de interface IP PCIe e CXL avançada. 

Depois de escolher o FPGA Intel Agilex perfeito para sua aplicação de IA, como você reúne todos os elementos da sua solução? O ambiente de design Intel FPGA agora possui um componente chamado Intel FPGA AI Suite para simplificar o trabalho de incorporação de IA em soluções FPGA personalizadas. O Intel FPGA AI Suite funciona com o Intel Quartus® Prime em um fluxo de design único e integrado que leva você de um modelo de aprendizado de máquina (ML) treinado a um bloco IP de IA que você coloca em seu ambiente Intel Quartus Prime para integrar com memória, I/ O, CPUs e lógica personalizada para uma solução Intel Agilex 5 FPGA finalizada. 

O Intel FPGA AI Suite inclui a versão Intel do Ope nVINO ™ , que aceita um modelo treinado de TensorFlow, Ca ffe , Keras , O NNX, Py To rch , mxnet ou Paddle AI . Ope nVINO otimiza o modelo para reduzir seu tamanho e , em seguida, fornece informações ao Intel FPGA AI Suite , que mapeia os recursos necessários para implementar o modelo em um FPGA Intel  Agilex 5.  

O Intel FPGA AI Suite também inclui o A rchitecture Optimizer , que ajuda os usuários a ajustar os recursos do dispositivo ( por exemplo , memória versus elementos de processamento) para atingir o rendimento máximo . A capacidade de personalizar FPGAs Intel Agilex 5 permite que os arquitetos explorem o espaço de design e otimizem o espaço ocupado pelos aplicativos de IA em termos de tamanho, peso e potência. Depois que seu bloco AI estiver definido , você poderá usar oConjunto de ferramentas Intel Quartus Prime para integrá -lo com outras lógicas personalizadas, CPU, memória, E/S e outros blocos IP . 

O Architecture Optimizer permite ajustar os recursos do dispositivo (por exemplo, memória versus elementos de processamento) para atingir rendimento máximo e consumo mínimo de energia. 

Um de nossos clientes, a Exor International, usou o Intel FPGA AI Suite com um FPGA Intel Agilex para construir um sistema de inspeção óptica industrial que identifica defeitos em unidades de exibição em tempo real. O sistema utiliza uma rede neural autoencoder de aprendizado profundo treinada para detectar possíveis imperfeições usando um modelo treinado em unidades de exibição semanomalias. As medições da Exor mostram que sua rede neural executada em um Intel FPGA projetado com Intel FPGA AI Suite é 19,1 vezes mais rápida do que uma CPU sozinha. De acordo com a Exor, “o Intel FPGA AI Suite e o kit de ferramentas OpenVINO™ nos pouparam meses de tempo para adicionar inferência de FPGA AI ao kit GigaSOM gS01 da Exor.​​ Os designs de exemplo fornecidos com a suíte permitiram que a equipe avaliasse rapidamente diferentes algoritmos para diferentes fontes de imagem . O Intel FPGA AI Suite e o kit de ferramentas Intel® Distribution of OpenVINO permitem que cientistas de dados e engenheiros de FPGA trabalhem juntos de forma integrada para desenvolver inferência de aprendizagem profunda otimizada para aplicações médicas.” 

Agora é a hora de aprender sobre os FPGAs Intel Agilex e como eles podem ajudá-lo a permanecer no topo da onda da IA. Há muito o que aprender e convido você a aproveitar os recursos que a Intel oferece para atualizá-lo, como este white paper sobre IA em FPGAs . Confira também nossa linha de produtos FPGA em intel.com/fpga e inscreva-se em nosso boletim informativo FPGA para ficar por dentro de muitos novos produtos e tecnologias que serão lançados em breve. Mais sobre nossas ferramentas de desenvolvimento Intel Quartus Prime FPGA com Intel FPGA AI Suite , kits de desenvolvimento FPGA e diversos treinamentos também estão disponíveis. 

Notas/isenções de responsabilidade: O desempenho varia de acordo com o uso, configuração e outros fatores. Saiba mais no  site do Índice de Desempenho . Os resultados de desempenho são baseados em testes realizados nas datas mostradas nas configurações e podem não refletir todas as atualizações disponíveis publicamente. Consulte backup para obter detalhes de configuração. Nenhum produto ou componente pode ser absolutamente seguro. Seus custos e resultados podem variar. As tecnologias Intel podem exigir ativação de hardware, software ou serviço habilitado. A Intel não controla nem audita dados de terceiros. Você deve consultar outras fontes para avaliar a precisão. ©Intel Corporation. Intel, o logotipo da Intel e outras marcas da Intel são marcas registradas da Intel Corporation ou de suas subsidiárias. Outros nomes e marcas podem ser reivindicados como propriedade de terceiros.  

1. 5x versus FPGAs Intel anteriores à Intel Agilex Série 5 versus Intel Agilex Série 9, FPGAs Série 7, Arria 10, Cyclone V, FPGAs Stratix 10. 
2. Desempenho estimado do dispositivo Agilex D Series AGD064 = 578 FPS / 13 Watts. Desempenho projetado com arquitetura CNN genérica do Intel FPGA AI Suite (não medido ou simulado). A capacidade da CPU e DDR do host pode afetar o desempenho estimado.
   • Desempenho estimado de FPS com duas instâncias de inferência IP, 90% de utilização em nível de velocidade média.  
   • O desempenho e a potência podem não refletir futuras medições de hardware. 
3. Informações de FPGA do concorrente (VE2302 a ~20Watts) com base nas informações publicadas de desempenho e utilização do AMD Versal AI Edge em 24 de agosto de 2023; poderá sofrer alterações em futuras revisões.
   • tf_resnetv1-50_3.5 @ 4793 FPS no VE2802 é escalonado para 342 FPS no VE2302 
   • DPU VE2802 /C20B14CU1/169.16 TOPS/4793 FPS dimensionado para DPU VE2302 / C20B1CU1/12.08 TOPS / 342 FPS 
   • https://docs.xilinx.com/r/en-US/pg425-dpucv2dx8g/Resource-Utilization  
   • https://xilinx.github.io/Vitis-AI/3.5/html/docs/reference/ModelZoo_Github_web.htm   
   • https://www.xilinx.com/publications/presentations/versal-ai-edge-product-announcement.pdf  

Fonte: Intel