A IA na borda da rede raramente significa apenas inferência. A implantação no mundo real normalmente envolve entrada/saída (E/S) de alta velocidade, condicionamento de sinal e loops de controle em tempo real, todos executados simultaneamente. Essas cargas de trabalho multifuncionais exigem coordenação rígida e alta certeza, e os projetistas acharam difícil atender a esses requisitos usando hardware de IA convencional.
Dois fatores tornam esse problema ainda mais complexo. Em primeiro lugar, os modelos de IA estão a desenvolver-se a um ritmo surpreendente, levando os designers a adotarem plataformas que suportem atualizações rápidas de algoritmos. Enquanto isso, muitos sistemas edge estão em uso no local há até dez anos ou mais, dificultando a garantia de adaptabilidade a longo prazo. Em segundo lugar, o caminho desde modelos bem treinados até à implantação e implementação de sistemas ainda é fragmentado. Os cientistas de dados usam PyTorch e TensorFlow, enquanto as equipes integradas usam conjuntos de ferramentas completamente diferentes, o que cria atrito durante o processo de entrega e diminui a velocidade de produção.
Para enfrentar esses desafios, as plataformas precisam ser capazes de combinar processamento de IA de alto rendimento com comportamento determinístico, E/S flexível e adaptabilidade de longo prazo, tudo isso deve ser alcançado dentro da faixa típica de consumo de energia de implantação limitada na borda.
Este artigo se concentra nos cenários de aplicação e nos requisitos relacionados que desafiam os designers a explorar novas arquiteturas de IA de ponta. Em seguida, apresentou os dispositivos FPGA (field programmable gate array) e ferramentas de software da Altera que suportam IA de ponta e demonstrou como utilizá-los para atender aos diversos requisitos de desempenho e energia dessas aplicações.
A evolução da IA de ponta requer inovação arquitetônica
Os sistemas Edge estão adotando cada vez mais diversas tecnologias de IA, incluindo aprendizado de máquina clássico (ML) para detecção de anomalias, redes neurais convolucionais (CNN) para percepção e conversores para grandes modelos de linguagem (LLM). Esses algoritmos computacionalmente intensivos muitas vezes coexistem com funções exigentes que não são de IA, como processamento de sinais, comunicação de rede e controle em tempo real.
Os sistemas autônomos são um bom exemplo. Eles normalmente precisam capturar dados de diversas modalidades de sensores, como vídeo, áudio, radar, LiDAR e feedback de movimento/posição, pré-processar esses fluxos de dados com alto rendimento, analisar os resultados usando IA complexa e, em seguida, gerenciar loops de controle de alta precisão, todos os quais exigem determinação confiável.
Existem muitos exemplos semelhantes em aplicações de automação industrial, imagens médicas, defesa e telecomunicações. Um desafio comum que enfrentam é que as arquiteturas tradicionais são difíceis de adaptar a cargas de trabalho em constante convergência.
Por que o FPGA é particularmente adequado para IA de ponta
Em contraste, estes requisitos são totalmente compatíveis com a funcionalidade do FPGA. O núcleo do FPGA é fornecer lógica configurável para executar operações de maneira verdadeiramente paralela, com seu comportamento de temporização incorporado em tempo de design, em vez de flutuar em tempo de execução. Essa arquitetura pode alcançar determinismo de baixa latência, o que é crucial para IA de ponta. A lógica flexível também pode utilizar E/S poderosas: FPGAs normalmente fornecem E/S abundantes de alta velocidade, que podem ser conectadas a vários sensores e atuadores para obter um acoplamento estreito com o processamento de IA.
O FPGA também inclui memória interna distribuída, que permite que os dados sejam acessados pela lógica que nele opera. Isto reduz o gargalo que surge quando vários estágios de processamento devem competir para acessar o barramento de memória compartilhada, o que é uma limitação comum em arquiteturas baseadas em processador.
Muitos FPGAs também integram hardware especializado de processamento de sinal digital (DSP). Em comparação com estruturas convencionais, esses circuitos aprimorados proporcionam maior desempenho e melhor eficiência energética para cargas de trabalho de processamento de sinais. Alguns FPGAs também integram sistemas de processador com fio que podem executar pilhas de software padrão (incluindo Linux), permitindo o desenvolvimento de software tradicional para tarefas como rede, gerenciamento de dispositivos e interface de usuário.
Resumindo, um único FPGA pode integrar funções que, de outra forma, exigiriam chips de E/S separados, aceleradores de IA, DSPs e processadores de plano de controle. Isso pode reduzir a lista de materiais (BOM), diminuir a área da placa de circuito, diminuir o consumo de energia e, ao mesmo tempo, manter a baixa latência e a certeza necessárias para aplicações de IA de ponta.
Como abrir novas possibilidades com a adição de blocos tensores de IA
O hardware DSP FPGA tradicional já é muito adequado para muitas cargas de trabalho de borda, mas a inferência de IA geralmente depende de operações de multiplicação densas, mas de baixa precisão. Para resolver esse problema, os dispositivos Agilex 3 e Agilex 5 da Altera usam DSPs aprimorados com blocos tensores de IA. Este é um hardware especializado para multiplicação de matrizes e matrizes vetoriais, que aparece repetidamente em gráficos de computação de IA.
O núcleo deste método é o produto escalar e o mecanismo somador/acumulador (Figura 1). No modo tensor, o mecanismo de ponto conectado usa entrada de 8 bits e pesos de 8 bits pré-carregados para executar um produto escalar de 10 elementos. Para expandir a faixa dinâmica, o caminho de dados também pode usar um "índice comum" compartilhado para dimensionamento de ponto flutuante de bloco para lidar com cenários típicos onde a inferência de IA normalmente requer alta faixa dinâmica, mas baixa precisão.