Tomeu Vizoso tem liderado os esforços para integrar o IP NPU da Vivante ao driver Etnaviv, que originalmente foi desenvolvido como um driver de engenharia reversa para os gráficos Vivante.
A arquitetura NPU da Vivante é semelhante aos núcleos gráficos e Vizoso tem feito progressos significativos para habilitar os NPUs neste código aberto. A conquista mais recente é que as tarefas de classificação de imagens agora são executadas duas vezes mais rápido do que antes.
Vizoso anunciou que conseguiu fazer o processador tensor funcionar, permitindo que a manipulação do tensor seja realizada no hardware. Isso reduz cerca de 18ms do pré-processamento do tensor. Como resultado, o benchmark de classificação de imagens do TensorFlow está agora duas vezes mais rápido.
No entanto, o driver proprietário da Vivante para seus NPUs executa a mesma tarefa com uma latência de cerca de 8 ms, enquanto o driver Mesa Etnaviv atualmente atinge 15,6 ms. Vizoso tem algumas ideias sobre como otimizar ainda mais o desempenho do NPU Etnaviv, que ele planeja implementar no futuro.
Atualmente, Vizoso está trabalhando para enviar esse código de aceleração NPU para o Mesa e, em seguida, planeja trabalhar no suporte ao modelo Mobilenet SSD V1 antes de voltar a focar nas otimizações de desempenho. Você pode encontrar mais detalhes sobre a busca de otimização de desempenho da NPU Etnaviv no blog de Tomeu. O trabalho de upstreaming do Mesa está acontecendo através do rascunho: TensorFlow Lite delegate and driver Vivante NPU.
Até a próxima !!
Nenhum comentário:
Postar um comentário