O OpenVINO 2024.0 chega com novidades de IA.
A Intel lançou ontem a versão OpenVINO 2024.0, um kit de ferramentas de código aberto projetado para otimizar e implantar inferência de IA em diversos hardwares.
Vamos explorar os destaques dessa versão:
1- Ampliando o Foco em GenAI:
- O OpenVINO 2024.0 traz um foco mais generativo de IA, chamado GenAI.
- Ele oferece uma experiência pronta para uso com modelos de codificação de frases do TensorFlow.
- Além disso, há suporte para Mixture of Experts (MoE) e uma nova API JavaScript para acesso contínuo à API OpenVINO.
2- Modelos validados para o Mistral também estão incluídos.
- Melhorias na Compactação de Peso INT4 para LLMs:
- O OpenVINO 2024.0 aprimora a qualidade na compactação de peso INT4 para as Large Language Models (LLMs).
- O desempenho de LLM em CPUs Intel também foi otimizado.
3- Integração com Hugging Face:
- A otimização e conversão de modelos Hugging Face agora são mais fáceis no OpenVINO 2024.0.
- Outras melhorias de integração com o Hugging Face também estão presentes.
4- Descontinuação do Intel GNA:
- O acelerador gaussiano e neural da Intel, conhecido como Intel GNA, foi descontinuado.
- O foco agora está no NPU encontrado com Meteor Lake e outras plataformas mais recentes.
- O plug-in Intel NPU para OpenVINO agora faz parte do pacote principal no PyPi.
5- Melhor Desempenho em CPUs ARM:
Para os usuários não Intel, o OpenVINO 2024.0 oferece melhor desempenho em CPU ARM e várias melhorias de plataforma.
Para mais detalhes e downloads, você pode consultar o GitHub do OpenVINO 2024.0.
Até a próxima !!
Nenhum comentário:
Postar um comentário