FERRAMENTAS LINUX: O OpenVINO 2024.0 traz mais recursos de GenAI, nova API JavaScript

quinta-feira, 7 de março de 2024

O OpenVINO 2024.0 traz mais recursos de GenAI, nova API JavaScript

 


O OpenVINO 2024.0 chega com novidades de IA.

A Intel lançou ontem a versão OpenVINO 2024.0, um kit de ferramentas de código aberto projetado para otimizar e implantar inferência de IA em diversos hardwares. 


Vamos explorar os destaques dessa versão:


1- Ampliando o Foco em GenAI:

- O OpenVINO 2024.0 traz um foco mais generativo de IA, chamado GenAI.

- Ele oferece uma experiência pronta para uso com modelos de codificação de frases do TensorFlow.

- Além disso, há suporte para Mixture of Experts (MoE) e uma nova API JavaScript para acesso contínuo à API OpenVINO.

2- Modelos validados para o Mistral também estão incluídos.

- Melhorias na Compactação de Peso INT4 para LLMs:

- O OpenVINO 2024.0 aprimora a qualidade na compactação de peso INT4 para as Large Language Models (LLMs).

- O desempenho de LLM em CPUs Intel também foi otimizado.

3- Integração com Hugging Face:

- A otimização e conversão de modelos Hugging Face agora são mais fáceis no OpenVINO 2024.0.

- Outras melhorias de integração com o Hugging Face também estão presentes.

4- Descontinuação do Intel GNA:

- O acelerador gaussiano e neural da Intel, conhecido como Intel GNA, foi descontinuado.

- O foco agora está no NPU encontrado com Meteor Lake e outras plataformas mais recentes.

- O plug-in Intel NPU para OpenVINO agora faz parte do pacote principal no PyPi.

5- Melhor Desempenho em CPUs ARM:

Para os usuários não Intel, o OpenVINO 2024.0 oferece melhor desempenho em CPU ARM e várias melhorias de plataforma.

Para mais detalhes e downloads, você pode consultar o GitHub do OpenVINO 2024.0. 






Fonte 

Até a próxima !!

Nenhum comentário:

Postar um comentário