A Intel acaba de lançar o OpenVINO 2024.1, a mais recente atualização deste poderoso kit de ferramentas de IA de código aberto. Este lançamento continua a expandir seus recursos e capacidades, com foco especial na IA generativa “GenAI” e nos modelos de linguagem grande (LLMs).
O OpenVINO 2024.1 introduz modelos Mixtral e URLNet otimizados para CPUs Intel Xeon. Além disso, os modelos Stable Diffusion 1.5 / ChatGLM3-6B / Qwen-7B foram otimizados para um desempenho mais rápido no Intel Core Ultra (Meteor Lake) com seus Arc Graphics. Agora, também há o suporte para o Falcon-7B-Instruct LLM.
O OpenVINO 2024.1 reduziu o tempo de compilação de modelos de linguagem grande para processadores Intel com suporte para Intel Advanced Matrix Extensions (AMX). Além disso, melhorou a compactação e o desempenho LLM com oneDNN / INT4 / INT8 em GPUs Intel Arc Graphics e fez reduções significativas de memória para modelos GenAI menores em processadores Intel Core Ultra.
O OpenVINO 2024.1 agora extrai o plug-in Neural Processing Unit (NPU) para processadores Intel Core Ultra “Meteor Lake” diretamente do repositório GitHub, em vez de depender do pacote PyPi externo. A API JavaScript do OpenVINO também está agora mais acessível através do repositório NPM. Para o OpenVINO em processadores ARM, a inferência FP16 agora é suportada por padrão com a Rede Neural Convolucional da Arm.
No geral, o OpenVINO 2024.1 parece ser um lançamento fantástico. O kit de ferramentas OpenVINO 2024.1 pode ser baixado do GitHub.
Até a próxima !!
Nenhum comentário:
Postar um comentário