Hoje, a Intel lançou o OpenVINO 2024.2, a versão mais recente de seu kit de ferramentas de IA de código aberto, voltado para a otimização e implantação de modelos de inferência de aprendizado profundo em diversos frameworks de IA e variados tipos de hardware.
Otimizações para o Modelo Llama 3
Com o OpenVINO 2024.2, a Intel continuou a otimizar para o modelo de linguagem Llama 3 da Meta.
Esta versão traz mais otimizações para a execução do Llama 3 em CPUs, GPUs integradas e GPUs discretas, visando aumentar o desempenho e melhorar o uso eficiente da memória.
Novos Suportes e Melhorias
O OpenVINO 2024.2 também adiciona suporte para os modelos de IA Phi-3-mini, o suporte ampliado para os modelos de linguagem de grande porte (LLMs), o suporte para o Processador Intel Atom Série X, o suporte preliminar para os processadores Intel Xeon 6 e mais ajustes para o AVX2/AVX-512.
A Intel está observando uma "melhora significativa" na latência do segundo token e na pegada de memória dos modelos de linguagem com pesos FP16 para AVX2 em CPUs Intel Core e AVX-512 com processadores Intel Xeon ao utilizar pequenos tamanhos de lote.
Melhorias de Desempenho
Essas melhorias incluem afinações específicas para a execução de modelos de linguagem em CPUs e GPUs, resultando em um desempenho mais eficiente e uma utilização mais eficaz dos recursos de hardware disponíveis.
O OpenVINO 2024.2 promete uma execução mais rápida e suave para modelos complexos, oferecendo aos desenvolvedores uma ferramenta poderosa para otimizar suas aplicações de IA.
Detalhes Adicionais e Download
Para mais detalhes sobre o lançamento do OpenVINO 2024.2 e para downloads, visite o GitHub da Intel.
Este lançamento promete facilitar ainda mais a vida dos desenvolvedores que trabalham com modelos de inferência de IA, oferecendo suporte ampliado e melhorias significativas em desempenho e eficiência.
Conclusão
O lançamento do OpenVINO 2024.2 marca um avanço importante no campo da inteligência artificial, com melhorias significativas para modelos de linguagem de grande porte e suporte expandido para novos hardwares. A Intel continua a liderar no fornecimento de ferramentas robustas e eficientes para desenvolvedores de IA, ajudando a impulsionar a inovação e o desempenho no setor.
Nenhum comentário:
Postar um comentário