Intel Lança uma Extensão Otimizada para o PyTorch v2.3 com Novas Otimizações para os Modelos de Linguagem Grande.

 

A Intel lançou a Extensão Intel para PyTorch v2.3, uma atualização da extensão derivada v2.1 anterior. Com esta extensão atualizada voltada para o PyTorch 2.3, a Intel está implementando mais otimizações em torno dos Modelos de Linguagem Grande (LLMs).

A Extensão Intel para PyTorch continua sendo o software otimizado da Intel para maximizar o desempenho da CPU Intel com o framework PyTorch. A Extensão Intel para PyTorch vem com mais otimizações AVX-512 VNNI, suporte Intel AMX, suporte Intel XMX para dGPUs Intel e outras melhorias para maximizar as capacidades do PyTorch em hardware Intel.

Com a extensão v2.3, existem novas otimizações de Modelo de Linguagem Grande com um novo recurso chamado API de Otimização LLM para otimizações de nível de módulo para LLMs comumente usados, atualizando a biblioteca de rede neural Intel oneDNN empacotada, adicionando exemplos de CPU TorchServer, outras otimizações de desempenho LLM e informações de aviso e registro aprimoradas.

Aqueles que utilizam o PyTorch em plataformas Intel podem encontrar a extensão de código aberto atualizada no GitHub.

Fonte 

Até a próxima !!