Os pesquisadores da Intel, Amazon AWS, IBM, Qualcomm e UIUC têm colaborado em uma proposta de "Tensor LLVM Extensions" (TLX) para tornar essa infraestrutura de compilador de código aberto mais adequada para ter como alvo aceleradores de IA e outras classes emergentes de hardware.
As extensões LLVM de tensor propostas tornariam a pilha do compilador LLVM amplamente usada capaz de lidar melhor com núcleos de tensores e hardware semelhante para as cargas de trabalho de AI / ML crescentes de hoje e campos relacionados. O LLVM já é o jogador dominante quando se trata de suportar CPUs e muitas vezes GPUs, enquanto as Extensões LLVM Tensor os ajudariam na nova fronteira de capacidade de lidar com hardware em torno das Extensões de Matriz Avançada Intel (AMX), núcleos tensores NVIDIA, núcleos de matriz AMD, Qualcomm HVX, Amazon Infferentia / Trainium e outros aceleradores. No momento, a maioria das pilhas do compilador para tais aceleradores são de código fechado e não têm nenhuma solução universal para compartilhar otimizações e outros recursos do compilador que o LLVM poderia fornecer.
Esta proposta tornaria mais fácil para os fornecedores criar back-ends de compiladores de otimização para esse hardware, aproveitar os front-ends LLVM existentes para várias linguagens de programação para explorar mais facilmente esse hardware tensor, permitir que o MLIR integre essa estrutura hipotética e muito mais. Simplificando, eles querem estender o IR do LLVM com um conjunto de operações de tensor comuns que funcionariam em back-ends de hardware e otimizariam melhor o LLVM para geração de código do tensor.
O "Tensor LLVM Extensions" foi proposto neste fim de semana.
No momento, os envolvidos ainda estão trazendo uma implementação de protótipo para suas próprias plataformas. Graças aos front-ends do LLVM para Rust, C / C ++, Intel DPC ++, Julia, isso certamente seria um esforço interessante para permitir que mais linguagens visassem a presença crescente de hardware de IA e fazer isso de maneira comum graças ao LLVM.
Em última análise, eles querem fazer o upstream de todo esse trabalho no LLVM principal. Neste fim de semana, os envolvidos enviaram uma carta de "solicitação de comentários", dando uma longa olhada em sua proposta para o LLVM . Será muito interessante ver onde essas extensões do Tensor LLVM funcionam e quão amplamente adotadas serão pela indústria para um melhor compartilhamento de código neste espaço altamente competitivo.
Até a próxima !!
Nenhum comentário:
Postar um comentário