O Llamafile 0.8.1, um projeto inovador da Mozilla para implantações autocontidas e facilmente redistribuíveis de modelos de linguagem grande (LLM), foi lançado recentemente. Esta nova versão traz melhorias significativas, incluindo suporte expandido para GPUs AMD.
Um dos destaques do lançamento do Llamafile 0.8.1 é a expansão do suporte de GPU para mais processadores e aceleradores gráficos AMD. Anteriormente, alguns códigos de descarregamento da AMD no Llamafile assumiam apenas identificadores de versão IP gráficos “GFX” numéricos, o que causava problemas para várias peças AMD Instinct/Radeon. Agora, com o Llamafile 0.8.1, esses problemas foram corrigidos, permitindo a aceleração da GPU Llamafile em GPUs AMD com caracteres não numéricos em seu identificador GFX.
Além disso, o Llamafile 0.8.1 agora fornece módulos pré-construídos NVIDIA e AMD ROCK para usuários de Windows e Linux. Isso facilita ainda mais a implantação de LLMs de arquivo único Llamafile que suportam execução de CPU e GPU.
O Llamafile 0.8.1 também adiciona suporte para o modelo Phi-3 Mini 4k e corrige um bug que causava travamentos do modelo de GPU. Além disso, o suporte para Command-R Plus agora possui indexação adequada de 64 bits, entre outras correções.
Para downloads e mais detalhes sobre a nova versão do Llamafile 0.8.1, visite o GitHub da Mozilla-Ocho.
Até a próxima !!
Nenhum comentário:
Postar um comentário