Neste domingo de Páscoa, o grupo Mozilla Ocho apresenta a nova versão do Llamafile, uma ferramenta inovadora que simplifica a distribuição e execução de grandes modelos de linguagem (LLMs).
O Llamafile se destaca como um dos projetos mais interessantes da Mozilla fora do âmbito dos navegadores, prometendo um futuro brilhante.
O Llamafile transforma a maneira como lidamos com grandes modelos de linguagem, tornando-os mais acessíveis para desenvolvedores e usuários finais. Ele utiliza o Llama.cpp para entregar um LLM completo em um único arquivo executável, compatível com a maioria dos sistemas e otimizado para execução em CPU e GPU.
A versão 0.7 do Llamafile, lançada hoje, traz o tão esperado suporte para AVX-512! Os testes iniciais em CPUs habilitadas para AVX-512, como o AMD Zen 4, mostram tempos de avaliação até 10 vezes mais rápidos. É um presente de Páscoa incrível para quem utiliza o Llamafile em CPUs com modelos de linguagem grandes.
Além disso, o Llamafile 0.7 introduz suporte para CPU BF16, uma correção de segurança importante, várias melhorias para Windows e uma avaliação imediata no Raspberry Pi 5 com pesos F16 agora cerca de 8 vezes mais rápida.
Para mais informações e download do Llamafile 0.7, visite o GitHub.
Até a próxima !!
Nenhum comentário:
Postar um comentário