gguf

llama.cpp: conhecendo, instalando e rodando IA local no Linux

llama.cpp: getting to know, installing and running local AI on Linux

by

Existe um projeto de que quase todo mundo depende sem saber. Quando você roda um modelo local com Ollama, com LM Studio, com Jan ou com aquele app de IA no celular, é bem provável que, lá embaixo, quem está fazendo a conta seja o llama.cpp — um motor de inferência escrito em C++ puro, … Read more

llama-model: gerencie modelos GGUF e o llama-server sem o daemon do Ollama

llama-model: gerencie modelos GGUF e o llama-server sem o daemon do Ollama

by

Se você roda modelos de IA localmente com llama.cpp / llama-server, conhece a dor: baixar GGUF na mão, editar config, reiniciar serviço, torcer para o modelo subir. O llama-model resolve isso — uma CLI em Go, binário estático único, que gerencia o seu acervo de modelos e o serviço llama-server sem precisar do daemon do … Read more