gguf

llama.cpp: conhecendo, instalando e rodando IA local no Linux

llama.cpp: conociendo, instalando y ejecutando IA local en Linux

por

Existe um projeto de que quase todo mundo depende sem saber. Quando você roda um modelo local com Ollama, com LM Studio, com Jan ou com aquele app de IA no celular, é bem provável que, lá embaixo, quem está fazendo a conta seja o llama.cpp — um motor de inferência escrito em C++ puro, … Leer más

llama-model: gerencie modelos GGUF e o llama-server sem o daemon do Ollama

llama-model: gestiona modelos GGUF y llama-server sin el demonio de Ollama

por

Se você roda modelos de IA localmente com llama.cpp / llama-server, conhece a dor: baixar GGUF na mão, editar config, reiniciar serviço, torcer para o modelo subir. O llama-model resolve isso — uma CLI em Go, binário estático único, que gerencia o seu acervo de modelos e o serviço llama-server sem precisar do daemon do … Leer más