llama-model: gestiona modelos GGUF y llama-server sin el demonio de Ollama

por

Mascote do LinuxPro retirando um modelo da estante de arquivos GGUF, com a lhama observando

Si ejecutas modelos de IA localmente con llama.cpp / llama-server, conoces el dolor de cabeza: descargar GGUF a mano, editar la configuración, reiniciar el servicio y rezar para que el modelo arranque. El llama-model lo soluciona: una CLI en Go, binario estático único, que gestiona tu colección de modelos y el servicio llama-server sin necesidad del demonio de Ollama. Y está abierta a pruebas: ¡buscamos usuarios!

Contenido ocultar
1 Qué hace
2 Por qué esto es interesante
3 Instalando (Linux amd64)
4 Empezando en 2 minutos
5 Queremos você testando! 🧪

Qué hace

Comando Función
list Lista los modelos en disco (nombre, tamaño, cuantización)
pull <modelo> Descarga directamente del registry de Ollama — sin daemon, con sha256 y reanudación
set <modelo> Cambia el modelo del llama-server, reinicia, valida /health y realiza rollback si falla
rm <modelo> Elimina un modelo conservando los blobs compartidos
gpu list / gpu watch Telemetría de las GPUs NVIDIA (temperatura, potencia, relojes, throttling)
proxy Front-end con protocolo Anthropic para usar el Claude Code con el llama-server

Por qué esto es interesante

  • Sin daemon: el pull habla HTTPS directamente con el registry de Ollama. Blobs verificados por sha256 y descarga reanudable — se cae la conexión, se vuelve a ejecutar y continúa desde donde lo dejó.
  • set con red de seguridad: edita /etc/default/llama-server, reinicia y espera el /health. Si el modelo no arranca, restaura la configuración anterior solo. Todavía ajusta las configs de OpenCode y Hermes si existen (con .bak de cada archivo).
  • Telemetría que sobrevive a crash: el gpu watch registra picos de temperatura/potencia, decodifica motivos de throttle y, si la placa cae del bus, imprime la última lectura buena junto con los mensajes Xid del kernel — lo que necesitas para separar problema térmico de problema de energía.
  • Claude Code + modelo local: el proxy corrige el protocolo Anthropic para llama-server (plantillas como la de Qwen rechazan ciertos mensajes system), con streaming funcionando.

Instalando (Linux amd64)

curl -sL https://github.com/jniltinho/llama-model/releases/latest/download/llama-model_$(curl -s https://api.github.com/repos/jniltinho/llama-model/releases/latest | grep -oP '"tag_name": "vK[^"]+')_linux_amd64.tar.gz | tar xz
sudo install -m0755 llama-model /usr/local/bin/

O compilando desde la fuente (Go 1.26+):

git clone https://github.com/jniltinho/llama-model
cd llama-model && make build && sudo make install

Empezando en 2 minutos

llama-model list                    # o que já está no disco
sudo llama-model pull qwen3.8:27b   # baixa do ollama.com/library
sudo llama-model set qwen3.8:27b    # troca, reinicia e valida
llama-model gpu watch               # telemetria ao vivo das GPUs

Y para conectar Claude Code a tu modelo local:

llama-model proxy --listen 127.0.0.1:11436 --upstream http://127.0.0.1:11435
export ANTHROPIC_BASE_URL=http://127.0.0.1:11436

Queremos você testando! 🧪

El proyecto es open source (MIT), con CI y releases en GitHub, y está en la fase en la que el feedback de usuarios reales vale oro:

Ejecutar IA local en Linux es cada vez mejor — y contar con buenas herramientas de operación es lo que separa el juguete del servidor de verdad. ¿Vamos a probarlo?