{"id":426,"date":"2026-09-05T22:11:32","date_gmt":"2026-09-06T01:11:32","guid":{"rendered":"https:\/\/www.linuxpro.com.br\/2026\/09\/servidor-ia-recondicionado-64gb-vram-v100-p100-mi25\/"},"modified":"2026-09-08T05:23:38","modified_gmt":"2026-09-08T08:23:38","slug":"servidor-ia-recondicionado-64gb-vram-v100-p100-mi25","status":"publish","type":"post","link":"https:\/\/www.linuxpro.com.br\/es\/2026\/09\/servidor-ia-recondicionado-64gb-vram-v100-p100-mi25\/","title":{"rendered":"Servidor de IA reacondicionado con 64 GB de VRAM"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" alt=\"Mascote do LinuxPro instalando GPU no servidor de IA\" src=\"\/wp-content\/uploads\/2026\/09\/servidor-ia-v3.webp\" width=\"1052\" height=\"652\" \/><\/p>\n<p>La VRAM dicta el modelo. Qwen denso de 27B\u201332B, Llama 70B cuantizado, Mixtral 8\u00d77B: esto pide 32 a 64 GB, no los 24 GB de una 4090. El ingeniero <strong>Donato Capitella<\/strong>, junto con <strong>Bargain Hardware<\/strong>, mont\u00f3 un Supermicro reacondicionado con cuatro GPUs de centro de datos (64 GB en total) por unas \u00a32.000 y prob\u00f3 V100, P100 y MI25 en el mismo chasis. Este texto acompa\u00f1a al v\u00eddeo <a href=\"https:\/\/www.youtube.com\/watch?v=zp8j4vO-wz0\">Refurbished 64GB VRAM AI Server for Local AI<\/a>.<\/p>\n<p><!-- more --><\/p>\n<div style=\"position:relative;padding-bottom:56.25%;height:0;overflow:hidden;margin:1.5em 0\">\n<iframe src=\"https:\/\/www.youtube.com\/embed\/zp8j4vO-wz0\" title=\"Refurbished 64GB VRAM AI Server for Local AI \u2014 Donato Capitella\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" allowfullscreen style=\"position:absolute;top:0;left:0;width:100%;height:100%;border:0\"><\/iframe>\n<\/div>\n<p>Quien ya ejecuta <a href=\"\/es\/2026\/09\/rodando-ia-local-no-linux-com-ollama\/\">Ollama<\/a> en el escritorio topa con el techo de la placa de consumo. Aqu\u00ed la apuesta es otra: chasis de servidor, placa pasiva, llama.cpp compilado para la arquitectura adecuada. El porqu\u00e9 de que los Tensor Cores de la V100 ganen a la P100 est\u00e1 en el post <a href=\"\/es\/2026\/09\/como-funcionam-placas-de-video\/\">c\u00f3mo funcionan las tarjetas gr\u00e1ficas<\/a> y en <a href=\"\/es\/2026\/09\/gpu-vs-tpu-como-funcionam-chips-ia\/\">GPU vs TPU<\/a>.<\/p>\n<h2>El chasis: Supermicro de 12.\u00aa generaci\u00f3n<\/h2>\n<p>La base del v\u00eddeo es un servidor empresarial Supermicro (torre\/rack 4U\u20135U, familia CSE-747) pensado para HPC, no para tenerlo debajo de la mesa:<\/p>\n<pre data-no-translation=\"\"><code class=\"language-text\" data-no-translation=\"\">2\u00d7 Intel Xeon Gold 6150     36 n\u00facleos \/ 72 threads\n64 GB DDR4 ECC Registered   4\u00d7 16 GB @ 2666 MHz\n2\u00d7 SSD SATA 480 GB + NVMe U.2\n4\u00d7 PCIe 3.0 x16             full-height, dual-slot\n2\u00d7 10GbE na placa-m\u00e3e\nturbinas frontais           ar for\u00e7ado nas aletas\nfontes redundantes          1600\u20132000 W\n<\/code><\/pre>\n<p>Tesla e Instinct de centro de datos son <strong>pasivas<\/strong>: no tienen ventilador en la placa. Quien empuja el aire son las turbinas del chasis, a miles de RPM, a trav\u00e9s de las aletas de cobre. Un escritorio gamer con 4\u00d7 V100 cocina las placas \u2014 y la fuente dom\u00e9stica no aguanta el pico.<\/p>\n<h2>V100 vs P100 vs MI25<\/h2>\n<p>Tres juegos de cuatro placas de 16 GB (64 GB en total):<\/p>\n<table>\n<thead>\n<tr>\n<th><\/th>\n<th>Tesla V100 16 GB<\/th>\n<th>Tesla P100 16 GB<\/th>\n<th>Instinct MI25 16 GB<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Arquitectura<\/td>\n<td>Vuelta 12 nm (sm_70)<\/td>\n<td>Pascal 16 nm (sm_60)<\/td>\n<td>Vega 10 14 nm (gfx900)<\/td>\n<\/tr>\n<tr>\n<td>Memoria<\/td>\n<td>16 GB HBM2, 900 GB\/s<\/td>\n<td>16 GB HBM2, 720\u2013900 GB\/s<\/td>\n<td>16 GB HBM2, 484 GB\/s<\/td>\n<\/tr>\n<tr>\n<td>Tensor Cores<\/td>\n<td>s\u00ed (1.\u00aa generaci\u00f3n, 640)<\/td>\n<td>no<\/td>\n<td>no<\/td>\n<\/tr>\n<tr>\n<td>Precisiones<\/td>\n<td>FP16\/32\/64, INT8<\/td>\n<td>FP16\/32\/64<\/td>\n<td>FP16\/32<\/td>\n<\/tr>\n<tr>\n<td>BF16 \/ FP8<\/td>\n<td>no nativo<\/td>\n<td>no nativo<\/td>\n<td>no nativo<\/td>\n<\/tr>\n<tr>\n<td>Stack<\/td>\n<td>CUDA \/ llama.cpp<\/td>\n<td>CUDA \/ llama.cpp<\/td>\n<td>ROCm \/ Vulkan \/ llama.cpp<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>El divisor es el Tensor Core. LLM es MatMul; la V100 hace la matriz en lote. P100 y MI25 hacen el mismo camino en el CUDA core \/ SIMD de la Vega \u2014 m\u00e1s lento, m\u00e1s barato. Ninguna de las tres habla BF16 nativo: el runtime convierte a FP16.<\/p>\n<p>Detalle de 2026 que el v\u00eddeo ya anticipa en la pr\u00e1ctica: el <strong>CUDA 13 quit\u00f3 el sm_70<\/strong>. La V100 es la \u00faltima arquitectura con soporte de primera clase en CUDA 12.x. Los contenedores de Donato pinean <strong>CUDA 12.6.3<\/strong> y compilan llama.cpp con <code data-no-translation=\"\">-DCMAKE_CUDA_ARCHITECTURES=70<\/code>. Toolkit 13 no host = binario que no genera c\u00f3digo para la placa.<\/p>\n<h2>Software: llama.cpp, no vLLM<\/h2>\n<p>Donato publica toolboxes (Toolbx\/Podman) con llama.cpp ya compilado para cada die:<\/p>\n<ul>\n<li><a href=\"https:\/\/github.com\/kyuz0\/nvidia-v100-ai-toolboxes\">nvidia-v100-ai-toolboxes<\/a> \u2014 CUDA 12.6.3, sm_70<\/li>\n<li><a href=\"https:\/\/github.com\/kyuz0\/nvidia-p100-ai-toolboxes\">nvidia-p100-ai-toolboxes<\/a> \u2014 sm_60<\/li>\n<li><a href=\"https:\/\/github.com\/kyuz0\/mi25-gfx900-ai-toolboxes\">mi25-gfx900-ai-toolboxes<\/a> \u2014 gfx900, ROCm\/Vulkan<\/li>\n<\/ul>\n<pre data-no-translation=\"\"><code class=\"language-bash\" data-no-translation=\"\"># V100: toolbox com llama.cpp CUDA sm_70\ntoolbox create -c llama-v100-cuda \n  --image docker.io\/kyuz0\/nvidia-v100-ai-toolboxes:latest\ntoolbox enter llama-v100-cuda\nllama-cli --list-devices   # precisa ver as 4\u00d7 16 GB\n<\/code><\/pre>\n<p>A la hora de servir, llama.cpp gana: GGUF maduro (Q4_K_M, Q4_K_XL, Q8_0), split autom\u00e1tico de las capas en las 4 GPUs (<code data-no-translation=\"\">-ngl 99<\/code>), sobrecarga peque\u00f1a. vLLM es el est\u00e1ndar de producci\u00f3n en Hopper\/Blackwell; en Volta\/Pascal recae al SDPA de PyTorch, AWQ casi no pega, y la carga por PCIe 3.0 duele.<\/p>\n<pre data-no-translation=\"\"><code class=\"language-bash\" data-no-translation=\"\">llama-server \n  -m \/models\/qwen-27b-instruct-q4_k_xl.gguf \n  -ngl 99 \n  -c 32768 \n  -fa on \n  --host 0.0.0.0 --port 8080\n<\/code><\/pre>\n<p>Quien ya usa el flujo GGUF sin el daemon de Ollama tiene el <a href=\"\/es\/2026\/09\/llama-model-cli\/\">llama-model<\/a> en el mismo esp\u00edritu: un binario, un servidor, sin una capa m\u00e1s. El <a href=\"\/es\/2017\/08\/curso-de-docker-gratis\/\">curso de Docker<\/a> cubre Podman\/Toolbx si el host a\u00fan no lo tiene.<\/p>\n<h2>N\u00fameros: Qwen 27B Q4<\/h2>\n<p>Modelo denso, cuantizaci\u00f3n 4 bits, el recorte que el v\u00eddeo utiliza como asistente de c\u00f3digo. N\u00fameros del propio Donato (llama.cpp, NGL=99, flash attention):<\/p>\n<pre data-no-translation=\"\"><code class=\"language-text\" data-no-translation=\"\">gera\u00e7\u00e3o (tokens\/s)     Qwen 27B Q4\n4\u00d7 V100 16 GB          ~31\u201334   (ainda ~28 com contexto 32k)\n4\u00d7 P100 16 GB          ~18\u201322\n4\u00d7 MI25 16 GB          ~14\u201317\n\nprompt processing V100\ncurto:  ~852 tok\/s\n32k:    ~620 tok\/s\n<\/code><\/pre>\n<p>31 tok\/s es conversaci\u00f3n interactiva. 20 tok\/s de la P100 sirve como agente en segundo plano. La MI25 carga el modelo al menor precio de entrada \u2014 un ancho de banda de 484 GB\/s y cero acelerador de matriz pesan. El MoE grande (Qwen 122B-A10B Q3 en el README de las toolboxes) cabe en los 64 GB; el rendimiento cae, lo que importa es la VRAM.<\/p>\n<h2>Qu\u00e9 duele en el d\u00eda a d\u00eda<\/h2>\n<ul>\n<li><strong>Ruido 60\u201375 dB.<\/strong> Cuatro pasivas de 250\u2013300 W cada una. No va al dormitorio ni debajo del escritorio. Rack, s\u00f3tano, garaje, sala de servidores.<\/li>\n<li><strong>PCIe 3.0.<\/strong> ~16 GB\/s por slot x16. Carga de un GGUF de 30\u201350 GB: 1 a 3 minutos. NVLink de V100 existe, pero solo en chasis\/SXM espec\u00edfico \u2014 la torre t\u00edpica de Bargain Hardware es PCIe suelto.<\/li>\n<li><strong>BF16 se convierte en FP16.<\/strong> El modelo moderno preentrenado en bfloat16 pierde algo de rango de exponente. La cuantizaci\u00f3n bien calibrada (Unsloth Q4_K_XL, etc.) reduce el problema.<\/li>\n<li><strong>Energ\u00eda.<\/strong> 4\u00d7 GPU + 2\u00d7 Xeon 150 W + turbinas: 800\u20131.200 W continuos. El circuito y la PSU redundante no son opcionales.<\/li>\n<li><strong>CUDA 13.<\/strong> No \u201cactualice el toolkit y listo\u201d. Qu\u00e9dese en 12.6 de las toolboxes, o el binario ignora la V100.<\/li>\n<\/ul>\n<h2>\u00bfMerece la pena en 2026?<\/h2>\n<p>Si el objetivo es <strong>64 GB de VRAM local<\/strong> para 27B\u201332B denso o MoE, y el presupuesto es \u00a32.000\u20133.000, <strong>4\u00d7 V100<\/strong> sigue siendo el mejor retorno del lote: Tensor Core de verdad, llama.cpp estable, m\u00e1quina lista con fuente industrial. La P100 es el t\u00e9rmino medio. La MI25 es la puerta de entrada AMD, consciente del ancho de banda.<\/p>\n<p>No es silenciosa, no es PCIe 5.0, no es BF16 nativo. Es soberan\u00eda del dato: el modelo no sale del rack. Una 4090\/5090 nueva sigue ganando en tok\/s por vatio y en software (vLLM, FP8) \u2014 y sigue sin los 64 GB.<\/p>\n<h2>Referencias<\/h2>\n<ul>\n<li><a href=\"https:\/\/www.youtube.com\/watch?v=zp8j4vO-wz0\">Donato Capitella \u2014 Servidor AI refurbished con 64GB de VRAM<\/a><\/li>\n<li><a href=\"https:\/\/github.com\/kyuz0\/nvidia-v100-ai-toolboxes\">Toolboxes V100 (CUDA 12.6.3 \/ sm_70)<\/a><\/li>\n<li><a href=\"https:\/\/github.com\/kyuz0\/nvidia-p100-ai-toolboxes\">Toolboxes P100 (sm_60)<\/a><\/li>\n<li><a href=\"https:\/\/github.com\/kyuz0\/mi25-gfx900-ai-toolboxes\">Toolboxes MI25 (gfx900)<\/a><\/li>\n<li><a href=\"\/es\/2026\/09\/rodando-ia-local-no-linux-com-ollama\/\">IA local en Linux con Ollama<\/a><\/li>\n<li><a href=\"\/es\/2026\/09\/llama-model-cli\/\">llama-model: GGUF y llama-server sin el daemon<\/a><\/li>\n<li><a href=\"\/es\/2026\/09\/como-funcionam-placas-de-video\/\">C\u00f3mo funcionan las tarjetas de v\u00eddeo<\/a><\/li>\n<li><a href=\"\/es\/2026\/09\/gpu-vs-tpu-como-funcionam-chips-ia\/\">GPU vs TPU<\/a><\/li>\n<\/ul>\n<p>Cuatro V100 en un chasis ruidoso no se convierten en una H100. Se convierten en 64 GB de VRAM que una tarjeta de consumo a\u00fan no vende \u2014 y un llama.cpp que, compilado para sm_70, conversa a 30 tokens por segundo sin enviar el prompt a la nube.<\/p>","protected":false},"excerpt":{"rendered":"<p>VRAM dita o modelo. Qwen denso 27B\u201332B, Llama 70B quantizado, Mixtral 8\u00d77B \u2014 isso pede 32 a 64 GB, n\u00e3o os 24 GB de uma 4090. O engenheiro Donato Capitella, com a Bargain Hardware, montou um Supermicro recondicionado com quatro GPUs de datacenter (64 GB no total) por cerca de \u00a32.000 e mediu V100, P100 &#8230; <a title=\"Servidor de IA reacondicionado con 64 GB de VRAM\" class=\"read-more\" href=\"https:\/\/www.linuxpro.com.br\/es\/2026\/09\/servidor-ia-recondicionado-64gb-vram-v100-p100-mi25\/\" aria-label=\"Leer m\u00e1s sobre Servidor de IA recondicionado com 64 GB de VRAM\">Leer m\u00e1s<\/a><\/p>","protected":false},"author":0,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[115,2,120],"tags":[153,134,116,128,152],"class_list":["post-426","post","type-post","status-publish","format-standard","hentry","category-ia","category-linux","category-servidores","tag-cuda","tag-gpu","tag-ia","tag-llm","tag-nvidia"],"_links":{"self":[{"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/posts\/426","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/comments?post=426"}],"version-history":[{"count":2,"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/posts\/426\/revisions"}],"predecessor-version":[{"id":1136,"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/posts\/426\/revisions\/1136"}],"wp:attachment":[{"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/media?parent=426"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/categories?post=426"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.linuxpro.com.br\/es\/wp-json\/wp\/v2\/tags?post=426"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}