• El foro de relojes de habla hispana con más tráfico de la Red, donde un reloj es algo más que un objeto que da la hora. Relojes Especiales es el punto de referencia para hablar de relojes de todas las marcas, desde Rolex hasta Seiko, alta relojería, relojes de pulsera y de bolsillo, relojería gruesa y vintages, pero también de estilográficas. Además, disponemos de un foro de compraventa donde podrás encontrar el reloj que buscas al mejor precio. Para poder participar tendrás que registrarte.

    IMPORTANTE: Asegúrate de que tu dirección de email no está en la lista Robinson (no publi), porque si lo está no podremos validar tu alta.

PC para IA

  • Iniciador del hilo Iniciador del hilo lopes
  • Fecha de inicio Fecha de inicio
L

lopes

Novat@
Sin verificar
Hola, alguno ha montado un PC para IA?
 
Necesitas una gráfica con la mayor VRAM posible, luego construye el PC alrededor de la gráfica.
 
depende del dinero que quieras gastar, pero el mayor problema es que la AI siempre funciona mejor con Cuda, y eso signficia nvidia.

Las 4000 se estan vendiendo caras como churros y las 5000 nuevas, hay pocas, se estan vendiendo al doble de precio y estan teniendo un indice de fallo de 1 de cada 10 gracias al connector cutre de corriente en el insiste nvidia.

el asunto si es para trabajar en serio o aprender.
 
están al caer las nvidia 5070 , que van a bajar el precio de un pc top bastante, ahora bien de 1800 euros no baja la broma para una torre apañada , por ejemplo las series 5000 piden ya una fuente de 850W serie gold para no tener problemas , o sea hay que mantener una línea en todos los componentes si no es como llevar un ferrari con ruedas de fiat panda

creo que la serie 4000 de gama media se va a desplomar de precio y poner a tiro menos evidentemente las top 4090 . al estar la 5070 a 650 euros nadie va a pillar una serie 4070/ 4080 de gama media, porque la 5070 tiene casi el rendimiento de una 4080 con una ventaja , el DLSS 4

ahora mismo hay que estarse quieto un par de meses , por ejemplo las 5070 ti estan carisimas , y no hay por ningun lado, y falta de venir la 5060 , que tambien creo que esta al llegar
 
Última edición:
Depende de lo que pretendas hacer con la IA, si quieres hacer cosas de Machine Learning necesitas unas cosas, si quieres un chatGPT local necesitas otras.

Para mover un LLM, además de potencia de cálculo, necesitas mucha memoria, cuantos más miles de millones de parámetros tenga el modelo, más RAM vas a necesitar.

Si te llega con modelos pequeños destilados, 7B, 8B, no necesitas demasiada máquina, adjunto pantallazo de Codeninja 7B corriendo en un iPad Pro M4 (8GB RAM) a unos 9 tokens/seg.

Para mover un Deepseek LLM 7B cuantificado a 4 bits con 4GB de RAM te llega, te valdría cualquier nVidia actual, si el modelo es FP16 7B, la cosa sube a 14-15GB, y de ahí al infinito, desde las 8GB que necesita una 16B cuantificada a los 1.2TB para el modelo completo.

Yo para "jugar" y hacer experimentos con cosas como CrewAI y modelos ejecutados localmente, tengo un Intel Nuc Beast Canyon i9, 64GB RAM y una Quadro RTX 4000 con 8GB de VRAM que es capaz de mover muchos modelos cuantificados sobre 16B parámetros a entre 10 y 25 tokens/seg sin despeinarse.

IMG_5289.webp
 
  • Me gusta
Reacciones: Aevum y Judas Priest
Atrás
Arriba Pie