Depende de lo que pretendas hacer con la IA, si quieres hacer cosas de Machine Learning necesitas unas cosas, si quieres un chatGPT local necesitas otras.
Para mover un LLM, además de potencia de cálculo, necesitas mucha memoria, cuantos más miles de millones de parámetros tenga el modelo, más RAM vas a necesitar.
Si te llega con modelos pequeños destilados, 7B, 8B, no necesitas demasiada máquina, adjunto pantallazo de Codeninja 7B corriendo en un iPad Pro M4 (8GB RAM) a unos 9 tokens/seg.
Para mover un Deepseek LLM 7B cuantificado a 4 bits con 4GB de RAM te llega, te valdría cualquier nVidia actual, si el modelo es FP16 7B, la cosa sube a 14-15GB, y de ahí al infinito, desde las 8GB que necesita una 16B cuantificada a los 1.2TB para el modelo completo.
Yo para "jugar" y hacer experimentos con cosas como CrewAI y modelos ejecutados localmente, tengo un Intel Nuc Beast Canyon i9, 64GB RAM y una Quadro RTX 4000 con 8GB de VRAM que es capaz de mover muchos modelos cuantificados sobre 16B parámetros a entre 10 y 25 tokens/seg sin despeinarse.