Il 22 settembre arriva nei negozi il nuovo Mac mini: chip base M6, e per la prima volta una variante M5 Pro che porta nel formato più piccolo della gamma Apple gli stessi Neural Accelerators visti sul MacBook Pro M5. È un aggiornamento che sulla carta sembra il solito giro di specifiche, ma per chi lavora con modelli linguistici locali cambia qualcosa di più profondo dell'ennesimo incremento di core: il rapporto tra capacità di calcolo e memoria disponibile.

Cosa c'è dentro, in cifre

M6: CPU 12 core (2 super core, 4 performance, 6 efficiency), GPU 12 core, Neural Engine doppio a 16 core, banda di memoria 153-170 GB/s a seconda della configurazione, memoria unificata fino a 32GB, prezzo da 899$.

M5 Pro: CPU fino a 18 core, GPU fino a 20 core con Neural Accelerators in ogni core GPU, memoria unificata fino a 64GB, banda 307GB/s, tre porte Thunderbolt 5 (120Gb/s), prezzo da 1699$.

Il dato che conta di più per chi fa inferenza o training locale non è il conteggio dei core, è la memoria unificata: CPU, GPU e Neural Engine condividono lo stesso pool fisico, senza copiare dati avanti e indietro tra RAM di sistema e VRAM dedicata come su un'architettura x86 con GPU discreta.

Perché la memoria unificata conta più dei TFLOPS

Su un PC con GPU NVIDIA, un modello che non entra nella VRAM va spezzato, offloadato su CPU o quantizzato in modo aggressivo, con perdite di velocità pesanti nel passaggio dati via PCIe. Sul Mac mini, un modello quantizzato che pesa ad esempio 40GB può essere caricato interamente nella memoria unificata di un M5 Pro da 64GB ed essere indirizzabile sia dalla GPU che dalla CPU senza copie intermedie.

Non è più veloce in senso assoluto di una A100 o di una H100: i 307GB/s di banda dell'M5 Pro restano lontani dai circa 3TB/s di banda HBM di una H100. Ma è disponibile sulla scrivania, silenzioso, consuma sotto i 100W e costa una frazione del prezzo di una workstation con GPU dedicata di pari capacità di memoria.

Neural Accelerators: cosa cambia davvero con M5

La novità architetturale più rilevante di M5 (e quindi dell'M5 Pro) non è il numero di core GPU ma i Neural Accelerators integrati in ciascuno di essi: unità dedicate al calcolo matriciale, l'operazione core dei transformer. Apple li espone tramite MLX, il framework open source pensato per Apple Silicon, attraverso le nuove TensorOps del Metal Performance Primitives introdotte con Metal 4.

Il team ML Research di Apple ha pubblicato benchmark diretti: su modelli densi da 14B parametri quantizzati a 4 bit, il time-to-first-token scende sotto i 10 secondi, con uno speedup fino a 4x rispetto a M4 nella fase di prompt processing, quella compute-bound in cui i Neural Accelerators lavorano davvero (misurato 3.57x su Qwen 1.7B, 3.62x su Qwen 8B BF16, 4.06x su Qwen 14B 4-bit). Sulla generazione token per token, che è invece vincolata dalla banda di memoria più che dal calcolo puro, il guadagno è più modesto: 19-27% rispetto a M4, in linea con l'incremento di banda.

Questo distinguo tra fase di prompt processing (compute-bound) e fase di generazione (memory-bound) è la chiave per capire dove un Mac mini M5 Pro rende davvero: bene su prompt lunghi e batch di richieste, meno sulla pura velocità di generazione token per token rispetto a schede con più banda dedicata.

Training o fine-tuning? Chiariamo i termini

Qui serve onestà tecnica, perché il termine training viene usato con troppa leggerezza. Il pretraining di un LLM da zero, miliardi di parametri, trilioni di token, settimane su cluster di centinaia di GPU con banda aggregata di decine di TB/s, non è alla portata di un Mac mini, né lo sarà mai con questa classe di hardware. Chi scrive che il Mac mini M5 Pro allena LLM nel senso di un modello frontier lo sta raccontando male.

Quello che il Mac mini M5 Pro fa bene, e che nella pratica quotidiana è ciò che serve alla gran parte di chi lavora con LLM fuori dai laboratori dei grandi player, è: fine-tuning con LoRA e QLoRA su modelli da 1B a 30B parametri, continued pretraining su dataset di dominio specifico, distillazione di modelli più piccoli a partire da modelli più grandi, sperimentazione rapida di architetture su scala ridotta. Con 64GB di memoria unificata si può tenere in memoria un modello da 30B quantizzato a 4 bit, i suoi gradienti LoRA e l'ottimizzatore, tutto insieme, senza offload.

Un workflow reale con MLX-LM

Con la libreria mlx-lm (pip install mlx-lm) il fine-tuning LoRA di un modello locale si riduce a poche righe da terminale:

mlx_lm.lora --model Qwen/Qwen2.5-14B-Instruct --train --data ./dataset --iters 1000 --batch-size 4

MLX gestisce automaticamente la quantizzazione, la memoria unificata e il grafo di calcolo lazy tipico di Apple Silicon: le operazioni vengono composte ed eseguite solo quando serve il risultato, riducendo i picchi di memoria durante il training. È lo stesso principio che permette a MLX di fare fine-tuning di modelli che su un'architettura CUDA equivalente richiederebbero più VRAM per lo stesso batch size.

I limiti che vale la pena conoscere

Tre cose da tenere a mente prima di sostituire una workstation NVIDIA con un Mac mini. Primo, l'ecosistema: la maggior parte della ricerca, dei paper e dei repository pubblici gira su CUDA, e portare un training loop custom su MLX richiede comunque del lavoro di adattamento. Secondo, il tetto di memoria: 64GB bastano per LoRA su modelli fino a circa 30-40B parametri quantizzati, ma per modelli più grandi o fine-tuning completo (non LoRA) serve guardare al Mac Studio con M5 Max o M5 Ultra, che arriva fino a 512GB di memoria unificata. Terzo, il multi-nodo: non esiste oggi un equivalente maturo di NVLink o InfiniBand per collegare più Mac in un training distribuito reale, quindi la scalabilità orizzontale resta un punto debole.

Conclusione

Il Mac mini M5 Pro non è una GPU da training in miniatura, ed è bene non venderlo come tale. È però, per la prima volta in un fattore di forma da 900-1700 dollari, una macchina in cui memoria unificata, banda dedicata e acceleratori matriciali nella GPU si allineano abbastanza bene da rendere il fine-tuning locale di modelli fino a 30B parametri qualcosa che si fa su una scrivania, silenziosamente, senza bolletta cloud. Per chi sviluppa, sperimenta o fa ricerca applicata su LLM di dimensioni reali, non i modelli da laboratorio dei big lab, è probabilmente l'hardware locale più interessante uscito quest'anno.