L’AI torna in casa: perché sempre più modelli girano direttamente sul nostro PC

Questa situazione sta però cambiando. Una parte crescente dell’AI può essere eseguita direttamente sul dispositivo dell’utente, senza che ogni operazione debba passare da un data center. Microsoft mette ormai a disposizione modelli locali per Windows, Apple consente agli sviluppatori di accedere al modello on-device che alimenta Apple Intelligence e Google ha progettato famiglie come Gemma 3n espressamente per smartphone, tablet e laptop.

Non significa che il cloud sia destinato a scomparire. Significa piuttosto che, per la prima volta, eseguire un modello generativo in locale sta diventando una scelta architetturale realmente praticabile.

I modelli sono diventati più piccoli, ma soprattutto più efficienti

Non abbiamo improvvisamente trasformato ogni notebook in un data center. È cambiato il modo in cui i modelli vengono progettati ed eseguiti.

Una delle tecniche più importanti è la quantizzazione, che riduce la precisione numerica utilizzata per rappresentare i pesi di un modello. In termini molto semplici, significa utilizzare meno bit per memorizzare le informazioni necessarie al modello, diminuendo così occupazione di memoria e requisiti computazionali. Un modello può essere portato, per esempio, da rappresentazioni a precisione elevata a formati a 8 o 4 bit, accettando un possibile compromesso sulla qualità per ottenere un’esecuzione molto più leggera.

Parallelamente stanno nascendo modelli pensati fin dall’inizio per dispositivi con risorse limitate. Gemma 3n, per esempio, utilizza tecniche che riducono il carico di memoria e di calcolo ed è progettato per gestire testo, immagini e audio anche su dispositivi di uso quotidiano. Google indica esplicitamente alcune varianti della famiglia Gemma come destinate a mobile, laptop e desktop, non a grandi cluster di server.

La vera novità, quindi, non è soltanto avere modelli “più piccoli”. È riuscire a ottenere prestazioni utili con una quantità di risorse molto inferiore rispetto a qualche anno fa.

Anche l’hardware dei PC si sta adattando

C’è poi un secondo pezzo del puzzle. Se il software diventa più efficiente, l’hardware sta contemporaneamente diventando più specializzato.

Accanto a CPU e GPU sono entrate stabilmente nelle specifiche dei nuovi computer le NPU, Neural Processing Unit, processori progettati per accelerare operazioni tipiche dei modelli di machine learning. Microsoft definisce, per esempio, i Copilot+ PC anche attraverso la presenza di una NPU capace di almeno 40 TOPS, cioè oltre 40 mila miliardi di operazioni al secondo.

Non significa che senza NPU non sia possibile eseguire un modello locale. Framework come llama.cpp possono utilizzare CPU, GPU NVIDIA e AMD, Apple Silicon e diversi altri backend hardware. La NPU aggiunge però un’unità specializzata che permette di eseguire determinati carichi AI in maniera più efficiente e con un impatto inferiore sulle altre risorse del sistema.

È un cambiamento che ricorda quello avvenuto con le GPU. Prima erano componenti dedicate prevalentemente alla grafica, poi sono diventate fondamentali per il machine learning.

Adesso l’AI sta entrando direttamente nella progettazione dei processori destinati al mercato consumer.

Un modello locale cambia anche il modo di progettare il software

Dal punto di vista dello sviluppo, la questione diventa particolarmente interessante.

Se una funzionalità AI può essere eseguita sul computer dell’utente, non è più necessario chiamare continuamente un’API esterna. Questo può ridurre la latenza, permettere a determinate funzioni di lavorare anche senza connessione e soprattutto evitare che alcuni dati lascino il dispositivo.

Apple, nel presentare le proprie tecnologie on-device, evidenzia proprio questi aspetti: esecuzione locale, dati mantenuti sul dispositivo, applicazioni più reattive e assenza di costi legati alle chiamate server per le operazioni gestite localmente.

Per un’applicazione aziendale le conseguenze possono essere rilevanti. Pensiamo alla classificazione di documenti, all’estrazione di informazioni, alla sintesi di testi, alla ricerca semantica o all’assistenza nella compilazione di contenuti interni. In alcuni scenari, elaborare tutto localmente può essere molto più interessante che inviare continuamente informazioni a un servizio esterno.

C’è anche una questione economica. Con un servizio cloud, ogni richiesta può avere un costo proporzionale all’utilizzo. Con l’inferenza locale, una parte del costo computazionale viene invece assorbita dall’hardware già disponibile sul dispositivo.

Privacy e velocità sono vantaggi reali, ma il locale non vince sempre

Eseguire tutto sul PC sembra quindi la soluzione ideale. In realtà non lo è.

I modelli locali devono confrontarsi con limiti di memoria, potenza di calcolo, consumi e dimensione del contesto. I modelli disponibili nel cloud possono utilizzare infrastrutture enormemente più potenti e, quando un’attività richiede capacità di ragionamento più avanzate o una quantità molto elevata di informazioni, continuano ad avere un vantaggio importante.

Anche Apple, nella propria documentazione, suggerisce di utilizzare i modelli on-device per numerosi compiti di generazione, estrazione e comprensione, ricorrendo invece a modelli cloud quando servono maggiore capacità di ragionamento o finestre di contesto più ampie.

La distinzione tra AI locale e AI cloud, quindi, non dovrebbe essere interpretata come una gara con un unico vincitore.

La soluzione più interessante potrebbe essere ibrida

Dal punto di vista architetturale, il futuro più plausibile è quello di applicazioni capaci di decidere dove eseguire un determinato compito.

Microsoft descrive già un approccio di questo tipo per Windows: utilizzare prima le API AI locali ottimizzate per l’hardware disponibile, passare eventualmente a un modello open source eseguito sul dispositivo e ricorrere infine al cloud quando le risorse locali non sono sufficienti.

Per uno sviluppatore significa poter costruire sistemi in cui una classificazione semplice, una sintesi o un’elaborazione di dati sensibili avvengono localmente, mentre le richieste più complesse vengono delegate a un modello remoto.

È probabilmente questo l’aspetto più interessante dell’AI che “torna in casa”. Non avere necessariamente una versione ridotta di ChatGPT installata sul computer, ma poter scegliere di volta in volta quale parte dell’intelligenza dell’applicazione debba vivere sul dispositivo e quale nel cloud.

Per chi sviluppa cambia una decisione fondamentale

Per molto tempo integrare l’intelligenza artificiale in un progetto significava principalmente scegliere un provider, collegarsi alla sua API e costruire il software attorno a quel servizio. Oggi le alternative stanno aumentando.

Progetti come llama.cpp rendono possibile eseguire un numero crescente di modelli su hardware comune, mentre Apple, Microsoft e Google stanno costruendo sistemi, API e modelli espressamente orientati all’esecuzione locale.

La domanda per chi sviluppa diventa quindi più interessante. Non soltanto “quale modello utilizziamo?”, ma anche “dove vogliamo che questo modello venga eseguito?”.

Cloud e dispositivo locale hanno costi, limiti e vantaggi differenti. Saperli combinare significa poter progettare applicazioni più veloci, più attente ai dati degli utenti e meno dipendenti da una singola infrastruttura esterna.

L’AI sta tornando sui nostri computer proprio per questo. Non perché il cloud abbia smesso di essere utile, ma perché finalmente non è più l’unico posto in cui un modello può vivere.