Avere un LLM in locale: oggi è possibile

Non significa avere necessariamente un enorme data center in ufficio. Modelli più efficienti, tecniche di quantizzazione e strumenti sempre più accessibili stanno rendendo il local AI una possibilità concreta anche al di fuori dei grandi laboratori di ricerca.

Cosa significa davvero avere un LLM in locale

Un Large Language Model è un sistema capace di comprendere e generare linguaggio, sintetizzare documenti, classificare informazioni, assistere nella programmazione e svolgere numerose altre attività.

Quando viene utilizzato in locale, il modello non viene interrogato attraverso un servizio remoto a ogni richiesta. I suoi pesi vengono scaricati e l’inferenza, cioè il processo attraverso cui genera la risposta, avviene direttamente sul computer o su un server controllato dall’azienda.

È una distinzione importante, perché eseguire un modello non significa addestrarlo da zero. Nella maggior parte dei casi si parte da modelli già esistenti, che possono essere utilizzati così come sono oppure adattati successivamente a esigenze specifiche.

Una volta configurato l’ambiente, molte operazioni possono inoltre essere eseguite senza una connessione continua a Internet.

Perché oggi è diventato molto più accessibile

Una delle tecnologie che ha reso possibile questa evoluzione è la quantizzazione.

I modelli vengono normalmente rappresentati utilizzando valori numerici con una determinata precisione. Ridurla, ad esempio passando a rappresentazioni a 8 o 4 bit, permette di diminuire sensibilmente la quantità di memoria necessaria. Il compromesso è una possibile perdita di accuratezza, ma le tecniche attuali consentono spesso di mantenere prestazioni sufficienti per moltissimi casi d’uso. Hugging Face supporta ormai diversi sistemi di quantizzazione proprio per rendere inferenza e personalizzazione dei modelli meno onerose dal punto di vista hardware.

Anche l’ecosistema software è maturato. llama.cpp, per esempio, consente di eseguire modelli quantizzati su una grande varietà di hardware, dalle CPU alle GPU NVIDIA e AMD fino ad Apple Silicon, permettendo anche di distribuire il carico tra CPU e GPU quando la memoria video non è sufficiente.

Questo non significa che qualsiasi modello possa funzionare bene su qualsiasi notebook, ma che la soglia d’ingresso si è abbassata notevolmente.

Dai repository ai modelli pronti da usare

Un ruolo centrale lo ha avuto Hugging Face, diventato uno dei principali punti di riferimento per trovare modelli, dataset e risorse dedicate all’AI.

Per chi vuole sperimentare con un LLM locale significa poter confrontare modelli diversi per dimensione, lingua, capacità, requisiti hardware e licenza, scegliendo quello più adatto al proprio progetto.

A questo si aggiungono strumenti come Ollama, che semplificano notevolmente il download e l’esecuzione dei modelli. Nel 2026 la piattaforma ha ampliato ulteriormente il supporto a GGUF e all’accelerazione tramite Vulkan, estendendo l’esecuzione su una gamma più ampia di GPU AMD e Intel oltre alle configurazioni già supportate.

Il cambiamento più evidente è proprio questo: per iniziare a sperimentare con l’AI locale non è più sempre necessario costruire manualmente un’infrastruttura complessa.

Anche i modelli disponibili stanno cambiando

Nel frattempo sono aumentati i modelli progettati per offrire buone capacità pur mantenendo requisiti più gestibili.

Un esempio significativo sono gpt-oss-20b e gpt-oss-120b, i modelli open-weight pubblicati da OpenAI. Il più piccolo, gpt-oss-20b, è stato progettato per funzionare con circa 16 GB di memoria, mentre il 120b può essere eseguito con circa 80 GB. Entrambi possono essere utilizzati su infrastrutture controllate direttamente dall’utente e adattati attraverso strumenti open source.

È un segnale importante perché il local AI non riguarda più soltanto piccoli modelli sperimentali. L’offerta sta iniziando a comprendere sistemi capaci di ragionamento e attività più complesse, pur con requisiti hardware molto differenti.

Privacy e controllo sono i vantaggi più evidenti

Per un’azienda, uno dei motivi principali per valutare un LLM locale riguarda i dati.

Se l’elaborazione avviene all’interno dell’infrastruttura aziendale, documenti, richieste e informazioni sensibili possono rimanere nell’ambiente controllato dall’organizzazione. Questo può essere particolarmente interessante quando si lavora con documentazione interna, dati riservati o processi che non si vogliono affidare interamente a servizi esterni.

C’è poi il controllo. È possibile scegliere il modello, stabilire quando aggiornarlo, collegarlo a strumenti interni e decidere in che modo integrarlo nelle applicazioni.

Anche il modello economico cambia: invece di sostenere necessariamente un costo per ogni richiesta elaborata nel cloud, l’investimento si sposta maggiormente sull’hardware e sulla gestione dell’infrastruttura.

RAG o fine-tuning? Non sempre serve modificare il modello

Avere un LLM locale apre anche la strada alla personalizzazione, ma è importante distinguere tecniche diverse.

Il fine-tuning modifica il comportamento del modello attraverso un ulteriore addestramento su esempi specifici. Strumenti come Unsloth stanno rendendo questo processo più efficiente anche utilizzando tecniche come LoRA e QLoRA, che permettono di intervenire su una parte limitata dei parametri riducendo le risorse necessarie.

Ma non sempre è ciò che serve.

Se l’obiettivo è creare, per esempio, un assistente che risponda sulla base di manuali, procedure o documenti aziendali aggiornabili, spesso è più indicato un sistema RAG, Retrieval-Augmented Generation. Il modello non deve imparare permanentemente quei contenuti: li recupera da una base documentale quando deve formulare la risposta.

La scelta dipende quindi dal problema da risolvere, non dalla volontà di “personalizzare l’AI” a tutti i costi.

Locale non significa automaticamente migliore

Ci sono però anche limiti concreti.

Un modello di grandi dimensioni può richiedere molta RAM o VRAM, consumare energia e offrire prestazioni inferiori rispetto allo stesso servizio eseguito su infrastrutture cloud specializzate. L’ambiente deve inoltre essere configurato, aggiornato, monitorato e protetto.

E soprattutto, locale non significa automaticamente sicuro. Se un sistema aziendale viene configurato male, espone dati a utenti non autorizzati o utilizza modelli senza verificarne origine e licenza, il fatto che non comunichi con il cloud non elimina il problema.

La scelta quindi non è tra un cloud “sbagliato” e un locale “giusto”. In molti progetti la soluzione migliore può essere persino ibrida: eseguire internamente le attività più sensibili o ripetitive e affidare al cloud quelle che richiedono modelli più grandi o maggiore capacità computazionale.

La vera novità è proprio questa. Avere un LLM in locale non è più soltanto un esperimento per appassionati: è diventata una possibilità architetturale che sviluppatori e aziende possono valutare concretamente in base a privacy, costi, prestazioni e livello di controllo richiesto dal progetto.