
Ollama e GDPR: far girare l'AI in locale è sicuro?
Ollama manda i tuoi dati da qualche parte? Cosa chiede davvero il GDPR, come l'inferenza locale tiene prompt e documenti sul tuo server, e dove Ollama…

API Cloud e Dati Sensibili Non Vanno d'Accordo
Quando usiamo ChatGPT o Claude, ogni messaggio viaggia verso server negli Stati Uniti. Per uso personale va benissimo. Per uno studio legale con documenti riservati? Per un ospedale con cartelle cliniche? Per un'azienda con brevetti non ancora depositati? Assolutamente no.
Il GDPR è chiaro: i dati personali dei cittadini europei hanno regole precise su dove e come vengono processati. Inviare il contenuto di un contratto riservato a servizi cloud espone il titolare del trattamento a rischi legali concreti. Non parliamo di paranoia — parliamo di compliance.
I nostri clienti non volevano scegliere tra "usare l'AI" e "proteggere i dati". Volevano entrambe le cose. Ollama ci ha dato la risposta: esegui il modello AI direttamente nel tuo server, i dati non escono mai.
Come Funziona Ollama (In Pratica)
Ollama è un runtime per LLM open-source che si installa in 30 secondi. Un singolo comando — "ollama pull llama3.1:8b" — scarica un modello da 4.7 GB e lo rende disponibile via API REST locale sulla porta 11434. Niente configurazione CUDA manuale, niente compilazione di PyTorch.
Sotto il cofano, Ollama usa llama.cpp (C++ ottimizzato) per l'inferenza. Rileva automaticamente la GPU NVIDIA e sposta il modello in VRAM. Se la GPU non ha abbastanza memoria, splitta il modello tra GPU e CPU.
I modelli che usiamo in produzione:
- Llama 3.1 8B: il nostro cavallo di battaglia. 4.7 GB, gira su qualsiasi GPU con 8 GB VRAM. Genera 40-60 token/secondo su RTX 4060.
- Mistral 7B: buone performance in italiano e inglese. Leggermente più veloce di Llama su testi brevi.
- Phi-3 Mini: 3.8 GB, perfetto per hardware limitato. Eccellente per Q&A fattuali.
Performance Locale vs Cloud: Il Confronto Onesto
Saremmo disonesti a dire che Llama 3.1 8B locale è buono quanto GPT-4o. Non lo è. Ma la domanda giusta non è "quale modello è più intelligente?" — è "quale risolve il problema del cliente rispettando i suoi vincoli?"
Sul nostro benchmark di 100 domande su documenti legali reali:
- GPT-4o (via API): 94% risposte accurate, 1.2 secondi, costo $0.03/query
- Llama 3.1 8B locale: 87% risposte accurate, 2.1 secondi, costo $0.00/query
- Llama 3.1 70B locale (2x RTX 4090): 92%, 4.8 secondi, $0.00/query
L'87% di Llama locale è su domande complesse cross-documentali. Su domande fattuali semplici, Llama 8B raggiunge il 98%. Un'azienda con 1.000 query/giorno risparmia circa $900/mese rispetto a GPT-4o, dopo l'investimento iniziale in una RTX 4060 da €300.
Ollama in locale e Ollama Cloud non sono la stessa cosa
Qui nasce quasi tutta la confusione, perché i due prodotti condividono il nome e la stessa riga di comando.
Quando esegui un modello in locale, l'inferenza avviene sulla tua macchina. Il prompt, il documento che gli dai in pasto e la risposta non attraversano nessuna rete: puoi staccare il cavo e continuare a lavorare. Dal punto di vista del GDPR non c'è trasferimento, non c'è responsabile esterno del trattamento, non serve una base giuridica per l'export dei dati, perché export non ce n'è. È per questo che un'azienda può usare l'AI su contratti, cartelle cliniche o brevetti senza aprire un fascicolo legale.
Quando usi Ollama Cloud, l'inferenza gira sull'infrastruttura di qualcun altro. Il prompt esce dalla tua macchina. Non è né illecito né pericoloso di per sé, ma l'analisi cambia completamente e torna a essere quella di qualsiasi fornitore cloud: ti serve un accordo sul trattamento dei dati, devi sapere in quali Paesi avviene il processing, e se è fuori dall'Unione ti serve una base valida per il trasferimento.
La domanda utile quindi non è "Ollama è conforme al GDPR?" — un software non è conforme o non conforme in astratto. La domanda è: dove gira l'inferenza? Se gira sul tuo server, il problema del trasferimento non si pone. Se gira altrove, si pone esattamente come con qualunque altro fornitore, e va trattato con gli stessi strumenti.
Prima di scegliere, verifica sempre sulla documentazione del fornitore le condizioni aggiornate e le sedi di trattamento: cambiano nel tempo e nessun articolo di blog può sostituire quel controllo.
Se stai valutando un intervento in questo ambito, i nostri soluzioni AI on-premise partono sempre da un caso reale, non da un template.
Domande Frequenti su Ollama e LLM Locali
D: Serve per forza una GPU NVIDIA per usare Ollama?
R: No, funziona anche su CPU. Però è lento: 3-5 token al secondo vs 40-60 su GPU. Per uso enterprise con più utenti, la GPU è praticamente obbligatoria.
D: I modelli locali sono sicuri? Possono essere manipolati?
R: I modelli provengono da repository verificati. Il rischio reale è nel prompt injection, ma vale per qualsiasi LLM. Il nostro sistema mitiga con validazione degli input e sandboxing delle risposte.
D: Posso fare fine-tuning sui miei dati aziendali?
R: Ollama supporta modelli custom, ma il fine-tuning vero richiede strumenti esterni. Nella nostra esperienza, il RAG con prompt engineering ben fatto copre il 95% dei casi. Il fine-tuning serve solo per domini molto specialistici.
Servizi Correlati
Scopri come applichiamo queste tecnologie nei nostri progetti enterprise.
Interessato?
Contattaci per ricevere un preventivo personalizzato.
I3K Technologies Srl a socio unico — i3k.eu