Faire Tourner un LLM en Local avec Ollama

Pourquoi faire tourner un LLM en local ?

Avant de plonger dans l'installation, posons la question directement : pourquoi s'embêter à faire tourner un modèle sur sa propre machine alors que ChatGPT est accessible en quelques clics ?

Trois raisons majeures :

Confidentialité totale. Vos données ne quittent jamais votre machine. Pour les cas d'usage professionnels : analyse de contrats, traitement de données médicales, code propriétaire : c'est souvent une exigence non négociable.

Coût zéro à l'inférence. Une fois le modèle téléchargé, chaque requête est gratuite. Pour des applications à fort volume ou des expérimentations intensives, l'économie est considérable.

Aucune dépendance réseau. Train, zone blanche, pare-feu d'entreprise ? Votre LLM local s'en moque.

Installation : Une seule commande

macOS / Linux :

curl -fsSL https://ollama.com/install.sh | sh

Windows : Téléchargez l'installateur depuis ollama.com. Ollama s'installe comme un service en arrière-plan.

ollama --version          # Vérifier l'installation
ollama run llama3.2       # Télécharger + lancer (chat interactif)

Ollama télécharge automatiquement le modèle (une seule fois) et ouvre un chat dans le terminal. Tapez /bye pour quitter.

Les modèles disponibles en 2026

ollama list              # Modèles installés
ollama pull qwen2.5:14b  # Télécharger un modèle spécifique

La quantization expliquée simplement

Un modèle à 7B paramètres pèse ~14 Go en précision complète (F16). La quantization compresse ces poids, réduisant la RAM au prix d'une légère perte de qualité.

Micro-exercice : chatbot Python avec l'API Ollama

L'API d'Ollama est compatible avec le format OpenAI : vous pouvez utiliser le SDK Python officiel sans modifier votre code.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # Valeur arbitraire, requise par le SDK
)

response = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explique le machine learning en 3 phrases."}]
)
print(response.choices[0].message.content)

Chatbot avec historique de conversation :

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
historique = []

print("Chatbot local (Ctrl+C pour quitter)")
while True:
    user_input = input("\nVous : ")
    historique.append({"role": "user", "content": user_input})

    response = client.chat.completions.create(
        model="llama3.2",
        messages=historique
    )
    assistant_msg = response.choices[0].message.content
    historique.append({"role": "assistant", "content": assistant_msg})
    print(f"\nAssistant : {assistant_msg}")

Ollama + Agno : un agent avec un modèle local

from agno.agent import Agent
from agno.models.ollama import Ollama

agent = Agent(
    model=Ollama(id="qwen2.5:14b"),
    instructions="Tu es un assistant expert en data science. Réponds en français.",
    markdown=True
)

agent.print_response(
    "Quelle est la différence entre Random Forest et Gradient Boosting ?",
    stream=True
)

Pour aller plus loin

• Modelfile : créez des variantes personnalisées avec instructions système prédéfinies (ollama create mon-assistant -f Modelfile)
• API REST native : http://localhost:11434/api/ pour le streaming sans SDK
• Open WebUI : interface web type ChatGPT pour vos modèles locaux, installable en une commande Docker