Ollama, un outil gratuit et open source, permet d’exploiter divers grands modèles de langage, tels que Llama 3, sur des ordinateurs personnels, même ceux dotés de capacités limitées. Il utilise llama.cpp, une bibliothèque open source qui optimise les performances des LLM sur les machines locales avec des exigences matérielles minimales. Ollama propose également un type de gestionnaire de packages qui simplifie le processus de téléchargement et d’activation rapides et efficaces des LLM avec une seule commande.
Ruiner Llama 3 localement avec Ollama étape par étape
Pour commencer, la première étape consiste à installer Ollamacompatible avec les trois principaux systèmes d’exploitation, avec la version Windows actuellement disponible Aperçu.
Lama 3: Tout ce que vous devez savoir sur le dernier LLM de Meta
Après l’installation, ouvrez simplement votre terminal. La commande pour activer Ollama est cohérente sur toutes les plates-formes prises en charge.
Veuillez attendre quelques minutes pour que le modèle soit téléchargé et chargé, après quoi vous pourrez commencer à interagir avec lui !
API Ollama
Si vous envisagez d’intégrer Ollama dans vos projets, il fournit sa propre API ainsi qu’une compatible avec OpenAI. Ces API facilitent le chargement automatique d’un LLM stocké localement en mémoire, l’exécution de l’inférence, puis son déchargement après une période spécifiée.
Cependant, vous devez d’abord télécharger les modèles que vous souhaitez utiliser via la ligne de commande avant de pouvoir utiliser le modèle via l’API.
Ollama propose également des API dédiées, notamment plusieurs SDK spécifiquement pour Javascript et Python. Pour une tâche de génération de texte de base à l’aide de l’API, ajustez simplement le paramètre de modèle au modèle souhaité. Pour des instructions détaillées, reportez-vous à l’API officielle Documentation.
curl http://localhost:11434/api/generate -d ‘{
« modèle » : « lama »,
« invite »: « qu’est-ce que l’intelligence artificielle? »
}’
Voici la méthode pour effectuer une inférence de génération de chat à l’aide de l’API.
curl http://localhost:11434/api/chat -d ‘{
« modèle » : « lama »,
« messages »: [
{ “role”: “user”, “content”: “what is artificial intelligence?” }
]
}’
Comment configurer Ollama avec WebUI ?
Commencez par télécharger et installer Bureau Docker sur votre ordinateur pour configurer un environnement stable pour exécuter des applications conteneurisées. Après l’installation, ouvrez votre terminal et exécutez la commande suivante pour extraire la dernière image Ollama de Docker Hub :
docker exécuter -d
–nom ollama
-p 11434:11434
-v ollama_volume:/root/.ollama
ollama/ollama:dernier
Cette commande récupère la dernière version de l’image Ollama, complète avec toutes les bibliothèques et dépendances nécessaires au fonctionnement du modèle :
- exécution du docker: Ceci lance la création et le démarrage d’un nouveau conteneur Docker.
- -d: Active le mode détaché, permettant au conteneur de fonctionner en arrière-plan de votre terminal.
- –nom ollama: Attribue le nom « ollama » au conteneur, ce qui simplifie les futures références à celui-ci via les commandes Docker.
- -p 11434:11434: mappe le port 11434 sur le conteneur au port 11434 sur le système hôte, facilitant ainsi l’interaction avec l’application à l’intérieur du conteneur via le port du système hôte spécifié.
- -v ollama_volume:/root/.ollama: Attache un volume nommé « ollama_volume » à /root/.ollama dans le conteneur pour un stockage persistant, garantissant que les données restent intactes lors des redémarrages et des recréations du conteneur. Docker créera automatiquement « ollama_volume » s’il n’existe pas déjà.
- ollama/ollama:dernier: Spécifie l’image du conteneur, en utilisant la « dernière » version de l’image « ollama/ollama » provenant d’un registre Docker tel que Docker Hub.
Ensuite, pour libérer la fonctionnalité, entrez cette commande dans votre terminal :
$ docker ps
aa492e7068d7 ollama/ollama:dernier « /bin/ollama serve » il y a 9 secondes Plus de 8 secondes 0.0.0.0:11434->11434/tcp ollama
$ curl hôte local : 11434
Ollama court
Procédez en clonant le référentiel officiel d’Ollama WebUI :
clone git https://github.com/ollama-webui/ollama-webui
cd ollama-webui
Ensuite, ouvrez le fichier Compose pour afficher la configuration YAML :
version : ‘3.6’
prestations de service:
ollama :
tomes :
– ollama:/root/.ollama
# Décommentez ci-dessous pour exposer l’API Ollama en dehors de la pile de conteneurs
# ports :
# – 11434:11434
nom_du_conteneur : ollama
pull_policy : toujours
tty : vrai
redémarrage : à moins d’être arrêté
image : ollama/ollama :dernière
ollama-webui :
construire:
contexte: .
arguments :
OLLAMA_API_BASE_URL : ‘/ollama/api’
fichier docker : fichier Docker
image : ollama-webui : dernière
nom_du conteneur : ollama-webui
dépend de:
-ollama
ports :
– 3000:8080
environnement:
– « OLLAMA_API_BASE_URL=http://ollama:11434/api »
hôtes_extra :
– host.docker.internal: passerelle hôte
redémarrage : à moins d’être arrêté
tomes :
ollama : {}
Avant de passer aux étapes suivantes, assurez-vous d’arrêter le conteneur Ollama Docker en utilisant cette méthode :
Accédez à Docker Dashboard, puis appuyez sur Conteneurs, puis cliquez sur le port WebUI.
Vous avez maintenant configuré avec succès Ollama avec son WebUI en seulement deux minutes, évitant ainsi les processus complexes de déploiement de pods. Avec cette configuration, vous pouvez accéder à un large éventail de fonctionnalités via WebUI. Engagez Ollama pour générer diverses sorties de texte créatives, telles que des poèmes, du code, des scripts, des compositions musicales, des e-mails et des lettres. Vous pouvez également l’utiliser pour traduire sans effort du texte entre différentes langues ou recevoir une assistance et des suggestions de codage.
Crédit image en vedette : Méta
