Installer Serge avec Docker

Installer Serge avec Docker

Table des matières

Je cherchais un moyen simple, sans abonnement, sans clé API, et surtout sans me prendre la tête, de tester l'intelligence artificielle, en français!

En plus, je n'ai pas de GPU dans mon serveur, il y a contrôleur PCI avec un NVME à la place. C'était pas gagné. Je savais qu'il y avait des modèles qui pouvaient tourner sans GPU mais je n'y connais pas grand chose.

Après de solides recherches, je tombe sur Serge - LLaMA made easy 🦙!

Si ça c'est pas le god mode de l'installation facile d'une IA, je suis un phoque croisé avec une hyène! C'est super rapide, le téléchargement des modèles dépendent de la vitesse de votre connexion. Il y a des pavés de 42 Go, de mémoire.

Je voulais vous partager cette petite trouvaille!

Par contre je sais que mon expérience sera brève dans ce domaine vu mon CPU, par moment j'ai cru qu'il allait tuer toute la famille en explosant. J'ai un Intel(R) Core(TM) i3-9100F CPU @ 3.60GHz et j'ai mis pour la VM... 16 Go de RAM.

Proxmox ☠️ :

Alors oui, ça fonctionne même avec un CPU tout pourri, sans GPU. Mais c'est un "peu" lent.

Voici les modèles supportés:

CategoryModels
Alfred40B-1023
Code13B, 33B
CodeLLaMA7B, 7B-Instruct, 7B-Python, 13B, 13B-Instruct, 13B-Python, 34B, 34B-Instruct, 34B-Python
Falcon7B, 7B-Instruct, 40B, 40B-Instruct
LLaMA 27B, 7B-Chat, 7B-Coder, 13B, 13B-Chat, 70B, 70B-Chat, 70B-OASST
Med4270B
Medalpaca13B
Medicine-LLM13B
Meditron7B, 7B-Chat, 70B
Mistral7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca
MistralLite7B
Mixtral8x7B-v0.1, 8x7B-Dolphin-2.7, 8x7B-Instruct-v0.1
Neural-Chat7B-v3.3
Notus7B-v1
Notux8x7b-v1
OpenChat7B-v3.5-1210
OpenLLaMA3B-v2, 7B-v2, 13B-v2
Orca 27B, 13B
Phi 22.7B
Python Code13B, 33B
PsyMedRP13B-v1, 20B-v1
Starling LM7B-Alpha
Vicuna7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-Coder
WizardLM7B-v1.0, 13B-v1.2, 70B-v1.0
Zephyr3B, 7B-Alpha, 7B-Beta

J'en ai profité pour poser une question existentielle:


L'installation

  1. Créez votre docker-compose.yml:
nano docker-compose.yml
  1. Collez ça dedans en prenant soin d'adapter le port et les volumes suivant votre configuration:
services:
  serge:
    image: ghcr.io/serge-chat/serge:latest
    container_name: serge
    restart: unless-stopped
    ports:
      - 8008:8008
    volumes:
      - /srv/appdata/serge/weights:/usr/src/app/weights
      - /srv/appdata/serge/datadb:/data/db/

volumes:
  weights:
  datadb:
  1. On installe l'application:
docker-compose up -d

ou avec docker-compose V2:

docker compose up -d
  1. Rendez-vous sur l'ip:port, suivant l'IP de votre serveur local et le port choisi:
http://ip:8008

Tel quel, il ne sera pas bavard. Il faut télécharger un modèle au préalable.


Télécharger un modèle

Une fois sur la page d'accueil , cliquez sur Download Models, faites votre choix, vous pouvez très bien tous les prendre, mais bonjour la place, renseignez-vous un peu sur le net pour comprendre les différences entre l'un et l'autre:

Personnellement, je suis une quiche en IA et modèles, je me suis un peu renseigné et j'ai pris le modèle Vicuna, je sais qu'il parle français, ainsi que d'autres, mais lui c'est certain.

Cliquez sur la flèche pour le télécharger, vous pouvez voir sa progression en haut de la page:

Une fois qu'il est téléchargé, vous pouvez commencer à "discuter" avec.
Prévenez vos proches que tout va bien dans votre tête. On ne sait jamais.


Créer un nouveau chat

Une fois que votre modèle est téléchargé, cliquez sur la Maison en haut à gauche, ensuite sur New Chat:

Si vous n'avez qu'un modèle, vous pouvez directement cliquer sur Start a new chat, si vous avez plusieurs modèles, il faudra le sélectionner dans Model settings, puis cliquez sur Start a new chat:

Et pas vite vexé avec ça. 😃

zarev

🐧 Passionné de self-hosting, je partage ce que je connais et me nourris des connaissances des bonnes âmes qui partagent avec moi. Soutenons l'utilisation des apps open source et leurs développeurs.

Vous pourriez aussi aimer