Wir alle nutzen KI-Modelle die zugehörigen Tools. Sei es, um es einfach auszuprobieren. Sei es, um die Werkzeuge produktiv im Alltag einzusetzen. Das Problem: Wir wissen nicht genau, was mit unseren Daten geschieht. Da wäre es doch vertrauensvoller, wenn wir eine eigene KI lokal auf unserem Computer installieren könnten.

Nun, das geht. Alles, was es braucht, ist ein KI-Modell und eine einfache Installationsanleitung.

Datenschutz & Geschäftsmodelle

ChatGPT ist eine feine Sache und wird gerne genutzt. Aber: was genau mit unseren Daten geschieht, die wir ins Tool hochladen, wissen wir nicht. Was wo gespeichert wird, bleibt unklar. Sicher würde ich ein solches Tool nie verwenden, um vertrauliche Dokumente oder Texte zu bearbeiten.

Und was geschieht, wenn OpenAI oder einer der anderen Anbieter plötzlich sein Geschäftsmodell ändert? Kennt man ja – zuerst ist alles gratis und dann wechselt man plötzlich in ein Abo-Modell.

Zeit, sich ein KI-Tool lokal auf seinem Rechner zu installieren.

Von LLaMAs und Alpacas

Tatsächlich gibt es KI-Sprachmodelle, die man nicht-kommerziell für den privaten Gebrauch verwenden und bei sich installieren darf.

Da wäre zunächst Llama, das Sprachmodell von Meta, ein «65-billion-parameter language model», welches vom Facebook-Konzern zur Verfügung gestellt wird:

As part of Meta’s commitment to open science, today we are publicly releasing LLaMA (Large Language Model Meta AI), a state-of-the-art foundational large language model designed to help researchers advance their work in this subfield of AI. Smaller, more performant models such as LLaMA enable others in the research community who don’t have access to large amounts of infrastructure to study these models, further democratizing access in this important, fast-changing field.

Zweitens gibt es ein Modell namens Alpaca. Dieses stammt von der Standford University und steht ebenfalls als offenes Modell zur Verfügung. Wenn ich es richtig verstanden habe, wurde dieses Modell mit Hilfe von anderen AI-Modellen trainiert – was die interessante Frage aufwirft, wie es sich mit der Qualität verhält.

Beide Modelle sind funktional mit GPT-3.5 vergleichbar. Ob sie die gleiche Qualität aufweisen und wie sie genau trainiert wurden, lässt sich über die beiden Links nachlesen. Das lohnt sich, denn es hilft ein wenig, die Technologie hinter diesen generativen Sprachmodellen zu verstehen.

Meine Installation auf einem Macbook Pro M1

Wir wollen uns nun aber darauf konzentrieren, diese beiden Modelle auf einem lokalen Rechner zu installieren. Das funktioniert übrigens auf Linux, Mac oder Windows. Ich selbst habe es auf meinem Macbook ausprobiert.

Zwei warnende Worte vorweg:

• die Installation ist an und für sich einfach. Sie geschieht aber im Terminal und das ist nicht jedermanns Sache. Haltet euch einfach an die verlinkte Anleitung, dann klappt es. Macht vorher zur Sicherheit ein Vollbackup eures Macs – dann kann nix schief gehen.
• die genannten Modelle sind gross und belegen zusammen schnell mal 100GB auf eurem Mac. Prüft also zuerst, ob ihr so viel Speicherplatz entbehren könnt.

That said, legen wir los! Die detaillierte Anleitung findet ihr auf der folgenden Webseite in GitHub. Am besten schaut ihr euch diese genau an und folgt den Anweisungen:

https://github.com/cocktailpeanut/dalai

Hier fasse ich die wichtigsten Schritte der Installation zusammen, damit ihr wisst, was auf euch zukommt. Im Wesentlichen funktioniert die Installation in drei Schritten

1. Zuerst müsst ihr die aktuellste Version von node.js installieren. Diese gibt es für alle Plattformen. Installer herunterladen und ausführen – fertig.
2. Dann müsst ihr die genannten Modelle herunterladen und auf eurem Rechner installieren. Auf dem Mac öffnet ihr dazu das Terminal und gebt einfach exakt die Befehle ein, die auf der Webseite aufgeführt werden.
3. Letzter Schritt: Ihr startet den Server über das Terminal und könnt dann über eine bequeme Web-Oberfläche auf das installierte KI-Tool zugreifen. Das sieht dann so aus:

Die Bedienung von Llama und Alpaca funktioniert ähnlich wie in ChatGPT. Es gibt einen Chatmodus, in dem ihr die Modelle prompten könnt. Man merkt aber schnell, dass die Online-Versionen von OpenAI, Microsoft und Co. in den letzten Wochen unglaubliche Fortschritte gemacht haben. Das lokale Tool fühlt sich ziemlich rudimentär und sperrig an.

Aber: ihr könnt getrost die Netzwerkverbindung kappen und mit der KI auch ohne Netzzugang experimentieren. Alle eingegebenen Daten bleiben auf eurem Rechner und ihr habt die Privacy im Griff.

Dieser Beitrag wurde zuerst am 2023-05-27T09:15:50 publiziert unter https://publishing.blog/ki-installation-auf-einem-macbook-so-gehts/.