Screenshot der AnythingLLM vLLM Provider Konfiguration

AnythingLLM Installation mit Docker und Ollama

Installation von AnythingLLM auf einem lokalen PC mit Docker und Ollama

AnythingLLM ist eine leistungsstarke Oberfläche für lokale und externe Large Language Models. Damit lassen sich Chatbots, Wissensdatenbanken, Dokumentenanalysen und interne KI-Assistenten datenschutzfreundlich betreiben. Besonders interessant ist AnythingLLM für Unternehmen und anspruchsvolle Anwender:innen, die ihre Dokumente, Prozesse und ihr Know-how mit einer eigenen KI-Umgebung verbinden möchten.

In dieser Anleitung zeigen wir Schritt für Schritt, wie Sie AnythingLLM lokal installieren, mit Ollama koppeln und für den produktiven Einsatz vorbereiten. Die hier gezeigte Docker-Variante ist besonders flexibel, updatefreundlich und ideal für einen dauerhaften Betrieb im Browser.

Screenshot der AnythingLLM Oberfläche
AnythingLLM Oberfläche

Desktop oder Docker – was ist sinnvoller?

AnythingLLM gibt es als Desktop-Version und als Docker-Version:

  • Desktop-Version: ideal, wenn nur eine einzelne Person lokal auf einem Gerät arbeiten möchte und eine sehr einfache Installation bevorzugt.
  • Docker-Version: ideal, wenn der Dienst stabil im Browser laufen, leichter aktualisiert werden oder von mehreren Geräten im Netzwerk erreichbar sein soll.

Für eine saubere, zukunftssichere und professionelle Installation ist Docker in den meisten Fällen die bessere Wahl. Deshalb basiert diese Anleitung auf der offiziellen Docker-Variante.

Voraussetzungen

  • Ein aktueller PC oder Mac
  • Mindestens 2 GB RAM, empfohlen sind jedoch deutlich mehr
  • Mindestens 10 GB freier Speicherplatz
  • Installiertes Docker Desktop oder eine funktionierende Docker-Umgebung
  • Optional, aber empfohlen: Ollama für lokale Sprachmodelle
  • Internetverbindung zum Herunterladen von Images und Modellen

Wer mit größeren lokalen Modellen arbeiten möchte, profitiert stark von einer leistungsfähigen NVIDIA-GPU. Für kleinere Modelle oder erste Tests reicht aber oft auch ein normaler moderner Rechner.

Schritt 1: Docker installieren

Laden Sie Docker von der offiziellen Website herunter und installieren Sie es:

Docker Desktop herunterladen

Nach der Installation sollte Docker im Hintergrund laufen. Prüfen Sie das kurz im Terminal oder in der Eingabeaufforderung mit:

docker --version

Wenn eine Versionsnummer angezeigt wird, ist Docker korrekt installiert.

Schritt 2: Ollama für lokale Modelle installieren

Wenn AnythingLLM mit einem lokalen LLM arbeiten soll, ist Ollama eine der einfachsten Lösungen. Die Installation ist unkompliziert:

Ollama herunterladen

Nach der Installation können Sie ein erstes Modell laden, zum Beispiel:

ollama pull llama3.1
ollama pull nomic-embed-text

Starten Sie danach testweise den Ollama-Dienst bzw. prüfen Sie, ob er erreichbar ist. Lokal läuft Ollama üblicherweise unter:

http://127.0.0.1:11434

Wichtig: Wenn AnythingLLM in Docker läuft, darf in der Konfiguration später nicht einfach localhost verwendet werden, weil sich dieser Wert innerhalb des Containers auf den Container selbst bezieht.

Schritt 3: Speicherort für AnythingLLM vorbereiten

AnythingLLM sollte seine Daten persistent auf dem Host speichern, damit Workspaces, Einstellungen, Dokumente und Konfigurationen bei Updates nicht verloren gehen.

Für macOS oder Linux können Sie zum Beispiel folgenden Speicherort anlegen:

export STORAGE_LOCATION=$HOME/anythingllm
mkdir -p $STORAGE_LOCATION
touch "$STORAGE_LOCATION/.env"

Unter Windows kann ein Ordner wie Documents\\anythingllm verwendet werden.

Schritt 4: AnythingLLM Docker-Image laden

Laden Sie nun das aktuelle offizielle Docker-Image herunter:

docker pull mintplexlabs/anythingllm:latest

Das offizielle Image unterstützt gängige Architekturen wie amd64 und arm64.

Schritt 5: AnythingLLM starten

Für macOS oder Linux kann der Start zum Beispiel so aussehen:

export STORAGE_LOCATION=$HOME/anythingllm && mkdir -p $STORAGE_LOCATION && touch "$STORAGE_LOCATION/.env" && docker run -d -p 3001:3001 --cap-add SYS_ADMIN --name anythingllm -v ${STORAGE_LOCATION}:/app/server/storage -v ${STORAGE_LOCATION}/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm:latest

Wenn Sie unter Linux auf lokale Dienste des Host-Systems zugreifen möchten, ist oft zusätzlich diese Option sinnvoll:

--add-host=host.docker.internal:host-gateway

Für Windows PowerShell sieht ein typischer Start so aus:

$env:STORAGE_LOCATION="$HOME\Documents\\anythingllm"
New-Item -ItemType Directory -Force -Path $env:STORAGE_LOCATION
New-Item -ItemType File -Force -Path "$env:STORAGE_LOCATION\.env"
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
--name anythingllm `
-v ${env:STORAGE_LOCATION}:/app/server/storage `
-v ${env:STORAGE_LOCATION}\.env:/app/server/.env `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm:latest
Screenshot der AnythingLLM Docker Installation
AnythingLLM Docker Installation

Nach dem Start ist AnythingLLM normalerweise nach wenigen Sekunden im Browser erreichbar unter:

http://localhost:3001

Schritt 6: Ersteinrichtung im Browser

  1. Öffnen Sie http://localhost:3001 im Browser.
  2. Folgen Sie dem Setup-Assistenten.
  3. Legen Sie – falls abgefragt – den ersten Benutzer bzw. die Administrationsdaten an.
  4. Wählen Sie Ihr gewünschtes LLM-Backend aus.

Schon an dieser Stelle zeigt sich der Vorteil von AnythingLLM: Die Lösung kombiniert Chat, Wissensmanagement, Dokumentenverarbeitung, RAG und Agentenfunktionen in einer einzigen Oberfläche.

Schritt 7: Ollama korrekt mit AnythingLLM verbinden

Wenn Ollama auf demselben Rechner läuft, muss AnythingLLM in Docker mit einer Host-Adresse verbunden werden, nicht mit 127.0.0.1 oder localhost.

  • macOS / Windows: http://host.docker.internal:11434
  • Linux: häufig http://172.17.0.1:11434 oder alternativ eine saubere Host-Gateway-Konfiguration

Tragen Sie diese Adresse in den AnythingLLM-Einstellungen als Ollama-Verbindungs-URL ein. Wenn keine Modelle angezeigt werden, ist in der Praxis fast immer die URL die Ursache.

Für Embeddings kann ebenfalls Ollama verwendet werden, zum Beispiel mit nomic-embed-text. Dadurch bleiben auch Einbettungen vollständig lokal.

Schritt 8: Erstes Modell testen

Wenn Ollama bereits Modelle geladen hat, können Sie in AnythingLLM nun ein Modell auswählen und einen ersten Test durchführen. Sinnvolle Startmodelle sind je nach Hardware zum Beispiel:

  • llama3.1
  • mistral
  • qwen
  • phi für kleinere Systeme

Für Dokumentensuche und semantische Suche ist zusätzlich ein Embedding-Modell wichtig, etwa nomic-embed-text.

Schritt 9: Dokumente und Workspaces anlegen

Nun können Sie in AnythingLLM einen oder mehrere Workspaces erstellen. In jedem Workspace lassen sich Dokumente hochladen, strukturieren und mit einem passenden Modell kombinieren.

Typische Einsatzbereiche sind:

  • interne Wissensdatenbanken
  • FAQ-Systeme
  • Analyse von PDFs, Handbüchern und Protokollen
  • lokale Firmen-KI mit datenschutzfreundlicher Dokumentensuche
  • Agenten-Workflows für Support, Recherche und Textarbeit

Updates von AnythingLLM

Ein großer Vorteil der Docker-Variante ist die einfache Aktualisierung. In der Regel reichen diese Schritte:

docker pull mintplexlabs/anythingllm:latest
docker stop anythingllm
docker rm anythingllm

Anschließend starten Sie den Container erneut mit demselben Volume-Mount. Da die Daten im persistenten Speicher liegen, bleiben Konfiguration und Inhalte erhalten.

Typische Fehlerquellen

  • Ollama wird nicht erkannt: meist ist die falsche URL eingetragen. In Docker nie localhost verwenden.
  • Keine Schreibrechte im Storage: prüfen Sie UID/GID bzw. Dateiberechtigungen.
  • Container startet nicht sauber: Docker-Logs prüfen mit docker logs anythingllm.
  • Modelle antworten langsam: Modellgröße reduzieren oder stärkere Hardware einsetzen.
  • Port 3001 ist belegt: einen anderen Host-Port wählen, z. B. -p 3002:3001.

Sicherheit und Backup

Da AnythingLLM produktive Daten, hochgeladene Dokumente und Einstellungen enthält, sollte der Storage-Ordner regelmäßig gesichert werden. Wer die Instanz im Netzwerk oder öffentlich erreichbar macht, sollte zusätzlich auf starke Passwörter, Reverse Proxy, HTTPS und saubere Zugriffskontrollen achten.

Für sensible Unternehmensdaten empfiehlt sich außerdem, nur lokale Modelle und lokale Embeddings zu verwenden, damit keine Inhalte an externe Cloud-Dienste übertragen werden.

Fazit

AnythingLLM ist eine sehr praktische Lösung, um lokale KI produktiv nutzbar zu machen. In Kombination mit Docker und Ollama entsteht eine flexible Plattform für Chat, Dokumentensuche, Wissensmanagement und Agentenfunktionen – mit hoher Kontrolle über Daten, Modelle und Infrastruktur.

Wer eine robuste lokale KI-Umgebung aufbauen möchte, findet in AnythingLLM einen hervorragenden Einstieg mit viel Ausbaupotenzial.

Offizielle Links