Local AI Smart-Home-Integration, kostenlos und Open Source
Der Gladys-Assistent mit einem Modell bei dir zu Hause: Ollama, LM Studio, llama.cpp, LocalAI, vLLM.
Veröffentlicht von guim31
- Geräte
- Version 1.0.0
- Erfordert Gladys >=5.3.0
- ★ 0
Betreibe den Gladys-Assistenten mit einem Modell bei dir zu Hause statt mit Gladys Plus: Der Chat, das Erstellen von
Szenen, die Szenenaktion ai.ask und der Wochenrückblick laufen über Ollama oder jeden Server, der die
OpenAI-API spricht (LM Studio, llama.cpp, LocalAI, vLLM…). Die Unterhaltungen verlassen dein Netzwerk
nicht, und du brauchst kein Gladys-Plus-Konto.
Echt getestet mit Ollama 0.40.15 (CPU, kleine Modelle). LM Studio, llama.cpp, LocalAI und vLLM sind über die OpenAI-API kompatibel, wurden aber nicht getestet: Rückmeldungen sind willkommen.
Was du bekommst
- Einen KI-Anbieter für Gladys 5.3: Sobald er unter Einstellungen → Künstliche Intelligenz gewählt ist, geht jede KI-Anfrage von Gladys an dein Modell, mit seinen Tools (Gerätesteuerung, Szenen…) und den Bildern.
- Ein Chat-Modell und ein optionales kleines Router-Modell (der Router ordnet jede Nachricht ein und muss innerhalb von 20 Sekunden antworten).
- Mit Ollama: Das Kontextfenster und die Zeit im Speicher eines Modells werden in Gladys eingestellt, und die Fähigkeiten des Modells werden geprüft (ein Modell ohne Tool-Aufrufe ergibt einen klaren Fehler statt einer erfundenen Antwort).
- Der Verbindungsstatus nennt den Server, die Modelle und die Modelle im Speicher.
- Ein Dashboard-Widget, zwei Szenenauslöser (Ausfall, Rückkehr) und zwei Szenenaktionen (Modell laden, Speicher freigeben).
Den Server einrichten
Ollama auf dem Rechner von Gladys (der Standardfall: lass die Adresse leer). Ollama lauscht nur auf 127.0.0.1,
was die Integrationen nicht erreichen. Lass es auf dem Gateway des Integrationsnetzwerks von Gladys lauschen,
172.30.0.1, das vom Rest deines Netzwerks aus unsichtbar bleibt. Unter Linux:
sudo systemctl edit ollama
## hinzufügen:
## [Unit]
## After=docker.service
## [Service]
## Environment="OLLAMA_HOST=172.30.0.1:11434"
sudo systemctl restart ollama
OLLAMA_HOST=172.30.0.1:11434 ollama pull qwen3:8b
Die Adresse 172.30.0.1 existiert, sobald Gladys eine Integration gestartet hat, daher After=docker.service.
Ein anderer Rechner (ein PC mit Grafikkarte): Starte Ollama mit OLLAMA_HOST=0.0.0.0 und gib
http://<seine Adresse>:11434 im Adressfeld ein. Ollama hat kein Passwort: Lass es in einem vertrauenswürdigen
Netzwerk.
Andere Server, einzugebende Adresse (endet mit /v1):
| Server | Adresse | Gut zu wissen |
|---|---|---|
| LM Studio | http://<Adresse>:1234/v1 | Reiter Developer, Server starten, „Serve on Local Network“ |
| llama.cpp | http://<Adresse>:8080/v1 | llama-server --jinja -c 16384 --host 0.0.0.0 (nötig für Tools) |
| LocalAI | http://<Adresse>:8080/v1 | API-Schlüssel, wenn API_KEY gesetzt ist |
| vLLM | http://<Adresse>:8000/v1 | --enable-auto-tool-choice und der Tool-Parser des Modells |
Bei diesen Servern stellst du das Kontextfenster auf dem Server ein (mindestens 16384 Tokens).
Ein Modell wählen
Der Assistent braucht ein Modell, das Tools aufruft (Liste auf ollama.com). Je größer das Modell, desto besser erstellt es Szenen, und desto mehr Speicher und Zeit braucht es. Richtwerte mit 16k Kontext:
| Rechner | Chat-Modell | Router-Modell |
|---|---|---|
| Mini-PC, 8 GB RAM, ohne Grafikkarte | qwen3:4b (etwa 4 GB, langsam) | qwen3:1.7b |
| 16 GB RAM, ohne Grafikkarte | qwen3:8b (etwa 7 GB) | qwen3:1.7b |
| Grafikkarte mit 8 bis 12 GB | qwen3:8b, llama3.1:8b | dasselbe Modell |
| Grafikkarte mit 16 bis 24 GB, Mac mit 32 GB | qwen3:14b, gpt-oss:20b | qwen3:4b |
Auf der CPU antwortet ein 8B-Modell in einigen Dutzend Sekunden, und das Laden dauert bis zu einer Minute: Halte es im Speicher (Einstellung unten) und lade es vor den Momenten, in denen du mit Gladys sprichst (Szenenaktion). Ein Raspberry Pi ist für den Assistenten zu langsam.
Konfiguration
- Serveradresse: leer für Ollama auf dem Rechner von Gladys (
http://172.30.0.1:11434/v1), sonst die Adresse des Servers. An eine reineAdresse:Portwird/v1angehängt. - API-Schlüssel: nur wenn der Server einen verlangt.
- Chat-Modell: sein genauer Name auf dem Server (die Schaltfläche Modelle auflisten zeigt sie), z. B.
qwen3:8b. - Router-Modell: ein kleines Modell für den Router; leer = das Chat-Modell.
- Kontextfenster (Ollama): standardmäßig 16384. Eine Szene zu erstellen sendet 10 bis 15 Tausend Tokens; unterhalb des Fensters schneidet Ollama still den Anfang der Anfrage ab, und der Assistent verliert seine Anweisungen. Die Protokolle warnen, wenn eine Anfrage größer ist.
- Modell im Speicher halten (Ollama): standardmäßig 30 Minuten, „Immer“ für sofortige Antworten.
- Chat-Modell nachdenken lassen (Ollama): für qwen3, deepseek-r1… Standardmäßig aus: auf der CPU viel langsamer.
- Zeitlimit der Antwort: standardmäßig 110 Sekunden (Gladys wartet 120). Der Router hat immer 18 Sekunden.
Wähle dann Lokale KI unter Einstellungen → Künstliche Intelligenz (oder mit der Schaltfläche der Konfigurationsseite).
Aktionen
- Modelle testen: bittet jedes Modell um eine Antwort aus einem Wort und zeigt die benötigte Zeit (die erste lädt auch das Modell).
- Modelle auflisten: zeigt die Namen der Modelle auf dem Server, zum Übernehmen in die Felder.
Szenen
Auslöser:
- Lokale KI: Der Assistent fällt aus: Server unerreichbar, Modell fehlt, zu langsam, zu wenig Speicher, Modell ohne Tool-Aufrufe… Einmal pro Ausfall, nicht bei jeder Nachricht. Variablen: Art, Meldung, Anfrage (chat, router, digest), Modell.
- Lokale KI: Der Assistent antwortet wieder: die erste Antwort nach einem Ausfall, mit den Minuten des Ausfalls.
Aktionen (nur Ollama):
- Lokale KI: Modell in den Speicher laden: z. B. beim Aufstehen, damit die erste Antwort schnell kommt. Ausgabe: die Ladezeit.
- Lokale KI: Speicher freigeben: entlädt alle Modelle, z. B. nachts. Ausgabe: die Zahl der entladenen Modelle.
Dashboard
Das Widget Lokale KI zeigt den Server, das Chat- und das Router-Modell (grün, wenn sie im Speicher sind), den belegten Speicher, die Zeit der letzten Antwort und den aktuellen Ausfall, mit zwei Schaltflächen (Ollama): Modell laden, Speicher freigeben. Eine Einstellung blendet die Schaltflächen aus.
Datenschutz
Alles bleibt zwischen Gladys und deinem Server: die Nachrichten, der Verlauf, die von den Tools gelesenen
Gerätezustände und die Bilder des Chats. Nichts davon landet in den Protokollen, auf keiner Stufe: nur Größen und
Zeiten. Ollama hat keine Authentifizierung: Jede in Gladys installierte Integration erreicht es über 172.30.0.1.
Fehlerbehebung
- „Der Modellserver … ist nicht erreichbar“: Ollama lauscht nur auf
127.0.0.1(siehe oben), oder es ist vor Docker gestartet. Vom Rechner von Gladys aus musscurl http://172.30.0.1:11434/api/versionantworten. - „… ist nicht auf dem Server“: Lade es (
ollama pull <Modell>) oder übernimm seinen genauen Namen mit Modelle auflisten. - „… kann keine Tools aufrufen“: Wähle ein Modell aus der Tools-Liste.
- „… hat nicht rechtzeitig geantwortet“ oder langsame Antworten: kleineres Modell, „Immer“ im Speicher, Router auf einem kleinen Modell.
- „Nicht genug Speicher“: kleineres Modell oder kleineres Kontextfenster.
- Der Assistent ignoriert das Haus oder erfindet Geräte: Kontextfenster zu klein (die Protokolle sagen es), oder das Modell ist zu klein, um den Anweisungen zu folgen.
- Bilder: Ein Modell ohne Vision antwortet, dass es sie nicht sieht (mit Ollama); um Kamerabilder zu beschreiben,
wähle ein Modell mit Vision und Tools (
qwen3-vl,mistral-small3.2…).
Konfigurationseinstellungen
Diese Einstellungen fragt Local AI in seinem Konfigurationsbildschirm in Gladys ab.
| Einstellung | Typ | Pflichtfeld | Beschreibung |
|---|---|---|---|
| Erste Schritte | section | Nein | Installiere Ollama auf dem Rechner von Gladys, lass es auf 172.30.0.1 lauschen (OLLAMA_HOST=172.30.0.1:11434), lade ein Modell, das Tools aufruft (ollama pull qwen3:8b), und gib unten seinen Namen ein; lass die Adresse leer. Wähle dann diese Integration unter Einstellungen, Künstliche Intelligenz. Jeder OpenAI-kompatible Server geht auch: Gib seine Adresse an. |
| Datenschutz und Hardware | section | Nein | Die Unterhaltungen bleiben in deinem Netzwerk. Ollama hat kein Passwort: Jede installierte Integration erreicht es über 172.30.0.1. Ein kleines Modell auf der CPU antwortet langsam und erstellt Szenen weniger zuverlässig: 16 GB RAM für ein 8B-Modell sind ein guter Anfang, eine Grafikkarte macht es viel schneller. |
| Serveradresse | string | Nein | Leer: Ollama auf dem Rechner von Gladys. Sonst die OpenAI-API-Adresse des Servers, z. B. http://192.168.1.20:1234/v1 für LM Studio, :8080/v1 für llama.cpp. |
| API-Schlüssel (optional) | secret | Nein | Nur wenn der Server einen verlangt (LocalAI, vLLM, ein Reverse-Proxy). Wird als Bearer-Token gesendet, nie protokolliert. |
| Chat-Modell | string | Ja | Beantwortet den Chat, erstellt die Szenen und schreibt den Wochenrückblick: Es muss Tools aufrufen können. Sein genauer Name auf dem Server; die Schaltfläche „Modelle auflisten“ unten zeigt sie. |
| Router-Modell (optional) | string | Nein | Ordnet jede Chat-Nachricht vor der Antwort ein und muss innerhalb von 20 Sekunden antworten: Ein kleines Modell passt (qwen3:1.7b). Leer: das Chat-Modell. |
| Kontextfenster (Tokens, Ollama) | number | Nein | Eine Szene zu erstellen sendet 10 bis 15 Tausend Tokens; darunter schneidet Ollama still den Anfang der Anfrage ab. Mehr braucht mehr Speicher. Andere Server stellen es selbst ein. |
| Modell im Speicher halten (Ollama) | select | Nein | Nach der letzten Anfrage. Ein Modell zu laden dauert Sekunden bis eine Minute: Länger heißt schnellere erste Antworten, aber der Speicher bleibt belegt. |
| Chat-Modell nachdenken lassen (Ollama) | boolean | Nein | Für Modelle, die nachdenken (qwen3, deepseek-r1…): bessere Szenen, aber viel langsamere Antworten auf der CPU. Der Router denkt nie nach. |
| Zeitlimit der Antwort (Sekunden) | number | Nein | Für das Chat-Modell; Gladys wartet höchstens 120 Sekunden. Der Router hat immer 18 Sekunden. |
So installierst du Local AI in Gladys
- Öffne in Gladys Integrationen: Local AI erscheint im Katalog neben den nativen Integrationen, mit einem Community-Badge.
- Klicke auf Installieren. Gladys lädt das Docker-Image (
ghcr.io/guim31/gladys-local-ai:1.0.0) herunter, startet es in einer vom Kern isolierten Sandbox und erzeugt die Oberfläche der Integration (Geräte, Erkennung und Konfiguration). - Öffne den Bildschirm Konfiguration der Integration, fülle die Einstellungen aus und speichere.
- Du kannst sie auch direkt über die URL ihres Repositorys installieren: https://github.com/guim31/gladys-local-ai.
Local AI benötigt Gladys >=5.3.0. Der Katalog in Gladys wird stündlich aktualisiert, eine neue Version ist also spätestens eine Stunde nach ihrer Veröffentlichung verfügbar.
Du nutzt Gladys noch nicht? Es ist kostenlos und Open Source: folge der Installationsanleitung, um loszulegen.
Über externe Integrationen
Local AI ist eine externe Integration: eine Community-Integration, die als Docker-Container verpackt und auf GitHub veröffentlicht wird. Gladys installiert sie mit einem Klick und führt sie in einer vom Kern isolierten Sandbox aus. Sie wird von guim31 veröffentlicht und gepflegt, nicht vom Gladys-Kernteam.
- Alle Integrationen durchsuchen, native und aus der Community
- Deine eigene externe Integration bauen und veröffentlichen
- Quellcode auf GitHub — Quelle dieser Dokumentation