Meine Erfahrung mit Openclaw und lokaler KI

Vielleicht das vorweg: Ich hab mich soviel damit beschäftigt, dass ich nicht mehr weiß, wo mir der Kopf steht. Deshalb vielleicht schon vorausgeschickt, es hat nicht so funktioniert, wie ich es mir vorgestellt habe und vieles habe ich leider schon wieder vergessen.

Wer Interesse hat, der kann die nötigen Config-Dateien verwenden, die müssen nur für den eigenen Rechner angepasst werden.

Erste Hürde, ein lokales LLM mit Openclaw zum Laufen bringen. Das ist jetzt möglich, weil man nun auch ein eigenes Setup dafür erzeugen kann.

Dem LLM eine Systemprompt via den .md Dateien einbauen. Es funktioniert, allerdings weiß ich nicht, wie ich das gemacht habe (das bezieht sich immer um ein hin und her mit ChatGPT). Aber ich glaube, es hatte mit dem Format zu tun, mit denen der Server und Openclaw miteinander kommunizieren. Das hat mich eigentlich die meiste Zeit gekostet. Schade, dass ich es vergessen habe. In den Configs funktioniert es aber jetzt.

Zum eigentlichen Grund, warum ich dann doch das Handtuch geworfen habe, muss ich die Tool Calls erwähnen. Quasi das, was die Verwendung von Openclaw extra interessant macht. Ich hatte diese noch nicht so im Fokus, weil ich dachte, wenn die Basis passt, passt der Rest auch. Aber nada. Es spielt offenbar auch eine Rolle, welches lokale Modell man verwendet. Mit Qwen 2.5 .. ging nur Halluzination davon. 3.5 konnte zumindest ausgeben, dass irgendwas mit Strings erwartet.

Vielleicht lässt sich das auch irgendwie umformatieren, ich weiß es grad nicht.
Irgendwann packt mich bestimmt wieder mal das Interesse.

Was braucht man?

Ein lokales Modell muss runtergeladen werden. zB
wget https://huggingface.com/.../Qwen_Qwen3.5-9B-Q4_K_M.gguf

um llama zu installieren (das kann aber anders sein, bei anderen)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CLBLAST=1

Den Server starten:

#!/bin/bash

openclaw gateway stop
echo "Openclaw Gateway wird beendet"

rm -f ~/.openclaw/agents/main/sessions/*

sleep 3

pkill -f llama-server

sleep 3

echo "Starte Modell..."

nohup /home/gerald/local_ai_agent/llama.cpp/build/bin/llama-server \
  -m /home/gerald/models/Qwen_Qwen3.5-9B-Q4_K_M.gguf \
  -c 32768 \
  --port 8080 \
  -ngl -1 \
  --cont-batching \
  --embeddings \
  > _qwen.log 2>&1 &

sleep 3

echo "Starte Openclaw Gateway..."
openclaw gateway

echo "fertig"

Diesen Server starten, Openclaw greift dann darauf zu.

den Installer
https://openclaw.ai/

Nach der Installation: openclaw onboard

Modell Einstellung:

Server: 127.0.0.1:8080/v1
Modell: Qwen_Qwen3.5-9B-Q4_K_M.gguf (muss halt so heißen, wie es gespeichert ist)
Provider: Custom
Token: Leer lassen

Telegram: Einen Token von Botfather organisieren. (muss man ein wenig herumklicken)
Bei openclaw onboard unter channels Telegram verwenden. Rest ergibt sich dann von selbst.

Ahja und die openclaw.json, so wie sie bei mir jetzt vorliegt und funktioniert (bis auf die Tool Calls)

{
  "meta": {
    "lastTouchedVersion": "2026.3.13",
    "lastTouchedAt": "2026-03-20T05:40:21.643Z"
  },
  "wizard": {
    "lastRunAt": "2026-03-20T05:40:21.628Z",
    "lastRunVersion": "2026.3.13",
    "lastRunCommand": "onboard",
    "lastRunMode": "local"
  },
  "models": {
    "mode": "merge",
    "providers": {
      "custom-127-0-0-1-8080": {
        "baseUrl": "http://127.0.0.1:8080/v1",
        "api": "openai-completions",
        "models": [
          {
            "id": "Qwen_Qwen3.5-9B-Q4_K_M.gguf",
            "name": "Qwen_Qwen3.5-9B-Q4_K_M.gguf (Custom Provider)",
            "reasoning": false,
            "input": [
              "text"
            ],
            "cost": {
              "input": 0,
              "output": 0,
              "cacheRead": 0,
              "cacheWrite": 0
            },
            "contextWindow": 16000,
            "maxTokens": 4096
          }
        ]
      }
    }
  },
  "agents": {
    "defaults": {
    "timeoutSeconds": 1200,
      "model": {
        "primary": "custom-127-0-0-1-8080/Qwen_Qwen3.5-9B-Q4_K_M.gguf"
      },
      "models": {
        "custom-127-0-0-1-8080/Qwen_Qwen3.5-9B-Q4_K_M.gguf": {
          "alias": "llama3_1"
        }
      },
      "workspace": "/home/gerald/.openclaw/workspace"
    }
  },
  "tools": {
    "profile": "full",
  },
  "commands": {
  "native": true,
  "nativeSkills": false,
  "restart": false,
  "ownerDisplay": "raw"
},
  "session": {
    "dmScope": "per-channel-peer"
  },
  "channels": {
    "telegram": {
      "enabled": true,
      "dmPolicy": "pairing",
      "botToken": "---------------------------------------------------DEIN BOT TOKEN hier---------------------------------------------------------",
      "groupPolicy": "allowlist",
      "streaming": "partial"
    }
  },
  "gateway": {
    "port": 18789,
    "mode": "local",
    "bind": "loopback",
    "auth": {
      "mode": "token",
      "token": "testtoken"
    },
    "tailscale": {
      "mode": "off",
      "resetOnExit": false
    },
    "nodes": {
      "denyCommands": [
        "camera.snap",
        "camera.clip",
        "screen.record",
        "contacts.add",
        "calendar.add",
        "reminders.add",
        "sms.send"
      ]
    }
  },
  "plugins": {
    "entries": {
      "telegram": {
        "enabled": true
      }
    }
  }
}

So sieht ein Versuch bei mir aus, einen Toolcall (nano-pdf) aufzurufen