Flowise: Eigener KI-Chatbot, ohne eine Zeile Code
Praxis

Flowise: Eigener KI-Chatbot, ohne eine Zeile Code

Mit Flowise klickst du dir einen Chatbot zusammen, der deine eigenen Dokumente kennt — Qdrant als Gedächtnis, ein Modell davor, kein Programmieren nötig.

Zu viele Fachwörter?→ Im Glossar nachschlagen

Kürzlich haben wir Qdrant gestartet — einen Vektorstore, der nach Bedeutung sucht. Schön und gut, aber bisher ist er ein leeres Regal. Heute stellen wir einen Chatbot davor, der dieses Regal benutzt. Und das Beste: ohne eine einzige Zeile Code.

Das Werkzeug dafür heißt Flowise. Open Source, läuft bei dir, und du baust damit komplette KI-Abläufe, indem du Kästchen verbindest — wie ein Flussdiagramm, nur dass es am Ende wirklich funktioniert.

Was Flowise ist

Stell dir ein Whiteboard vor, auf dem du Bausteine hin- und herschiebst: einer lädt Dokumente, einer zerlegt sie, einer spricht mit Qdrant, einer ist das Chat-Modell. Du ziehst Verbindungslinien zwischen ihnen — und fertig ist die KI-Anwendung. Genau das ist Flowise: ein visueller Baukasten für Sprachmodell-Workflows.

Es ist quelloffen (Apache-2.0-Lizenz), läuft in Docker auf deinem eigenen Rechner, und kostet selbst nichts. Bezahlen musst du höchstens das Modell dahinter — und auch das nur, wenn du ein bezahltes nimmst statt eines lokalen.

Alles auf einmal: eine docker-compose

Flowise, Qdrant und ein lokales Modell willst du nicht einzeln von Hand starten. Eine kleine docker-compose.yml bringt alle drei zusammen:

services:
  flowise:
    image: flowiseai/flowise
    container_name: flowise
    restart: unless-stopped
    ports:
      - "3000:3000"
    volumes:
      - ./flowise:/root/.flowise
  qdrant:
    image: qdrant/qdrant
    container_name: qdrant
    restart: unless-stopped
    ports:
      - "6333:6333"
    volumes:
      - ./qdrant:/qdrant/storage
  ollama:
    image: ollama/ollama
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama:/root/.ollama

docker compose up -d — drei Dienste, ein Befehl. Flowise erreichst du auf http://localhost:3000, der Rest wartet im Hintergrund. Wichtig: Innerhalb von Compose sprechen sich die Dienste über ihren Namen an — in Flowise trägst du als Qdrant-Adresse http://qdrant:6333 ein und als Ollama-Adresse http://ollama:11434, nicht localhost.

Das ist mit Absicht das absolute Minimal-Beispiel: container_name und eine Restart-Regel sind drin, aber Umgebungsvariablen für Logins, Healthchecks und weitere Einstellungen kommen je nach Bedarf dazu — spätestens im produktiven Einsatz wird's etwas fummeliger. Aber hey: Die finale docker-compose.yml baut dir auch Claude Code, ChatGPT oder Mistral zusammen — frag sie einfach danach.

Übrigens: Wenn Chat- und Embedding-Modell ohnehin über einen bezahlten Anbieter laufen, kannst du den ollama-Teil aus der Compose streichen. Ehrlich gesagt ist Ollama auf normaler Hardware fürs Chatten oft zu langsam — und beim Chatbot wartet niemand zwei Minuten auf eine Antwort. Zum kostenlosen Ausprobieren ist es trotzdem ideal: erst lokal spielen, später auf eine schnelle API umstellen.

Dein erster Chatbot — drei Knoten reichen

Klingt nach viel Bastelei, ist es nicht. Für einen Bot, der deine Dokumente kennt, brauchst du im Kern genau drei Bausteine:

  1. Qdrant — der Vektorstore aus dem letzten Mal, mit einem Embedding-Baustein dran, der die Texte einbettet.
  2. Chat-Modell — formuliert die Antwort (lokal über Ollama oder per API).
  3. Conversational Retrieval QA Chain — das Herzstück: nimmt die Frage, lässt Qdrant die passenden Textstellen suchen und reicht sie ans Modell.

Drei Kästchen, ein paar Linien, fertig. Was im Qdrant-Post ein Python-Skript war, ist hier ein Bild, das du anklickst.

Und wer nicht bei null anfangen will: Flowise bringt einen Marktplatz mit fertigen Vorlagen mit — darunter eine „Documents Q&A (RAG)", die genau dieses Gerüst schon zusammengeklickt hat. Laden, eigene Bausteine eintragen, läuft.

Im Betrieb sind es zwei Phasen: Erst füllst du Qdrant einmal mit deinen Dokumenten (das „Indexieren"), danach beantwortet der Bot Fragen — er sucht die passenden Stellen und antwortet auf deren Basis statt aus dem Bauch heraus. Das ist RAG, zum Anklicken.

Gib dem Bot eine Rolle: der System-Prompt

Eine Sache fehlt noch zum brauchbaren Bot: der System-Prompt. Das ist die Anweisung, die der Bot bei jeder Frage im Hinterkopf hat — wer er ist, was er beantwortet und vor allem, was nicht. In Flowise trägst du ihn direkt am Chain- oder Modell-Baustein ein. Ein kleines Beispiel:

Du bist der Support-Assistent für mein Vereins-Handbuch. Beantworte Fragen nur auf Basis der bereitgestellten Dokumente. Steht die Antwort nicht drin, sag ehrlich „Das weiß ich nicht" — erfinde nichts. Keine Rechts- oder Medizinberatung. Antworte kurz, freundlich und auf Deutsch.

Gerade das „erfinde nichts" ist Gold wert: Es hält den Bot bei den Fakten aus deinen Dokumenten und bremst das Halluzinieren.

Und welche Unterlagen fütterst du ihm? Bei so einem Vereins-Bot zum Beispiel: die Vereinssatzung, die Hausordnung, das Corporate Design (Logo-Regeln, Farben, Schriften), die — ohnehin öffentlichen — Sitzungsprotokolle und das Organigramm. Einmal in Qdrant eingebettet, beantwortet der Bot mit dem Prompt von oben Fragen wie „Wer sitzt im Vorstand?" oder „Wie kündige ich meine Mitgliedschaft?" — und zwar aus euren Dokumenten, nicht aus dem Netz.

Wer ihn öffentlich stellt, schreibt in den System-Prompt auch rein, worüber er nicht reden soll.

Was du dafür brauchst

Drei Zutaten, die du aus den letzten Posts schon kennst:

  • Qdrant — als Gedächtnis. Läuft schon.
  • Ein Embedding-Modell — lokal über Ollama (nomic-embed-text & Co.) oder per API. Wichtig: dasselbe Modell beim Indexieren und beim Fragen, sonst passen die Zahlen nicht zusammen.
  • Ein Chat-Modell — das, was die Antwort formuliert. Flowise spricht mit über hundert Modellen: lokal via Ollama, oder Claude, GPT, Gemini & Co. per API.

Wer alles lokal fährt, hat einen Chatbot, bei dem kein einziges Dokument den eigenen Rechner verlässt. Für vertrauliche Inhalte das stärkste Argument überhaupt.

Was kostet das?

Flowise selbst: nichts. Qdrant: nichts. Es bleiben die Modelle. Lokal über Ollama zahlst du nur den Strom. Bei einem API-Modell fällt ein Preis pro Anfrage an — und der ist kleiner, als man denkt.

Eine grobe Rechnung für eine Chatbot-Frage mit einem günstigen Modell (etwa Claude Haiku, zum aktuellen Stand rund 1 US-Dollar pro Million Token rein und 5 raus): Die Frage plus die gefundenen Textstellen sind vielleicht 2.500 Token rein, die Antwort 300 Token raus — macht rund einen halben Cent pro Frage. Das Einbetten der Dokumente ist, wie im Qdrant-Post vorgerechnet, noch billiger. Für 5 Euro Embedding-Guthaben bettest du ganze Bücherregale ein.

Noch günstiger geht's mit einem Billiganbieter wie MiniMax: Dort bekommst du zum aktuellen Stand für rund 20 Euro etwa 1,7 Milliarden Token — bei gleichmäßig verteilter Last. Bei den ~2.500 Token pro Anfrage von oben sind das grob 680.000 Fragen für 20 Euro. Wer so viel Verkehr auf seinem Chatbot hat, sollte allerdings ohnehin über größere Lösungen nachdenken und mit Profis reden. 😉

Online stellen — und was das heißt

Auf deinem PC läuft der Bot nur für dich. Spannend wird's, wenn du das Chat-Fenster, das Flowise mitbringt, per JavaScript-Schnipsel in eine Website einbaust — dann kann jeder mit ihm reden. Nur: Dafür muss Flowise auf einem Server laufen, der durchläuft. Dein Heim-PC ist der falsche Ort.

Was dann dazugehört:

  • Ein kleiner V-Server (VPS). Passende gibt's zum aktuellen Stand ab rund 5 Euro im Monat — genug für Flowise und Qdrant, wenn Chat- und Embedding-Modell per API kommen. Willst du auch ein kleines Embedding-Modell lokal über Ollama fahren, plan eher ab 10 Euro ein (mehr Arbeitsspeicher). Rechne aber gegen: Für 5 Euro Embedding-Guthaben bei einem API-Anbieter bekommst du enorm viele Token. Lokal lohnt sich erst bei viel Volumen — oder wenn die Daten den Server partout nicht verlassen dürfen.
  • Passwörter auf alles. Qdrant und Flowise starten offen, ohne Login. Im Internet ist das fahrlässig — beide gehören hinter ein Passwort bzw. einen API-Key.
  • Ein Reverse Proxy davor (zum Beispiel Nginx, läuft ebenfalls im Docker), der die Verschlüsselung (HTTPS) übernimmt und nur das nach außen durchlässt, was wirklich raus soll.

Einrichtungsaufwand: je nach Vorkenntnissen ein bis drei Stunden. Kein Hexenwerk — aber auch kein Ein-Klick.

Lohnt sich das für dich?

Wenn du einmalig eine PDF befragen willst: Nimm OpenWebUI, das ist schneller eingerichtet. Flowise lohnt sich, sobald du etwas Eigenes bauen willst, das bleibt — einen Support-Bot für deine Doku, einen Assistenten für deine Notizen, eine Wissensbasis mit Chat-Fenster auf der eigenen Seite.

Damit schließt sich der Bogen: vom „Was ist ein Vektorstore" über Qdrant als Maschine bis zum fertigen Chatbot, der deine Inhalte wirklich kennt. Starte Flowise, zieh die ersten drei Kästchen — und schau, wie aus ein paar Linien ein Gesprächspartner wird.