Zurück zum Blog
KI & Automatisierung

RAG & KI-Wissensdatenbank für KMU Schweiz 2026: Tools, Anbieter, Roadmap

Retrieval Augmented Generation macht aus SharePoint, Confluence, Bexio und Tickets eine durchsuchbare KI-Wissensbasis – mit Zitaten, Berechtigungen und revDSG-konform. So bauen Schweizer KMU 2026 ihren Knowledge-Copilot in 12 Wochen.

Autor: Gian Marco Ma Juni 2026 14 Min. Lesezeit

Kurz vorweg: Wissen liegt in jedem KMU verteilt über fünf bis zehn Systeme. RAG bündelt es als KI-Antwort mit Quellverweis.

  • • RAG = LLM (Claude, GPT, Gemini) + Vektordatenbank mit Firmen-Dokumenten als Embeddings, Antworten mit Zitat-Links.
  • • 4–7 Stunden Suchzeit pro Mitarbeiter*in pro Monat sparen – schnelleres Onboarding, weniger Eskalationen.
  • • Tools 2026: Microsoft 365 Copilot mit Graph Connectors, Google Vertex AI Search, Glean, Mendable, Sana, n8n + Qdrant.
  • • Kosten für 50-Personen-KMU: CHF 200–600/Monat plus CHF 8'000–25'000 Einführung, ROI in 8–14 Monaten.
  • • Pflicht: Permission-Trimming, Zitat-Pflicht, Quellen-Whitelist, Re-Crawl, revDSG-Auftragsverarbeitung.

Was RAG genau macht – Architektur in 60 Sekunden

Retrieval Augmented Generation kombiniert zwei Bausteine: Erstens einen Index aller relevanten Firmen-Dokumente, in dem jeder Textabschnitt als hochdimensionaler Vektor (Embedding) gespeichert ist. Zweitens ein Sprachmodell wie GPT-4o, Claude Sonnet 4.6 oder Gemini 2.5 Pro, das die Frage des Nutzers nicht aus seinem Trainingswissen beantwortet, sondern aus den Textstellen, die das Retrieval-System aus dem Index als relevant zurückgibt.

Konkret: Die Frage "Welche Bedingungen gelten für Garantie-Verlängerungen ab CHF 5'000 Auftragsvolumen?" wird in einen Vektor übersetzt, im Index werden die fünf bis zehn ähnlichsten Textstellen gesucht (Verkaufs-AGB, interne Garantie-Richtlinie, Mailverlauf), und das LLM formuliert die Antwort inklusive Zitat-Links auf die Quellen. Das löst zwei klassische Probleme: Erstens halluziniert das Modell weniger, weil es auf Quellen verweist. Zweitens kennt es Firmenwissen, das nie in seinen Trainingsdaten war.

Anbieter-Vergleich 2026 für Schweizer KMU

AnbieterStärkeDatenstandortEinstieg/Monat
Microsoft 365 CopilotGraph Connectors für SharePoint/Outlook/TeamsEU Data BoundaryCHF 28/User
Microsoft Copilot StudioEigene Bots mit SharePoint/DataverseEU Data Boundaryab CHF 180
Google Vertex AI SearchBigQuery-/Drive-Connector, Multi-ModalRegion europe-west6 (Zürich)ab CHF 250
NotebookLM Plus (Google)Quellen-Notizbücher, Audio-OverviewsEU (Workspace-Region)CHF 20/User
GleanEnterprise Search 100+ ConnectorsEU-Region (Frankfurt)CHF 40–60/User
Mendable / Sana AISchnelle Setup-Zeit, gute UXEU-RegionCHF 30–55/User
OpenAI ChatGPT EnterpriseConnectors für Drive/SharePoint/SlackEU (Ireland)CHF 55/User
Self-Hosted (LlamaIndex + Qdrant)Volle Souveränität, beliebige QuellenCH (Exoscale, Infomaniak)CHF 200–800 Infra

Für die meisten Microsoft-Häuser ist Copilot mit Graph Connectors plus optional Copilot Studio die pragmatischste Wahl – die Berechtigungs-Vererbung aus SharePoint funktioniert nativ, und das Modell kennt M365-Daten bereits. Wer Bexio, Confluence oder Zendesk dazuholt, kommt mit Glean oder einer Self-Hosted-Lösung weiter.

Vektordatenbanken: Pinecone, Qdrant, Weaviate, Chroma

DatenbankModellDatenstandort CH/EUEignung
Pinecone ServerlessManaged Cloud (US-betrieben)EU-Region verfügbarSchnelle Skalierung, abrechnung pro Mio. Vektoren
Qdrant Cloud / Self-HostedManaged + Open SourceEU/Schweiz möglichStandard-Empfehlung für KMU
WeaviateManaged + Self-HostedEU-RegionHybrid-Suche (BM25 + Vektor)
ChromaOpen Source, sehr leichtWo gehostetPrototyping, kleinere Indizes
Azure AI SearchManaged in AzureSwitzerland NorthMicrosoft-Stack, integriert
BigQuery Vector SearchManaged in BigQueryeurope-west6 (Zürich)Google-Stack, integriert

Use Cases mit echtem ROI für KMU

  • Onboarding-Bot: Neue Mitarbeitende fragen das Handbuch, statt jede Frage an HR/IT zu eskalieren. Spart 8–14 Stunden HR-Zeit pro Onboarding.
  • Verkaufs-Copilot: Innendienst findet AGB, Preislisten, Referenzen und Konfigurations-Regeln in Sekunden – 25–40% schnellere Angebotszeit.
  • Support-Assistent: Tickets werden mit Bezug auf Wissensdatenbank und früheren Fällen vorgeschlagen, First-Contact-Resolution +20%.
  • Compliance-Antworten: revDSG-Anfragen, ISO-27001-Audit-Fragen, GeBüV-Klärungen aus dem zentralen Policy-Repository ohne Suchorgie.
  • Engineering-Wissen: Service-Techniker rufen Reparatur-Anleitungen, Sicherheits-Datenblätter und ähnliche Fälle direkt auf dem Tablet ab.
  • Marketing- und Content-Recycling: KI findet, was zu einem Thema schon einmal geschrieben wurde – beschleunigt Newsletter und Whitepaper-Produktion.

12-Wochen-Roadmap: KMU-Wissensbasis live

1

Woche 1–2: Use-Case-Fokus & Quellen-Inventar

Einen klaren Erst-Use-Case wählen (Onboarding, Verkauf oder Support) statt "alles-für-alle". Quellen pro Use-Case katalogisieren – SharePoint-Sites, Confluence-Spaces, Bexio-Modul, E-Mail-Archiv, Ticketsystem. Sensitivität klassifizieren (öffentlich, intern, vertraulich, geheim).

Ergebnis: Quellen-Whitelist und MVP-Use-Case definiert.
2

Woche 3–5: RAG-Plattform aufsetzen

Copilot Studio + Graph Connectors, Glean oder Self-Hosted LlamaIndex + Qdrant – je nach Stack. Test-Index mit 500–2'000 Dokumenten aus dem MVP-Use-Case, Permission-Mapping aus SharePoint übernehmen, Zitat-Pflicht im System-Prompt aktivieren.

Ergebnis: Pilot-Index läuft, Sicherheits-Review abgeschlossen.
3

Woche 6–8: Pilotgruppe & Feedback-Loop

15–25 Pilot-Nutzer*innen, wöchentliche Review der "schlechten Antworten". Häufigste Ursache: Quellen-Lücken oder Permission-Probleme – nicht das Modell. Quellen anpassen, Synonyme pflegen, schlechte Quellen entfernen.

Ergebnis: 75%+ "hilfreiche" Bewertungen, Müll-Quellen aussortiert.
4

Woche 9–12: Roll-out, Governance, Re-Crawl

Auf alle MA ausrollen, KI-Richtlinie aktualisieren (Inhalt-Prüfpflicht, Halluzinations-Hinweis), Monitoring auf "ungewöhnliche Suchanfragen", Re-Crawl-Intervall (täglich/wöchentlich) konfigurieren. DSFA für Hoch-Risiko-Quellen ergänzen.

Ergebnis: Wissensbasis produktiv, KI-Governance dokumentiert.

revDSG, EU AI Act und Berechtigungs-Hygiene

Eine KI-Wissensbasis enthält per Definition Personendaten – aus E-Mails, Tickets und HR-Dokumenten. Das revDSG verlangt einen Auftragsverarbeitungs-Vertrag (DPA) mit dem Anbieter, eine DSFA bei hohem Risiko und nachvollziehbare Berechtigungen. Microsoft, Google, Glean und OpenAI bieten EU/CH-Datenresidenz und revDSG-DPAs an – Self-Hosting auf Exoscale oder Infomaniak ist die strengste Variante.

Der EU AI Act stuft generative KI-Systeme als "limited risk" oder "minimal risk" ein – Pflicht ist Transparenz ("Sie sprechen mit KI"), Logging und Quellen-Belege. Hoch-Risiko-Anwendungen (HR-Entscheidungen, Bonität) brauchen eine erweiterte Konformitätsbewertung – das gilt auch für Schweizer KMU, sobald sie EU-Daten verarbeiten.

Die wichtigste technische Massnahme bleibt Permission-Trimming: Der Index muss die Berechtigungen aus SharePoint/Drive bei jeder Antwort prüfen, sonst sieht ein Praktikant Lohnlisten. Microsoft Copilot macht das nativ, Glean und Vertex AI Search ebenfalls – bei Self-Hosting muss man es selbst bauen.

Sieben Stolpersteine, die KMU teuer kommen

  • Permission-Leakage: Der Index ignoriert SharePoint-Berechtigungen – Lohnliste taucht in Verkaufsfragen auf. Vor Roll-out unbedingt Trim-Test mit echtem Praktikanten-Account.
  • Müll rein, Müll raus: 5 Jahre alte Versionen, persönliche OneDrives, eingescannte PDFs ohne OCR vergiften die Antworten. Quellen-Whitelist und Versions-Hygiene sind Pflicht.
  • Keine Zitate: Antwort ohne Quellverweis können Mitarbeitende nicht prüfen – Halluzination wird zur Aussage. System-Prompt muss Zitat-Pflicht erzwingen.
  • Single-Source-Falle: Nur SharePoint indexieren, aber Bexio, Confluence und Tickets weglassen – User merken, dass die Hälfte fehlt, Vertrauen weg.
  • Stale Index: Einmal indiziert, nie wieder – Antworten beziehen sich auf alte Policies. Re-Crawl mindestens wöchentlich, bei wichtigen Quellen täglich.
  • Kein Use-Case-Fokus: "Wir indexieren mal alles" endet im Niemandsland. MVP-Use-Case mit messbarem KPI starten.
  • Vergessene KI-Governance: Wer hat Zugriff auf Logs, wie lange werden Anfragen gespeichert, wie wird auf Halluzinationen reagiert? Ohne Policy keine Compliance.

Für besonders sensible Dokumente lässt sich die Wissensdatenbank auch mit dem Schweizer KI-Modell Apertus im eigenen Rechenzentrum betreiben. Soll dasselbe Wissen auch Kundinnen und Kunden auf der Website antworten, hilft unser Leitfaden zum KI-Chatbot für die Website.

Fazit: 2026 ist das Jahr, in dem KMU Wissens-RAG produktiv nutzen

Die Tools sind reif, die Preise im KMU-Budget, die Datenschutz-Pfade etabliert. Microsoft, Google, Glean und Self-Hosting decken vom 10-Personen-Startup bis zum 500-Personen-Mittelständler jede Profilkategorie ab. Wer 2026 keinen Knowledge-Copilot startet, verliert das Produktivitäts-Rennen gegen Mitbewerber, die ihre Wissens-Insel-Probleme gelöst haben.

Der grösste Hebel liegt nicht in der Modell-Wahl, sondern in Quellen-Hygiene und Berechtigungs-Disziplin. Wer einen klaren MVP-Use-Case wählt, die richtigen Quellen einbindet und Zitat-Pflicht durchsetzt, hat in 12 Wochen einen produktiven Wissens-Bot – und in 12 Monaten einen messbaren ROI im fünfstelligen Bereich.

KI-Wissensdatenbank für Ihr KMU

Wir konzipieren Ihren Knowledge-Copilot, wählen Tool und Vektordatenbank, integrieren SharePoint, Bexio und weitere Quellen und sichern Berechtigungen sowie revDSG-Konformität. Pilot in 6 Wochen, Roll-out in 12.

Beratung anfragen
Gian Marco Ma – CTO & Mitgründer von GIAR Digital GmbH

Über den Autor

Gian Marco Ma

CTO & Mitgründer, GIAR Digital GmbH

Gian Marco verantwortet bei GIAR Digital die technische Umsetzung – von IT-Infrastruktur und Microsoft 365 über individuelle Softwareentwicklung bis zur KI-Automatisierung für Schweizer KMU.

Veröffentlicht am

GIAR Digital GmbH

Passende Leistung: KI-Automatisierung

Dieser Beitrag stammt von GIAR Digital, Ihrem IT-Partner für Schweizer KMU aus dem Kanton Aargau. Was wir hier beschreiben, setzen wir auch konkret um – am direktesten passt dazu unsere Leistung KI-Automatisierung.

Weitere Leistungen