Kurz vorweg: Wissen liegt in jedem KMU verteilt über fünf bis zehn Systeme. RAG bündelt es als KI-Antwort mit Quellverweis.
- • RAG = LLM (Claude, GPT, Gemini) + Vektordatenbank mit Firmen-Dokumenten als Embeddings, Antworten mit Zitat-Links.
- • 4–7 Stunden Suchzeit pro Mitarbeiter*in pro Monat sparen – schnelleres Onboarding, weniger Eskalationen.
- • Tools 2026: Microsoft 365 Copilot mit Graph Connectors, Google Vertex AI Search, Glean, Mendable, Sana, n8n + Qdrant.
- • Kosten für 50-Personen-KMU: CHF 200–600/Monat plus CHF 8'000–25'000 Einführung, ROI in 8–14 Monaten.
- • Pflicht: Permission-Trimming, Zitat-Pflicht, Quellen-Whitelist, Re-Crawl, revDSG-Auftragsverarbeitung.
Was RAG genau macht – Architektur in 60 Sekunden
Retrieval Augmented Generation kombiniert zwei Bausteine: Erstens einen Index aller relevanten Firmen-Dokumente, in dem jeder Textabschnitt als hochdimensionaler Vektor (Embedding) gespeichert ist. Zweitens ein Sprachmodell wie GPT-4o, Claude Sonnet 4.6 oder Gemini 2.5 Pro, das die Frage des Nutzers nicht aus seinem Trainingswissen beantwortet, sondern aus den Textstellen, die das Retrieval-System aus dem Index als relevant zurückgibt.
Konkret: Die Frage "Welche Bedingungen gelten für Garantie-Verlängerungen ab CHF 5'000 Auftragsvolumen?" wird in einen Vektor übersetzt, im Index werden die fünf bis zehn ähnlichsten Textstellen gesucht (Verkaufs-AGB, interne Garantie-Richtlinie, Mailverlauf), und das LLM formuliert die Antwort inklusive Zitat-Links auf die Quellen. Das löst zwei klassische Probleme: Erstens halluziniert das Modell weniger, weil es auf Quellen verweist. Zweitens kennt es Firmenwissen, das nie in seinen Trainingsdaten war.
Anbieter-Vergleich 2026 für Schweizer KMU
| Anbieter | Stärke | Datenstandort | Einstieg/Monat |
|---|---|---|---|
| Microsoft 365 Copilot | Graph Connectors für SharePoint/Outlook/Teams | EU Data Boundary | CHF 28/User |
| Microsoft Copilot Studio | Eigene Bots mit SharePoint/Dataverse | EU Data Boundary | ab CHF 180 |
| Google Vertex AI Search | BigQuery-/Drive-Connector, Multi-Modal | Region europe-west6 (Zürich) | ab CHF 250 |
| NotebookLM Plus (Google) | Quellen-Notizbücher, Audio-Overviews | EU (Workspace-Region) | CHF 20/User |
| Glean | Enterprise Search 100+ Connectors | EU-Region (Frankfurt) | CHF 40–60/User |
| Mendable / Sana AI | Schnelle Setup-Zeit, gute UX | EU-Region | CHF 30–55/User |
| OpenAI ChatGPT Enterprise | Connectors für Drive/SharePoint/Slack | EU (Ireland) | CHF 55/User |
| Self-Hosted (LlamaIndex + Qdrant) | Volle Souveränität, beliebige Quellen | CH (Exoscale, Infomaniak) | CHF 200–800 Infra |
Für die meisten Microsoft-Häuser ist Copilot mit Graph Connectors plus optional Copilot Studio die pragmatischste Wahl – die Berechtigungs-Vererbung aus SharePoint funktioniert nativ, und das Modell kennt M365-Daten bereits. Wer Bexio, Confluence oder Zendesk dazuholt, kommt mit Glean oder einer Self-Hosted-Lösung weiter.
Vektordatenbanken: Pinecone, Qdrant, Weaviate, Chroma
| Datenbank | Modell | Datenstandort CH/EU | Eignung |
|---|---|---|---|
| Pinecone Serverless | Managed Cloud (US-betrieben) | EU-Region verfügbar | Schnelle Skalierung, abrechnung pro Mio. Vektoren |
| Qdrant Cloud / Self-Hosted | Managed + Open Source | EU/Schweiz möglich | Standard-Empfehlung für KMU |
| Weaviate | Managed + Self-Hosted | EU-Region | Hybrid-Suche (BM25 + Vektor) |
| Chroma | Open Source, sehr leicht | Wo gehostet | Prototyping, kleinere Indizes |
| Azure AI Search | Managed in Azure | Switzerland North | Microsoft-Stack, integriert |
| BigQuery Vector Search | Managed in BigQuery | europe-west6 (Zürich) | Google-Stack, integriert |
Use Cases mit echtem ROI für KMU
- Onboarding-Bot: Neue Mitarbeitende fragen das Handbuch, statt jede Frage an HR/IT zu eskalieren. Spart 8–14 Stunden HR-Zeit pro Onboarding.
- Verkaufs-Copilot: Innendienst findet AGB, Preislisten, Referenzen und Konfigurations-Regeln in Sekunden – 25–40% schnellere Angebotszeit.
- Support-Assistent: Tickets werden mit Bezug auf Wissensdatenbank und früheren Fällen vorgeschlagen, First-Contact-Resolution +20%.
- Compliance-Antworten: revDSG-Anfragen, ISO-27001-Audit-Fragen, GeBüV-Klärungen aus dem zentralen Policy-Repository ohne Suchorgie.
- Engineering-Wissen: Service-Techniker rufen Reparatur-Anleitungen, Sicherheits-Datenblätter und ähnliche Fälle direkt auf dem Tablet ab.
- Marketing- und Content-Recycling: KI findet, was zu einem Thema schon einmal geschrieben wurde – beschleunigt Newsletter und Whitepaper-Produktion.
12-Wochen-Roadmap: KMU-Wissensbasis live
Woche 1–2: Use-Case-Fokus & Quellen-Inventar
Einen klaren Erst-Use-Case wählen (Onboarding, Verkauf oder Support) statt "alles-für-alle". Quellen pro Use-Case katalogisieren – SharePoint-Sites, Confluence-Spaces, Bexio-Modul, E-Mail-Archiv, Ticketsystem. Sensitivität klassifizieren (öffentlich, intern, vertraulich, geheim).
Woche 3–5: RAG-Plattform aufsetzen
Copilot Studio + Graph Connectors, Glean oder Self-Hosted LlamaIndex + Qdrant – je nach Stack. Test-Index mit 500–2'000 Dokumenten aus dem MVP-Use-Case, Permission-Mapping aus SharePoint übernehmen, Zitat-Pflicht im System-Prompt aktivieren.
Woche 6–8: Pilotgruppe & Feedback-Loop
15–25 Pilot-Nutzer*innen, wöchentliche Review der "schlechten Antworten". Häufigste Ursache: Quellen-Lücken oder Permission-Probleme – nicht das Modell. Quellen anpassen, Synonyme pflegen, schlechte Quellen entfernen.
Woche 9–12: Roll-out, Governance, Re-Crawl
Auf alle MA ausrollen, KI-Richtlinie aktualisieren (Inhalt-Prüfpflicht, Halluzinations-Hinweis), Monitoring auf "ungewöhnliche Suchanfragen", Re-Crawl-Intervall (täglich/wöchentlich) konfigurieren. DSFA für Hoch-Risiko-Quellen ergänzen.
revDSG, EU AI Act und Berechtigungs-Hygiene
Eine KI-Wissensbasis enthält per Definition Personendaten – aus E-Mails, Tickets und HR-Dokumenten. Das revDSG verlangt einen Auftragsverarbeitungs-Vertrag (DPA) mit dem Anbieter, eine DSFA bei hohem Risiko und nachvollziehbare Berechtigungen. Microsoft, Google, Glean und OpenAI bieten EU/CH-Datenresidenz und revDSG-DPAs an – Self-Hosting auf Exoscale oder Infomaniak ist die strengste Variante.
Der EU AI Act stuft generative KI-Systeme als "limited risk" oder "minimal risk" ein – Pflicht ist Transparenz ("Sie sprechen mit KI"), Logging und Quellen-Belege. Hoch-Risiko-Anwendungen (HR-Entscheidungen, Bonität) brauchen eine erweiterte Konformitätsbewertung – das gilt auch für Schweizer KMU, sobald sie EU-Daten verarbeiten.
Die wichtigste technische Massnahme bleibt Permission-Trimming: Der Index muss die Berechtigungen aus SharePoint/Drive bei jeder Antwort prüfen, sonst sieht ein Praktikant Lohnlisten. Microsoft Copilot macht das nativ, Glean und Vertex AI Search ebenfalls – bei Self-Hosting muss man es selbst bauen.
Sieben Stolpersteine, die KMU teuer kommen
- Permission-Leakage: Der Index ignoriert SharePoint-Berechtigungen – Lohnliste taucht in Verkaufsfragen auf. Vor Roll-out unbedingt Trim-Test mit echtem Praktikanten-Account.
- Müll rein, Müll raus: 5 Jahre alte Versionen, persönliche OneDrives, eingescannte PDFs ohne OCR vergiften die Antworten. Quellen-Whitelist und Versions-Hygiene sind Pflicht.
- Keine Zitate: Antwort ohne Quellverweis können Mitarbeitende nicht prüfen – Halluzination wird zur Aussage. System-Prompt muss Zitat-Pflicht erzwingen.
- Single-Source-Falle: Nur SharePoint indexieren, aber Bexio, Confluence und Tickets weglassen – User merken, dass die Hälfte fehlt, Vertrauen weg.
- Stale Index: Einmal indiziert, nie wieder – Antworten beziehen sich auf alte Policies. Re-Crawl mindestens wöchentlich, bei wichtigen Quellen täglich.
- Kein Use-Case-Fokus: "Wir indexieren mal alles" endet im Niemandsland. MVP-Use-Case mit messbarem KPI starten.
- Vergessene KI-Governance: Wer hat Zugriff auf Logs, wie lange werden Anfragen gespeichert, wie wird auf Halluzinationen reagiert? Ohne Policy keine Compliance.
Für besonders sensible Dokumente lässt sich die Wissensdatenbank auch mit dem Schweizer KI-Modell Apertus im eigenen Rechenzentrum betreiben. Soll dasselbe Wissen auch Kundinnen und Kunden auf der Website antworten, hilft unser Leitfaden zum KI-Chatbot für die Website.
Fazit: 2026 ist das Jahr, in dem KMU Wissens-RAG produktiv nutzen
Die Tools sind reif, die Preise im KMU-Budget, die Datenschutz-Pfade etabliert. Microsoft, Google, Glean und Self-Hosting decken vom 10-Personen-Startup bis zum 500-Personen-Mittelständler jede Profilkategorie ab. Wer 2026 keinen Knowledge-Copilot startet, verliert das Produktivitäts-Rennen gegen Mitbewerber, die ihre Wissens-Insel-Probleme gelöst haben.
Der grösste Hebel liegt nicht in der Modell-Wahl, sondern in Quellen-Hygiene und Berechtigungs-Disziplin. Wer einen klaren MVP-Use-Case wählt, die richtigen Quellen einbindet und Zitat-Pflicht durchsetzt, hat in 12 Wochen einen produktiven Wissens-Bot – und in 12 Monaten einen messbaren ROI im fünfstelligen Bereich.
KI-Wissensdatenbank für Ihr KMU
Wir konzipieren Ihren Knowledge-Copilot, wählen Tool und Vektordatenbank, integrieren SharePoint, Bexio und weitere Quellen und sichern Berechtigungen sowie revDSG-Konformität. Pilot in 6 Wochen, Roll-out in 12.
Beratung anfragen