Kurz vorweg: Wissen liegt in jedem KMU verteilt über fünf bis zehn Systeme. RAG bündelt es als KI-Antwort mit Quellverweis.
- • RAG = LLM (Claude, GPT, Gemini) + Vektordatenbank mit Firmen-Dokumenten als Embeddings, Antworten mit Zitat-Links.
- • 4–7 Stunden Suchzeit pro Mitarbeiter*in pro Monat sparen – schnelleres Onboarding, weniger Eskalationen.
- • Tools 2026: Microsoft 365 Copilot mit Graph Connectors, Google Vertex AI Search, Glean, Mendable, Sana, n8n + Qdrant.
- • Kosten für 50-Personen-KMU: CHF 200–600/Monat plus CHF 8'000–25'000 Einführung, ROI in 8–14 Monaten.
- • Pflicht: Permission-Trimming, Zitat-Pflicht, Quellen-Whitelist, Re-Crawl, revDSG-Auftragsverarbeitung.
Was RAG genau macht – Architektur in 60 Sekunden
Retrieval Augmented Generation kombiniert zwei Bausteine: Erstens einen Index aller relevanten Firmen-Dokumente, in dem jeder Textabschnitt als hochdimensionaler Vektor (Embedding) gespeichert ist. Zweitens ein Sprachmodell wie GPT-4o, Claude Sonnet 4.6 oder Gemini 2.5 Pro, das die Frage des Nutzers nicht aus seinem Trainingswissen beantwortet, sondern aus den Textstellen, die das Retrieval-System aus dem Index als relevant zurückgibt.
Konkret: Die Frage "Welche Bedingungen gelten für Garantie-Verlängerungen ab CHF 5'000 Auftragsvolumen?" wird in einen Vektor übersetzt, im Index werden die fünf bis zehn ähnlichsten Textstellen gesucht (Verkaufs-AGB, interne Garantie-Richtlinie, Mailverlauf), und das LLM formuliert die Antwort inklusive Zitat-Links auf die Quellen. Das löst zwei klassische Probleme: Erstens halluziniert das Modell weniger, weil es auf Quellen verweist. Zweitens kennt es Firmenwissen, das nie in seinen Trainingsdaten war.
Anbieter-Vergleich 2026 für Schweizer KMU
| Anbieter | Stärke | Datenstandort | Einstieg/Monat |
|---|---|---|---|
| Microsoft 365 Copilot | Graph Connectors für SharePoint/Outlook/Teams | EU Data Boundary | CHF 28/User |
| Microsoft Copilot Studio | Eigene Bots mit SharePoint/Dataverse | EU Data Boundary | ab CHF 180 |
| Google Vertex AI Search | BigQuery-/Drive-Connector, Multi-Modal | Region europe-west6 (Zürich) | ab CHF 250 |
| NotebookLM Plus (Google) | Quellen-Notizbücher, Audio-Overviews | EU (Workspace-Region) | CHF 20/User |
| Glean | Enterprise Search 100+ Connectors | EU-Region (Frankfurt) | CHF 40–60/User |
| Mendable / Sana AI | Schnelle Setup-Zeit, gute UX | EU-Region | CHF 30–55/User |
| OpenAI ChatGPT Enterprise | Connectors für Drive/SharePoint/Slack | EU (Ireland) | CHF 55/User |
| Self-Hosted (LlamaIndex + Qdrant) | Volle Souveränität, beliebige Quellen | CH (Exoscale, Infomaniak) | CHF 200–800 Infra |
Für die meisten Microsoft-Häuser ist Copilot mit Graph Connectors plus optional Copilot Studio die pragmatischste Wahl – die Berechtigungs-Vererbung aus SharePoint funktioniert nativ, und das Modell kennt M365-Daten bereits. Wer Bexio, Confluence oder Zendesk dazuholt, kommt mit Glean oder einer Self-Hosted-Lösung weiter.
Vektordatenbanken: Pinecone, Qdrant, Weaviate, Chroma
| Datenbank | Modell | Datenstandort CH/EU | Eignung |
|---|---|---|---|
| Pinecone Serverless | Managed Cloud (US-betrieben) | EU-Region verfügbar | Schnelle Skalierung, abrechnung pro Mio. Vektoren |
| Qdrant Cloud / Self-Hosted | Managed + Open Source | EU/Schweiz möglich | Standard-Empfehlung für KMU |
| Weaviate | Managed + Self-Hosted | EU-Region | Hybrid-Suche (BM25 + Vektor) |
| Chroma | Open Source, sehr leicht | Wo gehostet | Prototyping, kleinere Indizes |
| Azure AI Search | Managed in Azure | Switzerland North | Microsoft-Stack, integriert |
| BigQuery Vector Search | Managed in BigQuery | europe-west6 (Zürich) | Google-Stack, integriert |
Use Cases mit echtem ROI für KMU
- Onboarding-Bot: Neue Mitarbeitende fragen das Handbuch, statt jede Frage an HR/IT zu eskalieren. Spart 8–14 Stunden HR-Zeit pro Onboarding.
- Verkaufs-Copilot: Innendienst findet AGB, Preislisten, Referenzen und Konfigurations-Regeln in Sekunden – 25–40% schnellere Angebotszeit.
- Support-Assistent: Tickets werden mit Bezug auf Wissensdatenbank und früheren Fällen vorgeschlagen, First-Contact-Resolution +20%.
- Compliance-Antworten: revDSG-Anfragen, ISO-27001-Audit-Fragen, GeBüV-Klärungen aus dem zentralen Policy-Repository ohne Suchorgie.
- Engineering-Wissen: Service-Techniker rufen Reparatur-Anleitungen, Sicherheits-Datenblätter und ähnliche Fälle direkt auf dem Tablet ab.
- Marketing- und Content-Recycling: KI findet, was zu einem Thema schon einmal geschrieben wurde – beschleunigt Newsletter und Whitepaper-Produktion.
12-Wochen-Roadmap: KMU-Wissensbasis live
Woche 1–2: Use-Case-Fokus & Quellen-Inventar
Einen klaren Erst-Use-Case wählen (Onboarding, Verkauf oder Support) statt "alles-für-alle". Quellen pro Use-Case katalogisieren – SharePoint-Sites, Confluence-Spaces, Bexio-Modul, E-Mail-Archiv, Ticketsystem. Sensitivität klassifizieren (öffentlich, intern, vertraulich, geheim).
Woche 3–5: RAG-Plattform aufsetzen
Copilot Studio + Graph Connectors, Glean oder Self-Hosted LlamaIndex + Qdrant – je nach Stack. Test-Index mit 500–2'000 Dokumenten aus dem MVP-Use-Case, Permission-Mapping aus SharePoint übernehmen, Zitat-Pflicht im System-Prompt aktivieren.
Woche 6–8: Pilotgruppe & Feedback-Loop
15–25 Pilot-Nutzer*innen, wöchentliche Review der "schlechten Antworten". Häufigste Ursache: Quellen-Lücken oder Permission-Probleme – nicht das Modell. Quellen anpassen, Synonyme pflegen, schlechte Quellen entfernen.
Woche 9–12: Roll-out, Governance, Re-Crawl
Auf alle MA ausrollen, KI-Richtlinie aktualisieren (Inhalt-Prüfpflicht, Halluzinations-Hinweis), Monitoring auf "ungewöhnliche Suchanfragen", Re-Crawl-Intervall (täglich/wöchentlich) konfigurieren. DSFA für Hoch-Risiko-Quellen ergänzen.
revDSG, EU AI Act und Berechtigungs-Hygiene
Eine KI-Wissensbasis enthält per Definition Personendaten – aus E-Mails, Tickets und HR-Dokumenten. Das revDSG verlangt einen Auftragsverarbeitungs-Vertrag (DPA) mit dem Anbieter, eine DSFA bei hohem Risiko und nachvollziehbare Berechtigungen. Microsoft, Google, Glean und OpenAI bieten EU/CH-Datenresidenz und revDSG-DPAs an – Self-Hosting auf Exoscale oder Infomaniak ist die strengste Variante.
Der EU AI Act stuft generative KI-Systeme als "limited risk" oder "minimal risk" ein – Pflicht ist Transparenz ("Sie sprechen mit KI"), Logging und Quellen-Belege. Hoch-Risiko-Anwendungen (HR-Entscheidungen, Bonität) brauchen eine erweiterte Konformitätsbewertung – das gilt auch für Schweizer KMU, sobald sie EU-Daten verarbeiten.
Die wichtigste technische Massnahme bleibt Permission-Trimming: Der Index muss die Berechtigungen aus SharePoint/Drive bei jeder Antwort prüfen, sonst sieht ein Praktikant Lohnlisten. Microsoft Copilot macht das nativ, Glean und Vertex AI Search ebenfalls – bei Self-Hosting muss man es selbst bauen.
Sieben Stolpersteine, die KMU teuer kommen
- Permission-Leakage: Der Index ignoriert SharePoint-Berechtigungen – Lohnliste taucht in Verkaufsfragen auf. Vor Roll-out unbedingt Trim-Test mit echtem Praktikanten-Account.
- Müll rein, Müll raus: 5 Jahre alte Versionen, persönliche OneDrives, eingescannte PDFs ohne OCR vergiften die Antworten. Quellen-Whitelist und Versions-Hygiene sind Pflicht.
- Keine Zitate: Antwort ohne Quellverweis können Mitarbeitende nicht prüfen – Halluzination wird zur Aussage. System-Prompt muss Zitat-Pflicht erzwingen.
- Single-Source-Falle: Nur SharePoint indexieren, aber Bexio, Confluence und Tickets weglassen – User merken, dass die Hälfte fehlt, Vertrauen weg.
- Stale Index: Einmal indiziert, nie wieder – Antworten beziehen sich auf alte Policies. Re-Crawl mindestens wöchentlich, bei wichtigen Quellen täglich.
- Kein Use-Case-Fokus: "Wir indexieren mal alles" endet im Niemandsland. MVP-Use-Case mit messbarem KPI starten.
- Vergessene KI-Governance: Wer hat Zugriff auf Logs, wie lange werden Anfragen gespeichert, wie wird auf Halluzinationen reagiert? Ohne Policy keine Compliance.
Fazit: 2026 ist das Jahr, in dem KMU Wissens-RAG produktiv nutzen
Die Tools sind reif, die Preise im KMU-Budget, die Datenschutz-Pfade etabliert. Microsoft, Google, Glean und Self-Hosting decken vom 10-Personen-Startup bis zum 500-Personen-Mittelständler jede Profilkategorie ab. Wer 2026 keinen Knowledge-Copilot startet, verliert das Produktivitäts-Rennen gegen Mitbewerber, die ihre Wissens-Insel-Probleme gelöst haben.
Der grösste Hebel liegt nicht in der Modell-Wahl, sondern in Quellen-Hygiene und Berechtigungs-Disziplin. Wer einen klaren MVP-Use-Case wählt, die richtigen Quellen einbindet und Zitat-Pflicht durchsetzt, hat in 12 Wochen einen produktiven Wissens-Bot – und in 12 Monaten einen messbaren ROI im fünfstelligen Bereich.
KI-Wissensdatenbank für Ihr KMU
Wir konzipieren Ihren Knowledge-Copilot, wählen Tool und Vektordatenbank, integrieren SharePoint, Bexio und weitere Quellen und sichern Berechtigungen sowie revDSG-Konformität. Pilot in 6 Wochen, Roll-out in 12.
Beratung anfragen