KI im Mittelstand: Wann sie sich lohnt – und wann nicht

Kaum ein Thema wird derzeit so laut diskutiert wie Künstliche Intelligenz. Kleine und mittlere Unternehmen hören von allen Seiten, sie müssten „jetzt auf KI setzen“, um nicht abgehängt zu werden. Gleichzeitig berichten viele Betriebe, dass erste Versuche mit Chatbots oder KI-Tools wenig gebracht haben – außer einer weiteren Abo-Rechnung.

Die ehrliche Antwort liegt dazwischen: KI kann im Mittelstand sehr nützlich sein, aber nicht überall und nicht automatisch. Dieser Ratgeber hilft Ihnen, die Spreu vom Weizen zu trennen.

Erst das Problem, dann die Technik

Am Anfang eines sinnvollen KI-Projekts steht nie die Frage „Wo können wir KI einsetzen?“, sondern: „Welche Aufgabe kostet uns heute unverhältnismäßig viel Zeit oder Nerven?“ Erst wenn dieses Problem klar beschrieben ist, lässt sich beurteilen, ob KI die richtige Lösung ist – oder ob es einfacher geht.

Hilfreiche Fragen für diese Prüfung:

• Wie oft fällt die Aufgabe an, und wie lange dauert sie jeweils?
• Wie viel kostet sie pro Monat, wenn man die Arbeitszeit ehrlich zusammenrechnet?
• Was passiert, wenn das Ergebnis einmal falsch ist?
• Gibt es bereits feste Regeln, nach denen die Aufgabe erledigt wird?

Wo KI typischerweise echten Mehrwert bringt

Sprachmodelle sind stark, wenn es um unstrukturierte Texte geht – also um Inhalte, die sich nicht in feste Regeln pressen lassen. Gute Einsatzfelder sind zum Beispiel:

• Dokumente zusammenfassen und durchsuchen: lange Verträge, Protokolle oder interne Handbücher schneller erschließen.
• Eingehende Anfragen vorsortieren: E-Mails nach Thema oder Dringlichkeit einordnen und an die richtige Stelle weiterleiten.
• Entwürfe erstellen: Antwortvorschläge, Angebotstexte oder Stellenanzeigen, die ein Mensch anschließend prüft und anpasst.
• Wissen zugänglich machen: Mitarbeitende fragen in natürlicher Sprache nach internen Informationen, statt Ordnerstrukturen zu durchsuchen.

Gemeinsam ist diesen Beispielen: Die KI unterstützt, ein Mensch behält die Kontrolle über das Ergebnis.

Wann KI sich eher nicht lohnt

Genauso wichtig ist es, die Grenzen zu kennen. Zurückhaltung ist angebracht, wenn:

• Fehler teuer werden: Sprachmodelle können überzeugend klingende, aber falsche Aussagen erzeugen. Wo jede Zahl stimmen muss – etwa in Rechnungen oder rechtlich bindenden Dokumenten –, ist ohne menschliche Prüfung Vorsicht geboten.
• die Aufgabe klaren Regeln folgt: Dann ist klassische Automatisierung meist günstiger, schneller und zuverlässiger.
• die Datenbasis fehlt: Wenn Informationen verstreut, veraltet oder widersprüchlich sind, liefert auch die beste KI keine guten Antworten.
• der Nutzen nur vage ist: „Wir sollten auch etwas mit KI machen“ ist kein Projektziel.

Klassische Automatisierung: oft die bessere Wahl

Ein großer Teil der Aufgaben, die in Unternehmen als „KI-Projekt“ diskutiert werden, lässt sich mit klassischer Prozessautomatisierung lösen: Rechnungen aus einem Postfach automatisch ablegen, Eingangsbestätigungen verschicken, Daten zwischen zwei Programmen abgleichen oder Dokumente nach festen Regeln archivieren.

Solche Automatisierungen arbeiten nachvollziehbar und berechenbar. Sie liefern bei gleichen Eingaben immer das gleiche Ergebnis, lassen sich gut testen und kommen ohne teure Rechenleistung aus. Werkzeuge wie n8n oder kleine Python-Skripte reichen dafür häufig völlig aus. Erst wenn dabei Texte verstanden oder frei formuliert werden müssen, kann ein KI-Baustein sinnvoll ergänzt werden.

Datenschutz: Wohin gehen Ihre Daten?

Bei vielen KI-Diensten werden Eingaben an Server des Anbieters übertragen, häufig außerhalb der EU. Sobald personenbezogene Daten, Patientendaten, Mandantendaten oder Geschäftsgeheimnisse im Spiel sind, sollten Sie genau prüfen:

• Wo werden die Daten verarbeitet und gespeichert?
• Werden Eingaben zum Training der Modelle verwendet?
• Gibt es einen Auftragsverarbeitungsvertrag, und reicht er für Ihre Daten aus?
• Wer im Unternehmen darf welche Daten in welches Tool eingeben?

Hinzu kommt die EU-KI-Verordnung (AI Act), die Unternehmen beim Einsatz von KI zusätzliche Pflichten auferlegen kann – zum Beispiel, dass Mitarbeitende im Umgang mit KI ausreichend geschult sind. Welche Anforderungen konkret für Sie gelten, hängt vom Einsatzzweck ab; im Zweifel sollten Sie das rechtlich prüfen lassen.

Lokale KI-Modelle als Alternative

Eine Möglichkeit, die Datenschutzfrage elegant zu lösen, sind lokale Sprachmodelle. Inzwischen gibt es leistungsfähige, frei verfügbare Modelle, die auf eigener Hardware im Unternehmen laufen. Die Daten verlassen dabei das Haus nicht.

Ehrlich gesagt hat das auch Grenzen: Lokale Modelle brauchen passende Hardware, in der Regel eine leistungsfähige Grafikkarte, und sie erreichen nicht in jeder Aufgabe die Qualität der größten Cloud-Modelle. Für klar umrissene Aufgaben wie das Zusammenfassen interner Dokumente oder das Vorsortieren von Anfragen sind sie aber oft mehr als ausreichend.

Checkliste: Lohnt sich KI bei uns?

• Das Problem ist konkret beschrieben, inklusive Häufigkeit und Zeitaufwand.
• Es wurde geprüft, ob klassische Automatisierung die Aufgabe lösen kann.
• Klar ist, welche Daten verarbeitet werden und wo das geschieht.
• Ein Mensch prüft die Ergebnisse, wo Fehler Folgen haben können.
• Es gibt einen kleinen, messbaren Pilot statt eines Großprojekts.
• Die laufenden Kosten (Abos, Hardware, Betreuung) sind realistisch eingeplant.
• Mitarbeitende sind eingebunden und wissen, wie sie das Werkzeug sicher nutzen.

Sie möchten wissen, ob KI für Ihr Unternehmen sinnvoll ist – oder ob eine einfachere Lösung reicht? Wir prüfen Ihren Anwendungsfall ehrlich und setzen KI auf Wunsch lokal und datenschutzkonform um: KI im Unternehmen – lokal & datenschutzkonform.