MünchenBefragung mit KI auswerten

Münchens städtischer IT-Dienstleister it@M hat seine Kunden stadtweit nach der Zufriedenheit mit den angebotenen Systemen und Services gefragt, um mehr über mögliche Verbesserungspotenziale zu erfahren. Das Besondere: Bei der Auswertung der Zufriedenheitsbefragung kam erstmals künstliche Intelligenz (KI) zum Einsatz. Nun berichtet die bayerische Landeshauptstadt in ihrem Digitalisierungsblog „München.Digital.Erleben.“ über das Pilotprojekt.
Die Zahl der Beschäftigten der Stadt München, die von it@M betreut werden, liegt im fünfstelligen Bereich. Da die letzte stadtweite IT-Zufriedenheitsumfrage 2015 stattgefunden hatte, sollte den Befragten auch die Möglichkeit für individuelle Antworten gegeben werden. Daher waren bei knapp 30 Fragen Freitextantworten möglich. Eine solche Menge an Freitexten auszuwerten, ist ohne hohen Personaleinsatz unmöglich. Daher haben it@M und die städtische Digitalisierungstochter ein Pilotprojekt aufgesetzt, dessen Ziel es war, die Freitextantworten mithilfe von KI zu analysieren und zu bewerten. Aus Datenschutzgründen wurden anonymisierte Ergebnisrohdaten der Umfrage genutzt, die das Statistische Amt zur Verfügung gestellt hatte.

Wie hilft KI bei der Auswertung?

Eine KI-unterstützte Textanalyse erfasst automatisiert wiederkehrende Begriffe und Themen in Freitextfeldern und schlägt eine Kategorisierung für die Antworten vor. Dies funktioniert auf Basis von Algorithmen, die festgelegten Regeln folgen. Lernen kann KI nur, wenn diese Regeln an die spezifischen Gegebenheiten angepasst werden. So wurde der künstlichen Intelligenz beigebracht, dass es in Kommentaren, in denen von coSys oder WollMux die Rede ist, um Software zur Verwaltung und Nutzung von Vorlagen geht. Die KI ist lernfähig, aber nicht selbstlernend. Bei it@M arbeitete mit Unterstützung von digital@M ein mehrköpfiges Team daran, die automatisch aus den Antworten gebildeten Kategorien und Unterkategorien zu überprüfen und bei Bedarf zu verfeinern. Bei diesem so genannten Nachtrainieren werden Begriffe aus den Freitextantworten, die der Algorithmus noch nicht erkennt, manuell einer Kategorie zugeordnet. In anderen Fällen war es sinnvoll, zwei bestehende Kategorien zusammenzuführen.

Mehrwert für weitere Zufriedenheitsbefragungen

Auf diese Weise entstand eine Art Anleitung über die Vorgehensweise für die KI, das Codebuch. Dieses kann bei künftigen IT-Zufriedenheitsbefragungen erneut für die Analyse von Freitextantworten eingesetzt werden. Der Aufwand für weiteres Nachtrainieren der KI – etwa aufgrund neuer Entwicklungen in der IT – werde dann zunehmend geringer.
Neben dem deutlich reduzierten Zeitaufwand hat die Auswertung mithilfe der weitestgehend unvoreingenommenen KI noch den Vorteil einer klaren Strukturierung und der höheren Genauigkeit und Objektivität der Auswertung.
Die Aufgabe, daraus sinnvolle Schlüsse zu ziehen und zielführende Maßnahme zu entwickeln liegt aber allein bei den verantwortlichen Personen. Zur Umsetzung der konkreten Verbesserungspotenziale, welche die Umfrage von 2022 offenlegte, wurden bereits diverse Optimierungsmaßnahmen entwickelt – ganz ohne KI. Geplant ist, die Zufriedenheitsumfrage künftig jährlich durchzuführen. Damit, so das Münchner Fazit, habe das IT-Referat ein Instrument zur regelmäßigen Kontrolle und Überprüfung umgesetzter Maßnahmen geschaffen.