AI Solutions Architect: Aufgaben, Profil und Stellenbeschreibung

Ein AI Solutions Architect entwirft die Gesamtarchitektur einer KI-Lösung und bringt sie in den Betrieb. Das reicht vom Geschäftsziel über Modelle, Daten und Schnittstellen bis zu Sicherheit, Governance und Monitoring. Er übersetzt Anforderungen aus dem Fachbereich in eine Architektur, die sich bauen, prüfen und dauerhaft betreiben lässt, und er führt die Teams, die sie umsetzen. Hier findest du die Aufgaben im Detail, das Kompetenzprofil, die Abgrenzung zu verwandten Rollen und eine Stellenbeschreibung, die du direkt anpassen kannst.

Polydigital

KI-Kompetenz gezielt ins Team holen

Polydigital besetzt Data- und AI-Positionen mit persönlich interviewten Talenten, deren Fachwissen und Technologieverständnis geprüft werden.

Data- und AI-Talente finden

Kurz gesagt

Kernaufgabe: End-to-End-Architekturen für KI-Systeme entwerfen, inklusive Integration in bestehende Anwendungen, Datenplattformen und MLOps.
Verantwortung: Die Lösung muss skalierbar, sicher, nachvollziehbar und wartbar sein. Es reicht nicht, wenn sie nur im Prototyp funktioniert.
Schnittstelle: Die Rolle verbindet Fachbereich, IT, Data-Teams und Engineering und leitet Implementierungsteams fachlich an.
Profil: Mehrjährige Erfahrung mit komplexen Software- oder KI-Lösungen, Cloud (meist Azure oder AWS), LLMs, RAG, MLOps und starke Kommunikation.
Abgrenzung: Enterprise- und Business-Architekten setzen den Rahmen für das ganze Unternehmen. Der AI Solutions Architect baut die konkrete KI-Lösung innerhalb dieses Rahmens.

Inhaltsverzeichnis

Was die Rolle im Kern verantwortet
Die Aufgaben im Überblick
So arbeitet die Rolle mit Fachbereich, IT und Data
Abgrenzung zu IT-Architekt und Business-Architekt
Unterschiede nach Einsatzort und Seniorität
Das Kompetenzprofil
Stellenbeschreibung zum Anpassen
Unsere Sicht auf die Rolle
Wenn du die Rolle besetzen willst
Häufige Fragen
Quellen

Was die Rolle im Kern verantwortet

Der Titel ist nicht genormt. Unternehmen schreiben „AI Solution Architect“, „AI Solutions Architect“ oder „KI-Lösungsarchitekt“, und der Zuschnitt schwankt. Der gemeinsame Nenner in aktuellen deutschen Ausschreibungen ist trotzdem klar: Die Person sorgt dafür, dass aus einem KI-Use-Case eine produktive Lösung wird.

Rohde & Schwarz beschreibt die Rolle als verantwortlich für End-to-End-Architekturen von KI-Systemen. Dazu kommen Integrations- und Zielarchitekturen, die Skalierbarkeit, Sicherheit, Observability und Wartbarkeit berücksichtigen. Bei BMW steht für einen AI Solution Architect mit Fokus auf Agentic AI die Übersetzung von Geschäftsanforderungen in wiederverwendbare Architekturen im Mittelpunkt. Hinzu kommt die Integration von LLMs, Reasoning-Modellen, Retrieval, Tools, APIs und Unternehmensanwendungen bis zum produktiven Einsatz.

Für dich als IT-Leitung heißt das: Ein AI Solutions Architect ist weder reiner Data Scientist noch reiner Cloud-Architekt. Er trifft die Architekturentscheidungen, an denen sich drei Fragen entscheiden: Funktioniert die KI-Lösung in deiner Systemlandschaft? Hält sie den Datenschutz ein? Kann dein Team sie in zwei Jahren noch betreiben?

Die Aufgaben im Überblick

Die folgende Tabelle fasst die Aufgabenfelder zusammen, die in den Ausschreibungen großer deutscher Arbeitgeber immer wieder auftauchen.

Aufgabenfeld	Was konkret dazugehört	Ergebnis
Anforderungen übersetzen	Use Cases mit dem Fachbereich schärfen, Ziele und Randbedingungen festlegen	Klarer Lösungsumfang mit messbaren Kriterien
Lösungsarchitektur	End-to-End-Design: Modelle, Retrieval, Agenten, APIs, Integration in ERP, CRM und Fachanwendungen	Ziel- und Integrationsarchitektur
Plattform und Infrastruktur	Anforderungen an Training, Serving, Datenmanagement, Feature Stores und Model Registry spezifizieren	Tragfähige Plattformbasis
MLOps und Lifecycle	CI/CD für Modelle, Experiment-Tracking, Monitoring, Drift Detection	Reproduzierbarer Betrieb
Sicherheit und Governance	Guardrails, Datenschutz, Compliance und Data Governance ins Design einbauen	Prüfbare, regelkonforme Lösung
Technologieauswahl	Modelle, Cloud-Services und Frameworks bewerten, Standards und APIs vorantreiben	Begründete Architekturentscheidungen
Führung ohne Linienverantwortung	Architektur-Reviews leiten, Engineering-Teams beraten und mentorieren	Einheitliche Umsetzung über Teams hinweg

Anforderungen aus dem Fachbereich übersetzen

Am Anfang steht selten eine technische Frage. Der Vertrieb will Angebote schneller erstellen, der Service will Tickets vorqualifizieren, die Buchhaltung will Eingangsrechnungen automatisch prüfen. Der AI Solutions Architect klärt, welche Daten es gibt, welche Systeme betroffen sind, welche Fehlerquote akzeptabel ist und wo ein Mensch entscheiden muss. Aus diesen Antworten ergibt sich der Lösungsumfang.

Die Architektur entwerfen

Danach folgt das eigentliche Design. Bei GenAI-Lösungen gehören dazu typischerweise die Wahl des Modells, die Retrieval-Schicht (RAG) und die Anbindung an Unternehmensdaten. Hinzu kommen Tool- und API-Aufrufe für Agenten sowie die Integration in bestehende Anwendungen. Die Ausschreibung von virtual7 für einen AI Solution Architect nennt etwa den Entwurf einer Azure-basierten KI- und ML-Gesamtarchitektur und die Konzeption von RAG-Architekturen.

Plattform, Daten und MLOps festlegen

Ein Modell, das nur auf einem Laptop läuft, bringt deinem Unternehmen nichts. Deshalb legt die Rolle die Anforderungen an Plattform und Infrastruktur fest: Modellentwicklung, Serving, Datenmanagement und Lifecycle-Management, einschließlich Datenplattformen, Feature Stores und Model Registries. Bei virtual7 gehört außerdem die technische Leitung von ML-Pipelines für Training, Deployment, Monitoring und Drift Detection dazu. Ebenso gefragt ist eine MLOps-Strategie mit CI/CD für Modelle und Experiment-Tracking.

MLOps-Pipeline von Training bis Drift-Erkennung

Sicherheit, Datenschutz und Compliance verankern

Bei BMW entwickelt ein Senior AI Solution Architect für Enterprise GenAI skalierbare Lösungen und berücksichtigt Guardrails für Sicherheit, Datenschutz und regulatorische Anforderungen. Compliance-, Sicherheits- und Data-Governance-Anforderungen fließen dort direkt in die Lösungsdesigns ein und werden nicht erst nachträglich geprüft.

Für Unternehmen in der EU kommt die KI-Verordnung (EU) 2024/1689 hinzu, die am 1. August 2024 in Kraft trat. Welche Pflichten für deine Lösung gelten, hängt von ihrer Risikoklasse ab. Die rechtliche Einstufung übernimmt deine Rechtsabteilung oder eine Fachanwältin für IT-Recht. Die technische Umsetzung von Protokollierung, Transparenz und menschlicher Aufsicht gehört dagegen in die Architektur. Was die menschliche Aufsicht nach Art. 14 AI Act in der Praxis verlangt, haben wir in einem eigenen Beitrag zusammengefasst.

Teams anleiten und Standards setzen

Der AI Solutions Architect führt meist fachlich, nicht disziplinarisch. Rohde & Schwarz nennt ausdrücklich die Leitung von Architektur-Reviews sowie die Beratung und das Mentoring von Engineering-Teams. Dazu kommen gemeinsame Standards und APIs, damit nicht jedes Team seine eigene KI-Insel baut.

So arbeitet die Rolle mit Fachbereich, IT und Data

Die Rolle sitzt zwischen den Teams. Bei BMW gestaltet, entwickelt und implementiert der AI Solution Architect agentische KI-Systeme gemeinsam mit Business- und IT-Teams. Er stimmt sich mit Business Units, Use-Case- und Plattformteams ab und leitet Implementierungsteams an.

Ein typischer Ablauf über ein Vorhaben hinweg:

Discovery mit dem Fachbereich: Ziel, Prozess, Datenlage und Erfolgskriterien klären.
Abstimmung mit Enterprise-Architektur und IT-Betrieb: Passt die Lösung zu Standards, Cloud-Strategie und Sicherheitsvorgaben?
Arbeit mit Data Engineering: Datenquellen, Qualität, Zugriffsrechte und Pipelines festlegen.
Prototyp und Evaluation: Mit ML- und Software-Engineers einen belastbaren Prototyp bauen und anhand vereinbarter Kriterien bewerten.
Security- und Compliance-Review: Mit Informationssicherheit, Datenschutz und gegebenenfalls einem AI Security Engineer die Guardrails prüfen.
Übergabe in den Betrieb: Monitoring, Betriebsdokumentation und Verantwortlichkeiten festlegen.

Wer wann ins Team kommt, hängt vom Reifegrad deiner KI-Organisation ab. Einen Rahmen für Reihenfolge und Budget findest du in unserem Beitrag zum Stellenplan für ein AI-Team.

Abgrenzung zu IT-Architekt und Business-Architekt

Die Begriffe werden oft vermischt. Der wichtigste Unterschied liegt im Umfang. LeanIX beschreibt es so: Solution Architects entwickeln Lösungen für konkrete Geschäftsprobleme. Enterprise Architects sorgen dafür, dass die IT-Strategie zur Mission des Unternehmens passt.

Rolle	Blickwinkel	Typische Ergebnisse	Zeithorizont
Business-Architekt	Geschäftsmodell, Fähigkeiten, Prozesse	Capability Maps, Prozesslandkarten, Zielbilder	Strategisch, mehrjährig
Enterprise- bzw. IT-Architekt	Gesamte IT-Landschaft, Standards, Technologiestrategie	Architekturprinzipien, Bebauungspläne, Leitplanken	Mittel- bis langfristig
Solution Architect (klassisch)	Eine konkrete Lösung, oft ERP, Cloud oder Integration	Lösungsdesign, Schnittstellen, Technologiewahl	Projekt- oder Produktzyklus
AI Solutions Architect	Eine konkrete KI-Lösung samt Modellen, Daten und Betrieb	KI-Architektur, MLOps-Konzept, Guardrails, Evaluationsdesign	Projekt- oder Produktzyklus plus Betrieb

Der AI Solutions Architect arbeitet also innerhalb der Leitplanken, die Enterprise-Architektur und IT-Strategie setzen. Vom klassischen Solution Architect unterscheiden ihn die KI-spezifischen Fragen: Wie verhält sich ein Modell, das nicht deterministisch antwortet? Wie misst man Qualität? Was passiert, wenn sich die Daten verschieben? Wer haftet für eine falsche Empfehlung?

Unterschiede nach Einsatzort und Seniorität

Im Kern bleiben die Aufgaben gleich. Je nach Umfeld verschiebt sich aber der Schwerpunkt.

Inhouse im Unternehmen: Fokus auf Plattform, Wiederverwendbarkeit und Betrieb. Die Person baut Standards auf, die mehrere Use Cases tragen, und verantwortet die Integration in die eigene Landschaft, häufig auch in SAP-Systeme.
Im Beratungshaus: Fokus auf Kundenprojekte, Lösungsdesign unter Zeitdruck und Kommunikation mit den Stakeholdern beim Kunden. Varianten wie „Forward Deployed“ arbeiten direkt beim Kunden an der Umsetzung.
Bei Software- und Cloud-Anbietern: Die Rolle ist oft technisch im Presales verankert, mit Demos, Architekturworkshops und Begleitung der Implementierung.
Interim oder fractional: Passt, wenn eine erste Architektur stehen muss, bevor du festes Personal aufbaust, oder wenn eine Schlüsselperson ausfällt. Hier zählen schnelle Orientierung und eine saubere Wissensübergabe.

Bei der Seniorität gilt grob: Ein Architect verantwortet einzelne Lösungen. Ein Senior oder Lead Architect setzt Standards über mehrere Teams und berät die IT-Leitung bei Plattformentscheidungen. Ob du die Kompetenz intern aufbaust oder extern einkaufst, zeigt unser Vergleich Inhouse vs. externe KI.

Das Kompetenzprofil

Technische Kompetenzen

Cloud-Architektur: BMW nennt für die GenAI-Rolle vorzugsweise AWS oder Azure, virtual7 setzt den Schwerpunkt auf Microsoft Azure.
GenAI und LLMs: Praktische Erfahrung mit LLMs, RAG und KI-Sicherheit. Für Agentic-AI-Rollen verlangt BMW zusätzlich LLM Engineering, Context Engineering, Multi-Agent-Orchestrierung und Evaluation.
MLOps und Lifecycle: CI/CD, Model Registry, Monitoring und Datenplattformen, so wie Rohde & Schwarz es im Profil beschreibt.
Integration: APIs, Event-Architekturen und Anbindung an Unternehmensanwendungen wie ERP oder CRM.
Security: Verständnis für Bedrohungen wie Prompt Injection, Datenabfluss und Schwächen im Rechtekonzept.

Methodische und persönliche Kompetenzen

Stakeholder-Management: Rohde & Schwarz fordert exzellentes Stakeholder-Management und starke Kommunikationsfähigkeiten.
Urteilsvermögen: Architekturentscheidungen mit klaren Abwägungen begründen, etwa zwischen Kosten, Latenz, Qualität und Datenschutz.
Ergebnisverantwortung: Für das Verhalten der Lösung im Betrieb einstehen, nicht nur für das Konzept.
Moderation: Fachbereich und Engineering an einen Tisch bringen und Konflikte über Anforderungen lösen.

Ausbildung und Erfahrung

Die BMW-Ausschreibung verlangt ein Studium der (Wirtschafts-)Informatik oder eine vergleichbare technische Qualifikation mit starkem KI-Fokus. Rohde & Schwarz setzt mehrere Jahre Erfahrung mit komplexen Software- oder KI-Lösungen in Unternehmensumgebungen voraus. In der Praxis kommen gute Kandidatinnen und Kandidaten häufig aus der Software- oder Cloud-Architektur, aus dem Data Engineering oder aus der ML-Entwicklung. Wichtig ist, dass sie dort schon mehrere Lösungen in den Betrieb gebracht haben.

Stellenbeschreibung zum Anpassen

Diese Vorlage greift die Aufgaben aus den Ausschreibungen oben auf. Passe Technologien, Branche und Seniorität an dein Vorhaben an.

AI Solutions Architect (m/w/d)

Deine Aufgaben

Du übersetzt Anforderungen aus den Fachbereichen in skalierbare, wiederverwendbare KI-Architekturen.
Du entwirfst End-to-End-Lösungen mit LLMs, RAG und Agenten und integrierst sie in unsere Unternehmensanwendungen.
Du legst die Plattform- und Infrastrukturanforderungen für Entwicklung, Serving, Datenmanagement und Lifecycle fest.
Du definierst unsere MLOps-Standards mit CI/CD, Model Registry, Monitoring und Drift Detection.
Du verankerst Sicherheit, Datenschutz, Compliance und Data Governance in jedem Lösungsdesign.
Du leitest Architektur-Reviews und berätst unsere Engineering-Teams.

Dein Profil

Mehrjährige Erfahrung mit komplexen Software- oder KI-Lösungen im Unternehmensumfeld
Fundierte Cloud-Kenntnisse, idealerweise Azure oder AWS
Praxis mit GenAI, LLMs, RAG und Evaluationsverfahren
Erfahrung mit MLOps und Datenplattformen
Studium der Informatik, Wirtschaftsinformatik oder vergleichbare Qualifikation
Sichere Kommunikation mit Fachbereich, IT-Leitung und Entwicklung, auf Deutsch und Englisch

Mehr zu Gehalt, Auswahlkriterien und Ablauf findest du in unserem Leitfaden AI Solutions Architect einstellen.

Unsere Sicht auf die Rolle

Eine gute Stellenbeschreibung listet Technologien auf. Ob eine Besetzung gelingt, hängt aber an etwas anderem: Kann die Person zwischen Fachwissen und Technologie vermitteln, KI souverän einsetzen, ihre Ergebnisse beurteilen und für das Resultat einstehen?

Genau das prüfen wir in jeder Suche. Ein AI Solutions Architect, der nur Frameworks kennt, baut beeindruckende Prototypen. Wer Prozesse, Daten und Betrieb mitdenkt, baut Lösungen, die nach einem Jahr noch laufen.

Deshalb sprechen wir mit jedem Talent persönlich, bevor du ein Profil siehst. In der Endauswahl kommt eine EFPA-zertifizierte Eignungsdiagnostik dazu, die ein zertifizierter Berater bei uns auswertet. So bekommst du wenige, gründlich geprüfte Profile statt eines Stapels Lebensläufe mit denselben Schlagworten.

Ingmar

Wenn du die Rolle besetzen willst

Polydigital besetzt Data- und AI-Rollen in der DACH-Region, vom AI Solutions Architect über den MLOps Engineer bis zum Head of AI, in Festanstellung, interim oder fractional. Wir beraten dich beim Zuschnitt der Rolle, sprechen passende Fachkräfte direkt an und stellen dir nur Profile vor, die wir persönlich interviewt haben.

Polydigital

Wird eine Schlüsselposition frei, verbinden wir Suche, Überbrückung und Wissenssicherung, damit dein KI-Vorhaben nicht stillsteht. → Data- und AI-Experten finden

Häufige Fragen

Was macht ein AI Solutions Architect im Arbeitsalltag?

Er klärt Anforderungen mit dem Fachbereich, entwirft und bewertet Architekturen, stimmt sich mit Data-, Plattform- und Security-Teams ab und leitet Architektur-Reviews. Ein großer Teil der Arbeit ist Kommunikation: Entscheidungen begründen, Abwägungen erklären und Teams auf gemeinsame Standards bringen.

Muss ein AI Solutions Architect selbst programmieren?

Er muss Code lesen, Prototypen bauen und die Arbeit der Engineers fachlich beurteilen können. Die Ausschreibungen verlangen praktische Erfahrung mit LLMs, RAG und MLOps. Die laufende Implementierung liegt aber meist bei den Engineering-Teams, die er anleitet.

Brauche ich einen AI Solutions Architect oder einen AI Engineer?

Hast du einen einzelnen, klar umrissenen Use Case auf einer bestehenden Plattform, reicht oft ein erfahrener AI Engineer. Sobald mehrere Use Cases, Integrationen in Kernsysteme oder regulatorische Anforderungen dazukommen, brauchst du jemanden, der die Architektur über alles hinweg verantwortet.

Kann ich die Rolle interim besetzen?

Ja. Ein Interim- oder fractional-Mandat passt, wenn eine erste Zielarchitektur schnell stehen muss oder eine Schlüsselperson ausfällt. Plane die Wissensübergabe an das feste Team dabei von Anfang an mit ein.