Regulatorischer Hintergrund
Anhang 22 „Künstliche Intelligenz“ soll in den EU-Leitfaden zur Guten Herstellungspraxis (GMP) aufgenommen werden und Anhang 11 um ergänzende Leitlinien für computergestützte Systeme erweitern, in die KI-Modelle eingebettet sind. Nach der aktuellen Entwurfsfassung gilt Anhang 22 nicht für generative KI und große Sprachmodelle (Large Language Models, LLM), Modelle mit probabilistischer Ausgabe, dynamische Modelle sowie Modelle, die ihre Leistung anpassen. Solche Modelle sollen dem Entwurf zufolge nicht in kritischen GMP-Anwendungen eingesetzt werden.
In den Stellungnahmen zur öffentlichen Konsultation wurde dagegen gefordert, Herstellern den Einsatz großer Sprachmodelle und generativer KI-Systeme sowohl in kritischen als auch in nicht kritischen GMP-Anwendungen zu ermöglichen. Begründet wurde dies mit der Notwendigkeit, Innovationen zu fördern und Investitionen von Pharmaunternehmen anzuregen. Die Redaktionsgruppe erörterte daraufhin eine Erweiterung des Anwendungsbereichs von Anhang 22 auf dynamische oder adaptive Modelle, probabilistische Modelle sowie generative KI und LLM. Voraussetzung wäre, dass die Systeme die Anforderungen des Anhangs erfüllen und durch eine vollständig dokumentierte, robuste und risikobasierte Kontrollstrategie abgesichert werden.
Da weiterhin Klärungsbedarf hinsichtlich der erforderlichen Elemente einer solchen Kontrollstrategie besteht, bat die Redaktionsgruppe um einen Austausch mit KI-Experten. Dabei sollte bewertet werden, ob ein risikobasierter Ansatz auf generative KI und LLM angewendet werden kann und welche Kontrollmechanismen zur Risikominderung bei ihrem Einsatz in GMP-Anwendungen erforderlich sind.
Zielsetzung und Themen des Workshops
Ziel des Workshops war es, strukturierte und erfahrungsbasierte Beiträge der Industrie zu Kontroll-, Governance- und Risikominderungsmaßnahmen über den gesamten Lebenszyklus von KI-Systemen zu erfassen. Ein besonderer Schwerpunkt lag auf der Anwendung der Grundsätze des Qualitätsrisikomanagements gemäß ICH Q9. Bei der EMA registrierte Interessenverbände der Industrie erarbeiteten hierzu gemeinsam eine konsolidierte Antwort auf einen zuvor an die Industrie übermittelten Fragenkatalog. Die im Workshop gehaltenen Präsentationen bildeten eine gemeinsame Industrieperspektive zu sechs vorab festgelegten Themen ab:
Regulatorische Wege für adaptive und probabilistische KI-Modelle im GMP-Umfeld
Technische Zuverlässigkeit und Reaktion auf Vorfälle
Menschliche Aufsicht und Verantwortlichkeit
Validierung und Lebenszyklusmanagement
Strategische Risiken und Compliance-Grenzen
Cybersicherheit und ausgelagerte Tätigkeiten
Die Präsentationen und die anschließenden Diskussionen sollten das Verständnis der Redaktionsgruppe für aktuelle Praktiken, bestehende Herausforderungen und neue Ansätze beim Management von Risiken im Zusammenhang mit KI-Systemen in GMP-Umgebungen vertiefen. Die Erkenntnisse sollen in die Überarbeitung des Anwendungsbereichs von Anhang 22 einfließen und die Entwicklung eines risikoadäquaten und umsetzbaren regulatorischen Rahmens unterstützen, der Produktqualität und Patientensicherheit schützt und zugleich verantwortungsvolle Innovation ermöglicht.
Schlussfolgerungen
Der Workshop lieferte Expertenbeiträge für die laufende Ausarbeitung von Anhang 22. Zugleich zeigte er, dass ein breites Spektrum von Interessenvertretern der Industrie über die sechs Themen hinweg eine weitgehend abgestimmte Position formulieren konnte. Unter Berücksichtigung der Herausforderungen adaptiver, probabilistischer und generativer KI-Systeme sprachen sich die Teilnehmenden durchgängig für einen risikobasierten und technologieneutralen Ansatz aus. Danach soll die Akzeptanz einer KI-Anwendung anhand ihres dokumentierten beabsichtigten Verwendungszwecks, der von ihr ausgehenden Risiken und der Wirksamkeit, der über den gesamten Lebenszyklus angewandten Kontrollen beurteilt werden, nicht anhand der zugrunde liegenden Technologie.
Als gemeinsame Anforderungen wurden ein robustes Qualitätsrisikomanagement, die Validierung und Überwachung über den gesamten Lebenszyklus, eine risikoadäquate menschliche Aufsicht, wirksame Kontrollmechanismen, klare Verantwortlichkeiten, die Lieferantenüberwachung und die Aufrechterhaltung eines nachweisbaren kontrollierten Zustands benannt. Zudem wurden Unsicherheit, Komplexität, der Einfluss des Modells und die Erkennbarkeit als wichtige Aspekte bei der Bewertung von KI-Systemen in GMP-regulierten Tätigkeiten hervorgehoben.
Nach Einschätzung der Teilnehmenden bleiben die bestehenden GMP-Grundsätze insbesondere zum Qualitätsrisikomanagement, zur Validierung, zum Lebenszyklusmanagement, zur Aufsicht und zu ausgelagerten Tätigkeiten auch auf KI-Systeme anwendbar. Gleichzeitig wurden Bereiche identifiziert, in denen zusätzliche Klarstellungen, Definitionen oder KI-spezifische Anforderungen erforderlich sein könnten, damit Anhang 22 einen praktikablen und wissenschaftlich fundierten Rahmen für den Einsatz zunehmend anspruchsvoller KI-Technologien in GMP-Umgebungen schafft.
Insgesamt erreichte der Workshop sein Ziel, strukturierte und erfahrungsbasierte Industriebeiträge zur Governance, Kontrolle, Validierung und Aufsicht von KI-Systemen zu erfassen. Die Diskussionen weisen darauf hin, dass bei angemessenen Kontrollen und einem robusten risikobasierten Rahmen tragfähige regulatorische Wege für adaptive, probabilistische und generative KI-Technologien in GMP-regulierten Anwendungen bestehen könnten, während Produktqualität und Patientensicherheit weiterhin gewährleistet werden.
Nächste Schritte
Die Redaktionsgruppe für Anhang 22 will die im Workshop vorgelegten Informationen einschließlich der konsolidierten Antworten der beteiligten Industrieverbände prüfen und berücksichtigen. Im Nachgang sollen die zentralen Themen, gemeinsamen Ansätze, abweichenden Positionen und identifizierten Herausforderungen aus allen sechs Themenfeldern bewertet werden. Die Ergebnisse sollen in die laufende Überarbeitung von Anhang 22 einfließen. Ziel ist die Entwicklung eines wissenschaftlich fundierten, risikoadäquaten und umsetzbaren Rahmens für den Einsatz von KI in GMP-regulierten Umgebungen. Soweit erforderlich, sind weitere Klarstellungen und interne Beratungen vorgesehen, um in den überarbeiteten Leitlinien den Schutz von Produktqualität und Patientensicherheit angemessen mit den potenziellen Vorteilen technologischer Innovation in Einklang zu bringen.
Weitere Informationen können dem Bericht entnommen werden.
