Am 21.11.2022 wurde der Workshop zu Requirements for AI-enhanced Software im Pokieser-Seminarraum im AKH im Rahmen vom Projekt Xplain AI – Artificial Intelligence Erklärbar Machen (AK Digifonds) abgehalten. Das Projekt Xplain AI wird in einem Konsortium von TechMeetsLegal, der Data Intelligence Offensive und Women in AI Austria im Zeitraum vom 01.10.22 – 30.09.23 realisiert. Ziel des Projektes ist es, anhand einer webbasierten Weiterbildungsapplikation an der Schnittstelle zwischen Medizin und Technik komplexe AI-basierte Projekte oder Softwarelösungen zu erklären. Die primäre Zielgruppe umfasst Anwender:innen aus medizinischen Berufen (z. B. Pfleger:innen).
Im Rahmen des Workshops wurden Anforderungen für AI-unterstützte Softwarelösungen im Medizinbereich, sowie die Anforderungen für eine Microlearning Plattform zur Erklärung der Softwarelösungen erörtert. Vier Themenbereiche wurden dabei genauer beleuchtet und diskutiert.
Technik besser verstehen – Wie kann man Nutzer:innen unterstützen?
Um Nutzer:innen besser zu unterstützen, müssen Informationen über die AI-Systeme in verständlicher Form aufbereitet werden. Hierbei ist es vor allem auch wichtig den Applikationskontext der AI-Systeme darzustellen, nicht nur die isolierte Technologie. Die dargestellten Informationen müssen an unterschiedliche Rollen angepasst werden – beispielsweise brauchen Patient:innen anders aufbereitete Informationen als Pflegepersonal. Die Darstellung durch ein intuitives Frontend ist hierbei sehr wichtig.
Die Informationen für Nutzer:innen könnten automatisiert gesammelt werden, beispielsweise durch Webcrawling. Hier muss aber auf die didaktische Aufbereitung der Inhalte geachtet werden. Durch das Tracking von User:innenverhalten (z. B. Worauf wird öfters geklickt, wie sind die Verweilzeiten auf einer (Sub-)Page?) kann die Anwendung auch für Nutzer:innen optimiert werden.
Medizindaten in der Cloud – Welche Möglichkeiten gibt es?
Die Nutzung von Medizindaten bzw. Patient:innendaten in der Cloud hängt stark von den Ländern ab – die USA haben hier beispielsweise ganz andere Richtlinien als Europa. Derzeit gibt es in der EU oder in den UK bereits sehr viele elektronische Patient:innendaten für unterschiedlichste Applikationen auf der Cloud. Zusätzlich werden User:innen Services angeboten, um Daten zu verschlüsseln (Client- oder Userseitig). Je nach Anwendungsfall werden die Daten dann voll- oder teilanonymisiert bearbeitet. Dies ist auch trotz Schrems II möglich, denn die amerikanischen Cloudanbieter haben jeweils auch Standorte in Europa (z. B. Rechenzentren in Frankfurt), die für europäische Gesundheitsdaten genutzt werden können.
Es muss geklärt werden, ob auch Medizinprodukte bereits auf Cloudinfrastrukturen entwickelt werden. Hierbei spielt vor allem die Erfüllung von Datenschutzanforderungen eine zentrale Rolle.
Regularien verhindern Innovation
Bei der Zulassung von Medizinprodukten unterliegen alle Systeme den gleichen Richtlinien, ob mit AI oder ohne. Zusätzlich wurden im April 2022 neue AI Regulations der EU veröffentlich. Hier wird vor allem eine Regulation von Hochrisikosystemen gefordert, was im Grunde alle Medizinanwendungen einschließt. Es umfasst nicht nur ‚richtige‘ AI, sondern auch alle regelbasierten Systeme und ähnliches. Bei AI-basierten Systemen ist es vor allem wichtig, dass das System sich nach Zulassung nicht beliebig weiter verändert.
Vor allem für die Grundlagenforschung sind die Regularien für Medizinproduktentwicklung schwer umsetzbar. Durch die strengen Auflagen ist dies mit den Forschungsressourcen nicht umsetzbar (trotz Erleichterungen im Artikel 5b der DSGVO). Hier sind vor allem Unternehmen gefragt diese Produktentwicklungen in Einklang mit den Regularien durchzuführen. Vor allem Qualitäts- und Risikomanagement gestalten sich schwierig.
Es gibt bereits einige zugelassene Medizinprodukte mit AI. Beispiele können hier gefunden werden:
Haftung – wer haftet und wie kann man relevante Stakeholder:innen besser unterstützen?
In der Pflege gibt es zahlreiche Beispiele von Medizinprodukten für die eine Einschulung durchgeführt wird. Diese werden jedoch nicht genutzt. Grund dafür ist die Sorge vor Haftung bei Fehlentscheidungen. Zivilrechtlich haftet das Pflegepersonal nicht. Wenn jedoch eine falsche Entscheidung von der AI getroffen und diese vom Pflegepersonal nicht korrigiert wird, kann es zu einer strafrechtlichen Haftung kommen, falls eine Korrektur durch das Pflegepersonal möglich gewesen wäre. Hier gab es bereits einige Verfahren in Deutschland.
Daher ist die Nachvollziehbarkeit der AI-Entscheidung essentiell. Dadurch kann das Verständnis beim Pflegepersonal erhöht, und somit die richtige Nutzung gefördert werden. Es geht hier vor allem um die richtige Risikokommunikation.
Kontakt:
Isabella Hinterleitner
hinterleitner@techmeetslegal.at
