Da KI-basierte Systeme aus Daten lernen, dürfen die persönlichen Daten, die während des gesamten KI-Lebenszyklus (Entwurf, Training, Test, Bereitstellung und Betrieb) verarbeitet, gespeichert und abgerufen werden, nicht offengelegt werden. Es muss außerdem sichergestellt werden, dass nachvollziehbar ist, wie die Daten verwendet werden (Governance), und überprüft werden kann, dass geschützte Informationen während dieser Phasen nicht zugänglich sind (Datenschutzbewusstsein).

Derzeit stellen KI-Systeme jedoch viele Risiken für die Privatsphäre der Nutzenden und den Schutz ihrer Daten dar.