Problémem je, že se AI chová jako černá skříňka. Člověk musí výsledkům, které mohou být ve výsledku lepší (inteligentnější) než jeho, slepě věřit, protože jim nerozumí. Volá se proto po vysvětlitelné AI (XAI). Ovšem člověk nadřazenou inteligenci nerozpozná a ani neovládne.

AI může odstranit lidské kognitivní zkreslení. Může ovšem zavést vlastní zkreslení. Lidské i umělé myšlení tedy lze i podvést. Záleží na způsobu výběru dat k učení.

Protože technologie mohou být pro člověka nebezpečné, formulovala koncem dubna 2019 Evropská komise etické zásady vývoje systémů s umělou inteligencí:

• Možnost řízení a dohledu ze strany člověka
• Robustnost a bezpečnost
• Ochrana soukromí a dat
• Transparentnost
• Rozmanitost, zákaz diskriminace a rovné zacházení
• Společenský a environmentální prospěch
• Odpovědnost

Problém zákazu diskriminace je v tom, že diskriminace je chování, preference určitých hodnot, kategorií či parametrů, které běžně lidé volí, bez toho, aniž by si toho byli vědomi. Často je toto diskriminační chování objeveno, až když se na základě dat z takového chování učí umělá inteligence. Tento problém se projevil např. v oddělení lidských zdrojů společnosti Amazon, jejichž systém vyhodnotil pohlaví jako jeden z výběrových parametrů a životopisy žen hodnotil tak, že jim dával záporné body. To bylo proto, že pro učení byla použita data, která často mapovalal technické pozice, na které se častěji hlásili muži.