Certains systèmes ne peuvent pas supposer la bonne foi

De nombreux protocoles, lors de leur conception, supposent que les participants sont des « bonnes personnes rationnelles ».
Au maximum, ils cherchent à maximiser leurs profits, mais sans malveillance.

Mais une fois que le pouvoir de décision est confié à une IA, cette hypothèse ne tient plus.
Le modèle ne fera pas le mal, mais il ne comprendra pas non plus la compassion.
Tant que la fonction d’incitation le permet, il poussera le système de manière stable, continue, et sans émotion vers un extrême.

@GenLayer En abordant dès le départ cette problématique :
Si l’on ne suppose pas du tout la bonne foi, le système peut-il encore fonctionner ?

C’est une question qui précède même celle de la « précision du modèle ».