En réponse aux rapports indiquant que MyCity pourrait fournir des informations fausses, incorrectes et trompeuses, le maire de New York, Eric Adams, a pris la parole pour la défendre. Pour ceux qui ne le savent pas, le gouvernement de New York a récemment introduit le chatbot MyCity AI pour aider les propriétaires d'entreprise dans leurs requêtes.
Le maire de New York défend le chatbot controversé AI malgré les accusations de conseils trompeurs
Son objectif est d'aider les propriétaires d'entreprise qui ont besoin d'un accès continu à l'information et aux conseils. Néanmoins, une enquête menée par The Markup, avec le soutien des rédactions locales de Documented et The City, a révélé plusieurs cas où l'entreprise avait donné des conseils juridiques incorrects.
Par exemple, le robot a affirmé à tort que les propriétaires pouvaient discriminer les locataires en raison de leurs revenus et que les employeurs pouvaient empocher certains pourboires de leur prestataire de services ; les deux pratiques sont illégales à New York.
Comme d'autres modèles d'IA pilotés par les grands modèles de langage Azure AI de Microsoft, MyCity a tendance à fournir des informations inexactes ou trompeuses. En conséquence, le maire Adams a reconnu les torts de cet outil en déclarant : « Il est désactivé dans certaines zones », mais il a défendu son objectif général.
Il a déclaré que, par nature, ce type de technologie doit faire ses preuves dans des contextes réels pour mettre en évidence les problèmes et leurs solutions. Cependant, des enquêtes ultérieures ont révélé que ces tentatives ont échoué car elles alimentaient toujours de fausses allégations telles que « les entreprises n'acceptent plus les paiements en espèces », ce qui contredit la loi de New York.
MyCity AI pourrait s'avérer inefficace et nécessiter davantage de dialogues avec les avocats
Andrew Rigie, directeur de la NYC Hospitality Alliance, a salué la tentative de la ville d'utiliser la technologie basée sur l'IA tout en mettant l'accent sur la précision. Rigie a affirmé que suivre des suggestions erronées de la part de robots comme celui-ci pourrait ruiner son objectif et nécessiter davantage de dialogues avec des avocats.
En raison de cette controverse, le chatbot MyCity inclut désormais une clause de non-responsabilité avertissant les utilisateurs que les réponses peuvent être peu fiables ou incomplètes ; ils ne devraient donc pas s’en servir à des fins juridiques ou professionnelles.
Cet incident illustre à quel point il est difficile d’introduire l’intelligence artificielle dans les services publics, tout en soulignant également la nécessité d’exactitude et de fiabilité lors de l’orientation sur une base légale. Alors que les efforts se poursuivent pour améliorer le chatbot MyCity, diverses parties prenantes sont toujours à l'affût des défis qui pourraient devoir être résolus.
