Resy a interdit son propre fondateur. C’était juste.

Brian Distelburger a été l’un des fondateurs de Resy. Ainsi, lorsqu’il s’est réveillé un matin cet été et a découvert que son compte Resy était suspendu, il est important de prêter attention aux détails, car celui qui a créé cette entreprise se retrouve alors pris dans le problème.

Le mécanisme est l’histoire. Il s’avère que Distelburger avait créé sa propre IA personnelle. Pas un expérience de laboratoire : c’était une entité active au sein de la famille, chargée des tâches liées au calendrier, aux démarches scolaires des enfants, etc. Tout cela était construit à partir de composants ordinaires disponibles sur le marché. L’un de ses sous-agents surveillait les réservations de repas le jeudi, afin de trouver des endroits où manger. En d’autres termes, c’était une soirée romantique.

Il a oublié une chose : les limites de taux de réponse. Une limite de taux de réponse est un plafond sur le nombre de fois que le logiciel peut demander quelque chose au serveur – c’est ce qui empêche un utilisateur de faire des demandes incessantes. Sans cette limite, l’agent utilisait Resy comme on utilise une machine pour frapper une porte sans cesse. Le système de sécurité de Resy ne voyait qu’une machine ; il ne voyait pas la main qui tenait le contrôleur. Le lendemain matin, il reçut un e-mail très ferme, des conditions d’utilisation, et son compte fut supprimé. Il utilisait Resy depuis son lancement, et possédait une carte American Express Platinum depuis plus de vingt ans. Rien de tout cela n’avait d’importance. Il avait déjà mis en garde les autres utilisateurs : “Fixez vos limites, sinon vous risquez…”ruiner accidentellement votre mariage.

La leçon évidente ici concerne les limites à respecter. Les restrictions de taux d’utilisation, les zones de test, les contraintes… C’est ce que comprendront les personnes qui travaillent dans le domaine de l’intelligence artificielle. C’est presque juste… mais complètement faux. Un bot plus lent et plus modéré reste un bot. Le système de sécurité n’est pas un outil pour punir ceux qui utilisent l’IA trop rapidement. C’est plutôt un dispositif qui cherche à détecter une chose : une personne.

C’est ce que je veux dire. La sécurité de Resy est assurée parce que les bots et les intermédiaires nuisent aux restaurants. Les données de réservations fournies par Resy montrent que, parmi ceux qui sont considérés comme des bots ou des intermédiaires, le taux de non-présentation était…Quatre fois plus que les clients normaux.Ce sont ceux qui achètent des tables à titre spéculatif ou qui les revendent qui ne se soucient pas du fait que un restaurant perde une soirée à cause de cela. C’est l’argument que Resy et Tock ont présenté publiquement en soutenant la loi contre la piraterie des réservations de restaurants : les bots qui vendent des réservations sans le consentement du restaurant causent…Absences et annulations tardives qui affectent les petites entreprisesLorsqu’une table est vide, c’est le restaurant qui paie, et non l’algorithme. Ainsi, la plateforme a développé un filtre qui détecte des comportements que aucun véritable client ne pourrait avoir : agressions, ventes répétées… Des comportements qui indiquent qu’une personne ne se soucie pas du bien-être du restaurant.

Maintenant, c’est la partie qui devrait vous faire arrêter. Ce filtre ne fonctionnait pas sur son propre co-fondateur. Il ne le reconnaissait pas. Et il ne devrait pas le faire. Au niveau où le système perçoit le monde – volume des demandes, délais, comportements – il n’y a aucune différence entre le sous-agent chargé de planifier les repas de Distelburger et le bot de scalper. Même agression, mêmes endpoints, même absence de signification. Le système ne pouvait pas les distinguer, car cette distinction n’existe pas dans les données qu’il possède. La caractéristique qui permet de les distinguer, c’est l’intention : y a-t-il une personne derrière l’account qui se manifestera, se comportera bien, et fera en sorte que le restaurant soit satisfait d’avoir eu un client ? Cela ne s’exprime pas dans aucune demande. Il faut le déduire, et c’est cette déduction qui cause le problème.

Donc, il ne s’agit pas d’une situation où une sécurité excessive attrape des innocents. C’est simplement le produit qui fait son travail. Le co-fondateur a été démasqué parce qu’il a créé un outil qui agit exactement comme les personnes que le produit est destiné à exclure. L’interdiction n’est pas le problème ; l’interdiction fait partie du produit lui-même.

La partie déroutante, c’est le moment exact. Au début du mois,Resy et Yelp ont été intégrés dans ChatGPT.En suivant les directives d’OpenTable, qui avait déjà été intégrée depuis plusieurs mois, on peut maintenant demander à une IA de trouver un restaurant, de comparer les disponibilités et de réserver la table, tout cela dans le cadre d’une seule conversation. Un poste largement partagé résume l’état actuel des choses : les entreprises doivent désormais concevoir des solutions adaptées à deux clients : le client humain et l’agent du client humain.

Que cela reste ainsi, à côté de ce qui vient de se passer pour le co-fondateur. La plateforme construit une porte officielle pour que les agents puissent y entrer, tout en interdisant les agents non officiels qui se trouvent déjà dans le bâtiment. Ce n’est pas de l’hypocrisie, exactement. C’est plutôt un malentendu quant à la fonction de cette porte. Une porte de réservation ne résout pas le vrai problème – ce n’est pas l’interface qui manque, c’est la table. Quelqu’un perd toujours. L’ère des agents ne change pas le problème de répartition ; elle ne fait que le rendre visible d’une manière nouvelle. Nous avons passé vingt ans…Renforcer les sites web contre les botsEt maintenant, l’idée fondamentale des agents d’IA est de détruire intentionnellement ces protections, comme l’a souligné quelqu’un après tout cela.

C’est ici que je passe de la surprise à l’inquiétude. Réfléchissez à ce qui fait vraiment qu’une personne soit douée pour réserver des places avec succès. Ce n’est pas la vitesse. C’est le réseau de relations qui se construit au fil du temps : appeler le propriétaire du restaurant, venir régulièrement, montrer votre présence de manière fiable, faire savoir au restaurant que vous valez la peine d’avoir une table. Une auteure de livres sur la cuisine a bien souligné cela : l’objectif est passé de être rapide à devenir un client régulier.Je ne peux pas vous donner de plaisir ou de bonheur.Il a également utilisé un agent, mais l’a limité de manière intéressante : il lui était demandé d’indiquer uniquement les endroits qu’il préfère vraiment, quelques fois par jour, plutôt que n’importe où. Cette limitation représente donc une forme de critère de goût. C’est un moyen d’introduire une forme de jugement dans une machine qui n’en possède pas.

L’ère de l’agent présente un biais : ce biais consiste à considérer chaque problème d’allocation comme un problème de vitesse. Ce n’est pas une amélioration. C’est plutôt une substitution de ce que l’on peut automatiser – demander rapidement des informations – par ce que l’on ne peut pas automatiser – être le type de client que le système souhaite garder. On peut voir les coûts dans les données propres à la plateforme : la meilleure façon d’accéder à une table est de se comporter de manière à laisser cette table vide. C’est précisément le contraire de ce que les filtres cherchent à éviter. La vitesse et la désirabilité vont dans des directions opposées sur ce marché. L’optimisation dans une direction entraîne une dégradation dans l’autre.

Maintenant, l’acte deux : c’est la partie où les informations se succèdent rapidement. Comment le co-fondateur a-t-il récupéré son compte ? Il n’a pas envoyé d’agent pour accélérer les choses. Il a fait des demandes de réparation, à plusieurs reprises, par tous les moyens possibles. Sa persévérance était plutôt embarrassante. Et le compte lui a été rendu seulement après…Il a reconnu la violation.C’est un geste qui ne peut être effectué que par une personne. En effet, l’essentiel est que la personne elle-même doit assumer cette responsabilité. On ne peut pas automatiser l’association de cette responsabilité avec quelque chose d’autre. Le rythme vide de cette situation est ce qui fait la différence : la machine qui a déclenché l’interdiction, et l’acceptation qui a permis sa révocation, ont exactement la même fonction, mais dans deux directions différentes – pour déterminer si une personne est présente ou non.

En disant cela, l’épisode devient plus clair… et un peu effrayant. À l’époque des agents, la personnalité est une ressource rare : c’est ce qui est vérifié, c’est ce qui vous fait être banni ou libéré. Les systèmes qui effectuent ces vérifications ne peuvent pas voir cette personnalité. Ils en déduisent les comportements, mais leur déduction est si imprécise que cela entraîne l’exclusion du créateur lui-même, alors qu’il réservait des dates de rendez-vous sur sa propre plateforme. Le fossé entre les ressources importantes – la personnalité, la confiance, le goût – et les signaux que les systèmes peuvent interpréter n’a jamais été aussi grand. Car pour la première fois, des milliards d’interactions automatisées se produisent entre ces deux éléments.

Cette différence est un test qu’il vaut la peine de faire. Elle s’applique bien au-delà des restaurants : aux rendez-vous médicaux, aux places dans les campings, aux billets, à toutes ces choses rares que les agents peuvent désormais trouver. Demandez à votre agent de faire quelque chose pour vous : cela me rend-il une personne plus importante pour les personnes avec qui je travaille, ou moins ? Un agent qui réserve une table pour vous est parfait. Mais un agent qui vous aide à devenir le type de client que le restaurant est heureux d’accueillir fait quelque chose de plus significatif. Les agents qui cherchent à gagner en vitesse se dirigent vers un avenir où les plateformes, contraintes de choisir, ne feront que créer des outils encore plus puissants. Les agents qui agissent comme de bons clients se dirigent vers ce qui est plus rare : être traité comme un humain par des systèmes qui ne savent pas reconnaître cette qualité.

Il y a un détail que je veux savoir avant de considérer que tout est réglé : combien de clients ordinaires et légitimes sont entraînés dans ces filtres – pas des revendeurs, mais simplement des personnes qui ont un agent, ou même un script. Le co-fondateur de l’entreprise a reçu un e-mail avec un formulaire, mais sans aucune information sur ce que son agent a fait de mal. Un client ordinaire qui a…Banni pour utilisation d’un outil de réservation tiers.Pour des raisons de commodité personnelle, on reçoit le même traitement. Personne ne publie le dénominateur ; cela suffit pour comprendre quelque chose : les plateformes préfèrent ne pas le connaître elles-mêmes. Le fossé entre les données et le modèle économique indiquent la même direction. Un système qui ne peut pas se justifier à l’intérieur de son propre co-fondateur est donc un système sur le marché, qui ne représente pas une meilleure source d’informations sur les clients.