레시는 자기 창립자를 금지했습니다. 그 결정은 옳았습니다.

브리안 디스텔부르거는 레시를 공동 창업했습니다. 그래서 이번 여름 어느 날 아침, 그가 레시 계정을 사용할 수 없게 되었을 때, 세부 사항에 주의를 기울일 필요가 있습니다. 왜냐하면 이 시스템을 만든 사람이 바로 그 상황에 처해 있었기 때문입니다.

그 메커니즘은 바로 ‘스토리’입니다. 디스텔부르거는 자신만의 AI 에이전트를 만들어냈습니다. 연구실에서 만든 장치가 아니라, 집안에서 실제로 사용되는 존재였죠. 달력 관리, 아이들의 학교 관련 일들, 각종 기록 등을 처리하는 역할을 했으며, 이 모든 것은 일반적인 부품들로 구성된 것이었습니다. 그 AI 에이전트 중 하나는 레시에서 목요일 저녁 식사 예약 정보를 확인하는 역할을 했습니다. 다시 말해, 데이트의 시간이죠.

그는 한 가지를 잊고 있었습니다. 바로 속도 제한입니다. 속도 제한이란, 소프트웨어가 서버에 요청을 할 수 있는 횟수의 한계를 말합니다. 이는 마치 사람이 같은 문을 계속해서 두드리는 것과 같지 않게 하는 장치입니다. 그런 제한이 없다면, 그 사람은 Resy를 마치 니ックス 결승전 티켓을 원하는 사람처럼 계속 두드리게 됩니다. Resy의 보안 시스템은 그저 기계일 뿐이었고, 리모컨을 쥐고 있는 손을 전혀 인식하지 못했습니다. 다음 날 아침, 강력한 내용의 이메일이 도착했고, 서비스 이용 규칙과 “부적절한 행동”에 대한 처벌 조항이 있었습니다. 그는 Resy가 시작된 이후로 계속 사용해왔으며, 20년 이상 아메리칸 익스프레스 플래티넘 카드를 사용해왔습니다. 하지만 그 모든 것은 중요하지 않았습니다. 그는 다른 개발자들에게도 경고했습니다. “규칙을 지키세요. 그렇지 않으면…”실수로 결혼생활을 망칠 수도 있어요..

여기서 분명한 교훈은 ‘제한 조건’에 관한 것입니다. 리밋 제한, 샌드박스, 제약 조치 등이죠. 이것이 바로 인공지능 전문가들이 얻게 될 이해관계입니다. 하지만 이는 거의 옳은 것이지만 동시에 완전히 잘못된 것도 있습니다. 느리고 예의바른 봇이라 할지라도 여전히 봇일 뿐입니다. 보안 시스템은 당신이 너무 빨리 행동했다고 처벌하는 기계가 아닙니다. 그것은 감지 장치이며, 한 가지 것을 파악하려고 합니다. 그건 바로 사람입니다.

이게 제가 말하고자 하는 바입니다. Resy의 보안 시스템이 유지되는 이유는 봇과 중개인들이 레스토랑에 해를 끼기 때문입니다. Resy의 예약 데이터에 따르면, 의심되는 봇과 중개인들 중에서 불참률은…정상적인 손님들보다 네 배나 많음시장적인 목적으로 테이블을 사들거나 재판매하는 사람들은, 레스토랑이 한 시간을 낭비하는 것 때문에 잠을 못 자는 사람들이 아닙니다. 이는 Resy와 Tock이 ‘레스토랑 예약 반해적행법’을 지지하며 공개적으로 제시한 주장입니다. 레스토랑의 허가 없이 예약을 재판매하는 봇들은…소규모 사업체가 겪는 불참이나 지연된 취소 문제들테이블이 비어 있을 때는 알고리즘이 아니라 레스토랑이 비용을 지불합니다. 그래서 이 플랫폼은 진짜 손님들이 보일 리 없는 행동들을 감시하는 필터를 만들었습니다. 예를 들어, 무단으로 음식을 훔치거나, 음식을 가져가거나 재판매하는 등의 행동들 말입니다. 이러한 행동들은 레스토랑의 이익을 전혀 신경 쓰지 않는 사람들의 행동입니다.

이제, 당신을 멈추게 할 부분입니다. 그 필터는 자신만의 공동 창립자에게도 작동하지 않았습니다. 그 사람을 인식할 수 없었죠. 그렇게 되어서는 안 되었습니다. 시스템이 세상을 인식하는 단계에서는 – 요청량, 시간, 행동 등 – 디스텔버거의 식사 계획 수행 서브알고리즘과 스캐너의 봇 사이에는 아무런 차이가 없습니다. 같은 방식으로 작동하며, 같은 엔드포인트를 사용하고, 같은 무의미함을 가집니다. 시스템은 그들을 구별할 수 없었습니다. 왜냐하면 시스템이 가진 데이터에는 그러한 구분이 존재하지 않기 때문입니다. 구별되는 특징은 의도입니다. 즉, 계정 뒤에 누군가가 있어서 잘 행동하고, 레스토랑이 테이블을 받아줄 수 있도록 해주는지 여부입니다. 이는 어떤 요청에서도 표현되지 않습니다. 따라서 추론해야 하며, 바로 그 추론이 문제를 일으키는 것입니다.

따라서 이는 무분별한 보안 조치가 무고한 사람을 잡아내는 경우가 아닙니다. 이는 제품이 자신의 역할을 제대로 수행하는 결과입니다. 공동 창립자는 제품이 존재하는 목적과 동일한 행동을 하는 에이전트를 만들어서 그로 인해 체포된 것입니다. 금지 조치는 문제가 아닙니다. 금지 조치 자체가 바로 제품의 문제입니다.

혼란스러운 점은 타이밍입니다. 이 달 초에…레시와 옐프가 ChatGPT 내부에서 운영되고 있습니다.OpenTable을 따라서, 이 시스템은 이미 몇 달 전부터 통합되어 있었습니다. 이제는 AI를 이용해 레스토랑을 찾고, 예약 가능 여부를 비교하며 예약을 할 수 있습니다. 널리 공유된 글에서는 이러한 새로운 상황을 다음과 같이 요약했습니다: 기업들은 이제 두 가지 고객을 위해 서비스를 설계해야 합니다 – 즉, 인간 손님과 그 손님의 에이전트입니다.

그것을, 공동 창립자에게 일어난 일과 함께 두세요. 이 플랫폼은 에이전트들이 들어갈 수 있는 공식적인 통로를 만들고 있지만, 현재 그 플랫폼에 있는 비공식적인 에이전트들은 금지되고 있습니다. 이는 위선적인 행동이 아닙니다. 단지 그 ‘통로’가 무엇인지에 대한 혼란이 있을 뿐입니다. 예약 게이트가 진짜 문제를 해결하지 못합니다. 문제는 인터페이스가 부족한 것이 아니라, 테이블이 부족한 것입니다. 여전히 누군가는 손해를 입습니다. 에이전트 체제도 할당 문제를 바꾸지 못합니다. 단지 새로운 방식으로 그 문제가 드러나는 것일 뿐입니다. 우리는 20년 동안 그렇게 해왔습니다.봇으로부터 웹사이트를 보호하기그리고 이제 AI 에이전트의 전체적인 목적은, 누군가가 이 모든 상황 이후에 지적했듯이, 그 보호 장치들을 의도적으로 무력화하는 것입니다.

이것이 바로 제가 놀라움에서 걱정으로 변하는 순간입니다. 누군가가 긴 대기 시간을 견딜 수 있는 능력을 갖추는 데 있어서 무엇이 중요한지 생각해보세요. 그건 속도가 아닙니다. 오히려 알려진 사람이 되는 과정입니다. 호스트에게 전화를 걸고, 정기적으로 방문하며, 레스토랑에 자신이 테이블을 받을 가치가 있다는 것을 보여주는 것입니다. ‘Resy’를 완벽하게 활용한 식품 작가는 이 점을 정확히 지적했습니다. 목표는 빠르다는 것에서 정기적인 방문자가 되는 것으로 바뀌었습니다.당신에게 맛이나 행복을 줄 수 없어요.그는 에이전트도 사용했지만, 그 에이전트를 흥미로운 방식으로 제한했습니다. 즉, 하루에 몇 번만 자신의 가장 좋아하는 장소들을 예약하도록 했죠. 어디든 원한다면 그렇게 할 수는 없었습니다. 이런 제한은 취향을 나타내는 매개체가 됩니다. 이는 아무런 판단력도 없는 기계 안에 판단력을 부여하는 방법입니다.

에이전트 시대에는 편향이 존재합니다. 그 편향이란, 모든 할당 문제를 속도 문제로 처리하려는 것입니다. 이는 개선된 것이 아닙니다. 자동화할 수 있는 것, 즉 빠르게 대응하는 것을 대신하여, 자동화할 수 없는 것, 즉 시스템이 원하는 고객을 유지하는 것을 선택하는 것입니다. 플랫폼의 자체 데이터에서도 그 비용을 볼 수 있습니다. 테이블에 도달하는 가장 빠른 방법은, 테이블을 비워버릴 가능성이 높은 행동입니다. 이것이 바로 필터가 거부하는 대상입니다. 이 시장에서는 속도와 가치는 반대 방향으로 움직입니다. 한쪽으로의 최적화는 다른 쪽의 최적화를 저해시킵니다.

이제 두 번째 단계입니다. 왜냐하면 이 부분은 빠르게 진행되는 과정이기 때문입니다. 공동 창립자는 어떻게 자신의 계정을 되찾을 수 있었을까요? 그는 더 빠른 에이전트를 보내지 않았습니다. 그는 가능한 모든 방법을 통해 반복적으로 요청을 보냈으며, 자신의 노력을 보여주는 방식도 다소 부끄러웠습니다. 결국 그의 계정은 그 후에야 다시 돌아왔습니다.그는 그 침해를 인정했다.그것은 오직 인간의 행동으로만 작동하는 것입니다. 왜냐하면 핵심은 인간이 그 책임을 지는 것이기 때문입니다. 책임을 자동화할 수는 없습니다. 중요한 것은 그 무작위적인 리듬입니다. 금지 조치를 유발한 기계와 그 금지 조치를 해제한 행위는 같은 기능을 두 방향에서 수행합니다. 즉, 사람이 존재하는지 확인하는 것입니다.

그렇게 말하면 그 에피소드는 이해하기 쉬워지고, 약간은 무서운 느낌도 든다. 에이전트 시대에는 ‘인격’이라는 것이 귀중한 자원이다. 감사가 이루어지는 대상, 금지되는 대상, 허용되는 대상… 그리고 감사를 수행하는 시스템들은 그것을 볼 수 없다. 그들은 행동으로부터 추론만 할 뿐이며, 그 추론은 너무나 단순해서, 제품의 창작자를 금지시킬 수도 있다. 중요한 자원들인 ‘인격’, ‘신뢰’, ‘ 취향’과 시스템이 실제로 읽을 수 있는 신호들 사이의 간극은 결코 작지 않았다. 왜냐하면 처음으로 수십억 개의 자동화된 상호작용들이 그 두 가지 사이를 통해 흘러가기 때문이다.

그런 간극은 반드시 극복해야 할 문제입니다. 그리고 이는 레스토랑뿐만 아니라, 테이블 예약, 캠핑장 예약, 티켓 예약, 의사 방문 등, 에이전트가 관리할 수 있는 모든 것에 적용됩니다. 에이전트가 당신을 위해 하는 모든 일을 생각해보세요. 그런 행동들이 내가 상대하는 사람들에게 더 좋은 사람으로 만들어주는가, 아니면 그렇지 않은가? 테이블을 예약해주는 에이전트는 괜찮습니다. 하지만 레스토랑이 기꺼이 손님을 받아줄 만한 고객이 되도록 도와주는 에이전트는 훨씬 더 큰 역할을 합니다. 속도를 내려고 노력하는 에이전트들은 결국 플랫폼들이 더 큰 힘을 가지게 되는 미래를 향해 나아가고 있습니다. 좋은 손님처럼 행동하는 에이전트들은 드물게 나타나는 상황, 즉 시스템이 사람처럼 대우해주는 상황을 향해 나아가고 있습니다.

이 모든 것이 결정되기 전에 알고 싶은 한 가지 세부 사항이 있습니다. 바로, 이러한 필터링 과정에 얼마나 많은 평범한 고객들이 연루되는지입니다. 재판매자들은 아니며, 단지 에이전트나 스크립트를 사용하는 사람들일 뿐입니다. 회사의 공동 창립자는 이메일을 받았지만, 자신의 에이전트가 무엇을 잘못했는지에 대한 구체적인 정보는 없었습니다. 평범한 고객도 마찬가지였습니다.제3자 예약 도구를 사용함으로써 금지됨개인적인 편의를 위해서라도 같은 처리가 이루어집니다. 누구도 분모를 공개하지 않는다. 그로 인해 플랫폼들은 그 사실을 알고 싶어 하지 않습니다. 데이터의 불균형과 비즈니스 모델도 같은 방향을 가리킵니다. 자기 자신에 대해 설명할 수 없는 시스템은, 고객이 누구인지에 대한 더 나은 증거를 제공할 수 있는 시스템이 되지 못합니다.