에이전트형 AI는 이미 금융 분야에서 사용되고 있습니다. 하지만 글로벌 감시 기관은 이러한 기술의 도입이 시스템적 위험을 더욱 증가시킬 수 있다고 경고합니다.

에이전트형 AI는 질문의 방향을 ‘예측’에서 ‘제어’로 바꾼다.

시장에서는 여전히 AI를 금융 분야에서의 혁신적인 기술로 인식하고 있습니다. 하지만 이를 단순한 모델로만 볼 필요는 없습니다. 보다 신중하게 바라봐야 합니다.행동-통제이야기.

지난 10년과의 주요 차이점은, 예측 능력이 더 좋아진 것이 아니라, 작업을 위임하는 방식의 실행 방식이 달라졌다는 것입니다. 이전에는 인공지능이 주로 인간의 판단을 보조하는 역할을 했지만, 이제는 인공지능이 직접 작업을 수행할 수 있게 되었습니다.신용 점수 평가, 사기 행위 탐지, 감시 시스템, 예측 분석그리고 문서 처리도 마찬가지입니다. 에이전시형 AI는 단순히 인간에게 행동을 지시하는 것뿐만 아니라, 계획을 세우고 각종 도구를 사용하여 작업을 진행할 수 있습니다. 즉, 인간의 역할을 대신하는 것이죠.

그러한 구분은 중요합니다. 왜냐하면 입양은 이미 실제로 존재하는 것이지, 이론적인 개념이 아니기 때문입니다. 케임브리지 조사에서도 그렇습니다.52%의 경우, 활성화된 에이전트가 사용되고 있었다고 답했습니다.그 중에서도, 23%는 확장이나 전환을 진행 중이었고, 29%는 실험 단계에 있었습니다. 인공지능이 단순한 조언에서 실제 행동으로 이어질 때, 평가의 기준은 더 이상 모델의 품질만으로 결정되지 않게 됩니다. 대신, 문제가 발생했을 때 결과를 어떻게 통제할 수 있는지가 중요한 요소가 되게 됩니다.

그래서 황소와 곰의 갈등이 그렇게 심한 것입니다. 황소들은…효율성 향상더욱 엄격한 운영이 필요합니다. 베어스는 새로운 오류가 발생할 가능성이 있다고 보고 있습니다. FSB는 자율적인 AI 시스템이 허가되지 않은 행동을 초래하거나, 데이터 유출을 일으키거나, 연결된 시스템에 혼란을 가져올 수 있다고 경고하고 있습니다. 이러한 위험들은 빠르게 현실화될 수 있습니다. 이제 시장에서는, 효율성을 높이는 기업들과, 더 엄격한 감독과 느린 출시 과정을 감수해야 하는 기업들을 구분해야 합니다.

왜 규제 기관들은 속도, 협력, 그리고 공통된 문제점에 집중하는가?

긍정적인 측면도 있지만, 동시에 위험도 함께 증가합니다.

기업들은 명성이나 이익을 위해 AI를 활용하고 있지 않습니다. 경제적 이점이 분명합니다. 가트너에 따르면, 더 나은 데이터를 활용할 수 있다는 점이 바로 그 이점입니다.정확도가 최대 80%까지 향상됩니다.2027년까지는 비용이 최대 60%까지 절감될 것입니다. 하지만 이러한 긍정적인 측면과 함께, 실패할 가능성도 함께 증가합니다.

에이전트가 단순히 추천만 하는 경우, 나쁜 결과는 주로 수정 작업에 따른 비용일 뿐입니다. 하지만 에이전트가 실제로 행동을 취하는 경우, 같은 오류가 실제 손익으로 이어질 수도 있고, 유동성 문제나 결제 관련 문제를 야기할 수도 있습니다. 규제 기관들은 이러한 인사이트와 실제 행동 사이의 엄청난 차이에 주목하고 있습니다.

지불 내역을 보면, 지역적인 오류가 어떻게 확산될 수 있는지를 알 수 있습니다.

첫 번째 전송 경로는 결제입니다. BIS의 설명에 따르면, 에이전트형 AI는 움직이는 존재라고 합니다.명시적으로 인간이 내리는 지시에 따라, 에이전트가 결정을 내리는 방식으로 거래가 시작됩니다.이는 확률적 행동과 결정론적 요구사항 사이에 긴장감을 조성합니다.

실제로는, 잘못된 라우팅 결정이나 적절하지 않은 유동성 조치, 혹은 잘못된 준법 감시 체계 등으로 인해, 문제가 하나의 워크플로우에서 다음 워크플로우로 전파될 수 있습니다. 그리고 이 문제는 단 한 기관에만 국한되지 않습니다. 같은 모델을 제공하는 공급업체나 오케스트레이션 레이어, 데이터 파이프라인도 여러 회사에 영향을 미칠 수 있습니다.

데이터 컨텍스트는 숨겨진 증폭器와 같은 역할을 합니다.

이곳에서 가트너의 주장이 중요해집니다. 문제는 종종 데이터가 맥락 없이 처리된다는 것입니다. 추상적인 모델이 잘못된 것이 아니라, 의미 있는 관계나 비즈니스 규칙, 데이터의 연관성 등이 부족하기 때문입니다. 그렇다면 에이전트들은 잘못된 전제에 기반하여 행동할 수밖에 없습니다.

이는 시스템의 안정성에 중요한 요소입니다. 데이터의 품질이 좋지 않은 경우는 드물게 발생하기 때문입니다. 주요 데이터의 오류나, 구식의 참조 데이터, 혹은 일관성이 없는 태그 설정 등은 여러 처리 과정을 동시에 손상시킬 수 있습니다. 에이전트 기반의 워크플로우에서는 이러한 문제가 단순한 “데이터 문제”로 남아 있지 않습니다. 오히려 이는 함께 발생하는 실행 문제가 됩니다.

제3자에 의한 집중화는 단일 공급업체를 큰 위협으로 만들 수 있습니다.

FSB가 이를 주의 깊게 살펴보고 있습니다.몇몇 중요한 제3자 제공업체에 대한 의존도그리고 이는 심각성, 집중도, 대체 가능성과 관련된 취약점들도 포함됩니다. 이것이 바로 두 번째 증폭 요소입니다. 만약 여러 은행, 결제 회사, 자산 관리 회사가 동일한 에이전트 플랫폼이나 모델 서비스를 사용한다면, 단일적인 장애가 발생했을 때 그 문제가 전체 산업으로 빠르게 확산될 수 있습니다.

영국의 논의도 같은 방향으로 진행되고 있습니다. 당국자들도 이러한 기회를 인정하고 있습니다.AI의 안전한 활용외부 AI 제공업체에 너무 의존하는 것도 위험합니다. 규제의 한계는 혁신 그 자체가 아니라, 취약한 제어 시스템에 대한 과도한 의존입니다.

투자자들이 주의해야 할 점은, 도입 비용의 차이입니다.

시장에서는, 에이전트형 AI를 단순한 생산성 향상 수단으로 보는 경향이 줄어들고 있습니다. 대신, 에이전트형 AI를 행동 제어 장치로 보는 시각이 점점 더 커지고 있습니다. 이러한 변화는 적절한 시기에 일어나고 있습니다.수용 속도가 빨라집니다.같은 시점에, 규제 당국들은 새로운 통제 조치가 필요하다고 요구했으며, 각 기업들이 안전장치를 마련해야 한다고 강조했습니다. 이는 명확한 의미를 가집니다. 즉, 인공지능 관련 발표를 하는 모든 기업에게 동일한 혜택을 주어서는 안 됩니다. 안전장치를 구축하고 있는 기업과, 단순히 모델을 작업 흐름에 연결하는 기업을 구분해야 합니다.

아마도 승리할 가능성이 있는 사람들

아마도 성과가 좋을 것으로 예상되는 기업들은, 이미 데모 단계를 넘어선 기업들일 것입니다. 케임브리지의 데이터에 따르면, 이러한 기업들은 단순히 실험만 하고 있는 것이 아니라, 대규모로 적용하거나 변화를 추진하거나, 새로운 기능을 시험하는 중입니다. 이는 중요한 점입니다. 왜냐하면 에이전트 기반 AI는 단순한 소프트웨어가 아니기 때문입니다. 에이전트 기반 AI는 특정 목적을 위해 설계된 것입니다.엔터프라이즈 도구 및 워크플로우와 통합됩니다.또한, 어느 정도의 위임된 권한도 행사할 수 있습니다. 실행이 시스템에 내장된 경우, 모델 접근 방식은 구현 품질로 전환됩니다.

바로 그곳에서 가트너의 아이디어가 실제로 투자될 수 있습니다. 더 나은 데이터를 활용할 수 있는 회사들은 큰 도움이 될 것입니다.AI의 성능을 향상시키는 방법반면, 보다 약한 설정의 경우, 자동화에 투자함으로써 여전히 신뢰할 수 없는 결과를 얻게 될 위험이 있습니다. 실제로는 시장은 단순히 속도가 빠르다는 것만을 고려하지 않고, 더욱 엄격한 작업 흐름 관리, 명확한 책임 체계, 그리고 더욱 깔끔한 데이터 구조를 가진 기업들을 선호해야 합니다.

앞으로 몇 분기 동안의 감시 위치들

이러한 신호들을 주의 깊게 살펴보세요:

• 지원이 계속 확대되고 있는 반면, 통제 실패나 재작업, 규제 관련 문제는 여전히 제한적입니다. 만약 이러한 상황이 계속된다면, 그 위험성에 대한 평가는 아마도 과장된 것이 될 것입니다.
• 기업들은 에이전트들이 핵심 작업 흐름 내에서 얼마나 자유롭게 행동할 수 있는지를 공개합니다. 특히, 에이전트들이 관련된 작업에 어떻게 참여할 수 있는지도 함께 명시되어 있습니다.승인, 유동성 관리, 결제, 규정 준수또는 운영의 회복력입니다.
• 데이터 환경이 취약한 회사들은, 에이전트 기반의 자동화 시스템을 신뢰할 수 있는 생산 자동화 시스템으로 전환하는 데 어려움을 겪습니다.
• 소수의 모델, 클라우드 또는 오케스트레이션 관련 공급업체에 대한 집중도가, 공개된 정보나 감사 보고서에서 더욱 두드러지게 나타납니다.