AI 에이전트 데모를 구축하는 데 며칠이 걸릴 수 있습니다. 해당 데모를 고객과 직원이 신뢰할 수 있는 안전하고 신뢰할 수 있는 제품으로 바꾸는 것은 훨씬 더 큰 엔지니어링 과제입니다.
프로덕션 AI 에이전트는 불분명한 요청, 사용할 수 없는 도구, 데이터 변경, 모델 오류, 보안 공격, 비용 제한 및 실제 비즈니스 결과를 처리해야 합니다. 또한 작업이 실패했을 때 무슨 일이 일어났는지 팀이 이해할 수 있도록 충분한 가시성을 제공해야 합니다.
이 가이드에서는 AI 에이전트를 프로토타입에서 프로덕션으로 이동하는 데 필요한 아키텍처, 보안 제어, 평가 프로세스 및 모니터링에 대해 설명합니다.
주요 내용
- 프로덕션 에이전트에는 프롬프트 및 API 호출뿐만 아니라 모델을 중심으로 한 완전한 시스템이 필요합니다.
- 오케스트레이션, 컨텍스트, 도구, 정책 시행 및 관찰 가능성을 명확한 계층으로 분리합니다.
- 모든 에이전트에게 고유한 ID와 해당 작업에 필요한 최소 권한을 부여하세요.
- 매 릴리스 전에 도구 호출 및 비즈니스 결과를 포함한 전체 워크플로를 평가하십시오.
- 프로덕션 환경에서 품질, 안정성, 대기 시간, 비용 및 보안을 지속적으로 모니터링합니다.
AI 에이전트를 프로덕션 준비 상태로 만드는 것은 무엇입니까?
AI 에이전트는 실제 작동 조건에서 정의된 비즈니스 작업을 일관되고 안전하며 경제적으로 완료할 수 있을 때 프로덕션 준비가 되어 있습니다. 이는 통제된 시연 중에 인상적인 반응을 보이는 것 이상을 의미합니다.
프로덕션 준비 에이전트는 다음을 수행해야 합니다.
- 해당 범위를 이해하고 해당 범위 밖의 작업을 거부합니다.
- 현재 승인된 비즈니스 정보를 검색합니다.
- 검증되고 감사 가능한 인터페이스를 통해 도구를 사용하세요.
- 시간 초과, 잘못된 결과, 부분 실패로부터 안전하게 복구하세요.
- 기밀 정보를 보호하고 즉각적인 주입을 거부하세요.
- 큰 영향을 미치는 행동을 하기 전에 사람의 승인을 구하세요.
- 모든 중요한 단계에 대한 추적, 지표 및 로그를 생성합니다.
- 측정 가능한 품질, 대기 시간 및 비용 목표를 달성하세요.
Google Cloud의 현재 지침에서는 동일한 차이가 있습니다. 즉, 데모에서 작동하는 에이전트를 구축하는 것은 팀이 장기 실행 상태, 보안, 거버넌스, 전체 에이전트 수명 주기를 관리해야 하는 대규모 에이전트 운영과 다릅니다.
프로덕션 AI 에이전트를 위한 참조 아키텍처
강력한 에이전트 플랫폼은 책임이 계층으로 분리될 때 보안 및 개선이 더 쉽습니다. 정확한 기술은 다양할 수 있지만 대부분의 생산 시스템에는 다음 구성 요소가 필요합니다.
1. 애플리케이션 및 ID 계층
이 계층은 사람과 시스템이 에이전트와 상호 작용하는 데 사용되는 사용자 인터페이스 또는 API를 제공합니다. 사용자를 인증하고, 조직 또는 테넌트를 식별하고, 비율 제한을 적용하고, 요청을 기록합니다.
사용자 ID는 작업과 함께 이동해야 합니다. 백엔드 서비스에 강력한 자격 증명이 있다는 이유만으로 에이전트가 더 광범위한 액세스 권한을 받아서는 안 됩니다.
2. 오케스트레이션 계층
오케스트레이터는 에이전트의 워크플로를 관리합니다. 목표를 해석하고, 도구를 선택하고, 상태를 추적하고, 재시도를 제어하고, 오류를 처리하고, 작업 완료 시기를 결정합니다.
가능할 때마다 모델 외부에 결정론적 비즈니스 논리를 유지하십시오. 유효성 검사 규칙, 권한 확인, 재무 계산 및 워크플로 전환은 일반 코드로 구현되어야 합니다. 모델은 실제로 언어 이해나 유연한 추론이 필요한 작업을 처리해야 합니다.
3. 모델 게이트웨이
모델 게이트웨이는 하나 이상의 언어 모델에 하나의 제어된 인터페이스를 제공합니다. 모델 선택, 대체, 시간 초과, 할당량, 캐싱 및 사용량 보고를 관리할 수 있습니다.
모든 단계에 가장 유능한 모델이 필요한 것은 아닙니다. 더 작은 모델은 요청을 분류할 수 있는 반면, 더 강력한 모델은 복잡한 계획을 처리할 수 있습니다. 작업을 적절하게 라우팅하면 품질 저하 없이 대기 시간과 비용을 줄일 수 있습니다.
4. 컨텍스트 및 메모리 계층
컨텍스트 계층은 에이전트가 결정을 내리는 데 필요한 정보를 제공합니다. 여기에는 RAG 검색, 데이터베이스 쿼리, 사용자 기본 설정, 대화 상태, 단기 또는 장기 기억이 포함될 수 있습니다.
상황은 관련성이 있고, 최신이고, 승인되고, 제한적이어야 합니다. 전체 지식 기반을 모델로 보내면 비용이 증가하고 불필요한 정보가 노출될 수 있습니다. 검색에서는 테넌트, 사용자, 문서 및 필드 수준 권한을 존중해야 합니다.
5. 도구 및 통합 계층
도구를 사용하면 상담원이 실시간 데이터를 검색하고 CRM, 티켓팅 플랫폼, 결제 서비스, 캘린더, 내부 API와 같은 시스템에서 조치를 취할 수 있습니다. 모델 컨텍스트 프로토콜 은 이러한 기능을 검색하고 사용하기 위한 표준 인터페이스를 제공할 수 있습니다.
모든 도구에는 좁은 목적, 명확한 설명, 엄격한 입력 유효성 검사, 예측 가능한 오류 응답 및 명시적인 권한 모델이 있어야 합니다. 소규모 비즈니스 관련 작업이 작동하는 경우 일반 데이터베이스 또는 셸 도구를 노출하지 마십시오.
6. 정책 및 가드레일 계층
가드레일은 에이전트가 읽고, 생성하고, 수행할 수 있는 작업을 시행합니다. 사용자 권한, 민감한 데이터, 안전하지 않은 콘텐츠, 거래 제한, 필요한 승인 및 요청된 작업이 에이전트의 목적에 부합하는지 여부를 확인할 수 있습니다.
중요한 제어는 언어 모델 외부에서 실행되어야 합니다. $1,000 이상 이체하지 말라는 메시지는 신뢰할 수 있는 재정 관리가 아닙니다. 트랜잭션 서비스는 한도를 적용해야 합니다.
7. 관찰 가능성 및 평가 레이어
이 레이어는 추적, 메트릭, 로그, 피드백 및 평가 결과를 캡처합니다. 모델 호출, 검색, 도구 실행, 승인 및 최종 결과를 통해 사용자 요청의 전체 경로를 표시해야 합니다.
OpenTelemetry의 생성적 AI 규칙은 AI 시스템 전반에 걸쳐 모델 작업, 토큰 사용, 도구 호출 및 대기 시간을 기록하기 위한 개발 표준을 제공합니다.
프로덕션 AI 에이전트를 위한 보안 제어
기존 애플리케이션 보안은 여전히 필요하지만 에이전트는 신뢰할 수 없는 언어를 해석하고 작업을 동적으로 선택할 수 있기 때문에 추가적인 위험을 초래합니다.
모든 에이전트에게 명확한 신원을 부여하세요
조직은 어떤 에이전트가 존재하는지, 각 에이전트를 소유한 사람은 누구인지, 액세스할 수 있는 대상은 무엇인지, 실행 중인 버전은 무엇인지 알아야 합니다. 전용 에이전트 ID를 사용하면 광범위한 서비스 계정을 공유하는 것보다 권한과 활동을 더 쉽게 관리할 수 있습니다.
최소 권한 액세스 적용
에이전트에게 특정 워크플로에 필요한 권한만 부여하세요. 지원 에이전트는 고객 기록을 읽고 에스컬레이션을 생성할 수 있지만 전체 데이터베이스를 내보내거나 청구 정보를 변경해서는 안 됩니다.
권한은 사용자별로 평가되어야 합니다. 에이전트는 요청하는 사용자가 직접 액세스할 수 없는 정보를 공개해서는 안 됩니다.
영향력이 큰 작업에는 승인이 필요합니다.
되돌리기 어렵거나 외부 당사자에게 영향을 미치는 작업을 수행하려면 먼저 사람의 승인이 필요합니다. 예를 들면 메시지 전송, 환불 처리, 기록 삭제, 권한 변경, 콘텐츠 게시, 프로덕션 배포 실행 등이 있습니다.
승인 인터페이스에는 모호한 확인 요청뿐만 아니라 제안된 정확한 조치 및 관련 데이터가 표시되어야 합니다.
프롬프트 주입으로부터 방어
문서, 웹사이트, 이메일 및 도구 결과에는 에이전트를 조작하도록 설계된 지침이 포함될 수 있습니다. 검색된 콘텐츠를 신뢰할 수 없는 데이터로 취급합니다. 이를 시스템 지침과 분리하고, 사용 가능한 도구를 제한하고, 의도한 작업을 검증하고, 민감한 작업에 대한 승인을 요구합니다.
비밀과 민감한 데이터를 보호하세요
자격 증명은 안전한 서버 측 비밀 관리자에 남아 있어야 합니다. 프롬프트나 모델 표시 컨텍스트에 API 키를 배치하지 마세요. 로그에서 개인 정보 또는 기밀 정보를 수정하고 프롬프트, 출력 및 도구 결과에 대한 보존 정책을 정의합니다.
안전한 실패 동작 설계
에이전트는 충분한 정보, 권한 또는 신뢰가 부족한 경우 중지하거나 에스컬레이션해야 합니다. 재시도에는 제한이 필요하며 쓰기 작업은 중복 트랜잭션을 방지하기 위해 멱등성 제어를 사용해야 합니다.
NIST의 AI 위험 관리 프레임워크 는 수명주기 전반에 걸쳐 AI 위험을 식별, 측정, 관리 및 통제하는 데 유용한 구조를 제공합니다.
출시 전 AI 에이전트를 평가하는 방법
기존 단위 테스트가 필요하지만 에이전트의 동작을 완전히 측정할 수는 없습니다. 에이전트는 다른 유효한 답변을 생성하거나, 다른 도구를 선택하거나, 유사한 요청에 대해 다른 경로를 선택할 수 있습니다. 따라서 평가에서는 개별 구성요소와 엔드투엔드 결과를 모두 다루어야 합니다.
대표적인 평가 데이터 세트 생성
현실적인 작업, 일반적인 변형, 불완전한 요청, 극단적인 사례 및 알려진 실패 시나리오를 수집합니다. 실제로 에이전트를 사용할 사람들의 사례를 포함하세요.
전체 궤적을 테스트하세요.
최종 텍스트만 평가하지 마세요. 상담원이 올바른 도구를 선택했는지, 올바른 인수를 전달했는지, 권한을 존중하는지, 신뢰할 수 있는 소스를 사용했는지, 불필요한 단계를 피했는지, 의도한 비즈니스 결과에 도달했는지 확인하세요.
보안 및 적대적 테스트 실행
프롬프트 삽입, 승인되지 않은 데이터 요청, 악성 문서, 예상치 못한 도구 출력, 승인 우회 시도, 에이전트 범위 밖의 요청을 테스트합니다.
릴리스 임계값 정의
작업 성공, 사실적 정확성, 정책 준수, 도구 정확성, 대기 시간 및 비용에 대한 최소 점수를 설정합니다. 프롬프트, 모델, 도구, 검색 논리 또는 워크플로 코드가 변경될 때마다 평가 모음을 실행합니다.
프로덕션에서 모니터링할 항목
프로덕션 모니터링은 다음 5가지 질문에 대답해야 합니다. 에이전트가 유용한가요? 맞습니까? 신뢰할 수 있나요? 안전합니까? 비용 효율적인가요?
품질 지표
- 작업 완료 및 성공적인 해결 비율.
- 사람의 수정, 거부 및 에스컬레이션 비율입니다.
- 근거 및 인용 정확도.
- 도구 선택 및 인수 정확성.
- 사용자 만족도 및 반복 사용.
신뢰성 지표
- 엔드투엔드 성공 및 오류율.
- 모델, 검색 및 도구 대기 시간.
- 시간 초과, 재시도 및 대체 빈도입니다.
- 외부 서비스 가용성.
- 부분적이거나 중복된 행동률.
비용 및 성능 지표
- 작업당 입력 및 출력 토큰.
- 성공적인 결과당 모델 및 인프라 비용입니다.
- 작업당 모델 호출 및 도구 호출 수입니다.
- 캐시 및 검색 효율성.
- 워크플로, 모델 및 도구별 지연 시간.
보안 측정항목
- 거부되었거나 범위를 벗어난 도구 요청입니다.
- 승인 요청 및 거부율.
- 비정상적인 액세스 패턴 또는 활동 급증.
- 신속한 주입 및 데이터 유출 감지.
- 활성 소유자가 없는 에이전트, 도구 및 자격 증명입니다.
Microsoft 지침에서는 AI 관찰 가능성을 일회성 설정이 아닌 지속적인 보안 및 거버넌스 관행으로 설명합니다. 배포된 AI 시스템 전체에서 남용 시나리오에 대한 관찰 범위, 평가 범위 및 원격 측정을 추적하는 것이 좋습니다.
AI 에이전트 비용 제어
하나의 사용자 요청으로 인해 여러 모델 호출, 검색 작업 및 외부 도구가 트리거될 수 있으므로 에이전트 비용이 빠르게 증가할 수 있습니다. 비용 제어는 처음부터 아키텍처의 일부가 되어야 합니다.
- 간단한 작업을 더 작거나 빠른 모델로 라우팅합니다.
- 관련 정보로 컨텍스트를 제한하세요.
- 안정적인 결과를 캐시하고 반복 검색합니다.
- 최대 단계, 재시도, 토큰 및 실행 시간을 설정합니다.
- 예측 가능한 에이전트 단계를 결정적 코드로 대체합니다.
- 토큰당 비용뿐만 아니라 성공적인 비즈니스 결과당 비용을 측정합니다.
실용적인 구현 로드맵
1단계: 워크플로 정의
하나의 좁은 작업을 선택하고, 사용자를 식별하고, 필요한 데이터 및 도구를 매핑하고, 성공 지표를 정의하고, 승인이 필요한 작업을 나열합니다.
2단계: 제어된 프로토타입 구축
가능한 경우 읽기 전용 액세스로 가장 작고 유용한 워크플로를 구현합니다. 구조화된 도구, 검색 필터, 로그 및 기본 평가 데이터세트를 추가합니다.
3단계: 제한된 파일럿 실행
에이전트를 소규모 사용자 그룹에 릴리스합니다. 실패를 수동으로 검토하고, 피드백을 수집하고, 비즈니스 가치를 측정하고, 지침과 제어를 개선합니다.
4단계: 프로덕션 강화
전용 ID, 최소 권한 권한, 승인 게이트, 적대적 테스트, 사고 대응, 모델 대체, 속도 제한 및 완전한 관찰 가능성을 추가합니다.
5단계: 거버넌스에 따른 확장
에이전트 및 소유자 목록, 재사용 가능한 아키텍처 패턴, 중앙 평가 표준, 변경 관리, 품질, 위험 및 비용에 대한 정기적인 검토를 생성합니다.
일반적인 제작 실수
- 제한된 비즈니스 운영 대신 에이전트에게 광범위한 도구를 제공합니다.
- 프롬프트를 유일한 보안 제어로 사용합니다.
- 도구 사용 및 작업 흐름 결과를 평가하지 않고 최종 답변을 테스트합니다.
- 민감한 콘텐츠를 보호하지 않고 모든 것을 기록합니다.
- 롤백, 일시 중지 또는 사고 대응 프로세스 없이 실행됩니다.
- 비즈니스 가치 대신 창출된 산출물을 측정합니다.
- 하나의 워크플로 이전에 여러 에이전트로 확장하는 것이 안정적입니다.
자주 묻는 질문
프로덕션에 바로 사용할 수 있는 AI 에이전트를 구축하는 데 얼마나 걸리나요?
좁은 개념 증명에는 몇 주가 걸릴 수 있는 반면, 안전한 생산 시스템에는 통합, 평가, 거버넌스 및 운영 테스트를 위해 추가 시간이 필요한 경우가 많습니다. 워크플로우의 범위와 민감도는 챗봇 인터페이스보다 더 중요합니다.
모든 AI 에이전트에 RAG가 필요합니까?
아니요. RAG는 상담원이 현재 또는 개인적인 지식이 필요할 때 유용합니다. 구조화된 거래에 중점을 둔 상담원은 API와 도구에 더 많이 의존할 수 있지만 일부 워크플로에서는 두 가지를 모두 사용합니다.
생산 대리인은 여러 모델을 사용해야 합니까?
항상 그런 것은 아닙니다. 요구 사항을 충족하는 가장 간단한 아키텍처부터 시작하세요. 안정성, 대기 시간 또는 비용 측면에서 측정 가능한 개선을 제공하는 경우 모델 라우팅 또는 대체를 추가하세요.
AI 에이전트가 사람의 승인 없이 작동할 수 있나요?
위험도가 낮고 되돌릴 수 있는 작업은 강력한 테스트를 거쳐 자율적으로 수행될 수 있습니다. 큰 영향을 미치는 조치는 조직의 위험 허용 범위를 기반으로 승인 또는 엄격한 결정적 제한을 유지해야 합니다.
가장 중요한 생산 지표는 무엇입니까?
비즈니스 결과와 관련된 작업 성공은 일반적으로 최고의 기본 지표입니다. 품질, 보안, 대기 시간, 비용 및 사용자 피드백 측정을 통해 지원되어야 합니다.
결론
프로덕션 AI 에이전트는 채팅 인터페이스에 싸인 모델이 아닌 완전한 소프트웨어 시스템입니다. 신뢰할 수 있는 에이전트는 명확한 범위, 계층화된 아키텍처, 보안 도구, 관련 컨텍스트, 측정 가능한 평가 및 엔드 투 엔드 관찰 가능성을 결합합니다.
Nextchain은 기업이 맞춤형 AI 에이전트, RAG 애플리케이션, MCP 통합 및 이를 안전하게 운영하는 데 필요한 소프트웨어 플랫폼을 설계하고 구축하는 데 도움을 줍니다. Nextchain 에 문의하여 귀하의 워크플로에 맞게 제작 가능한 AI 에이전트에 대해 논의하세요.
