AWS re:Invent 2024 Recap: AI 2편 | 카카오페이 기술 블로그

요약: 이 글에서는 AWS re:Invent 2024의 SageMaker 및 Bedrock 업데이트를 공유합니다. SageMaker는 AI 모델 훈련 및 자원 관리 효율성을 향상했고, Bedrock의 다양한 기능으로 AI 서비스 개발을 최적화했습니다. 주요 업데이트로는 Hyperpod flexible training plans, task governance, Marketplace, Model distillation, Prompt Caching, Intelligent Prompt Routing, Knowledge Bases, data automation 등이 있습니다. 이러한 업데이트를 통해 AI 개발자는 더 쉽고 효율적으로 AI 서비스를 개발할 수 있습니다.

💡 리뷰어 한줄평

benny.ahn 이 글을 통해 AWS SageMaker와 Bedrock의 최근 업데이트 내용을 이해할 수 있었습니다. 개인과 기업에게 막연했던 AI 모델 개발과 활용에 필요한 접근성을 높여 한결 쉬운 AI 서비스를 개발할 수 있는 환경을 AWS를 통해 제공받을 수 있을 것으로 기대됩니다.

billy.j AWS의 AI 툴을 통한 다양한 활용성 및 발전에 대한 부분을 엿볼 수 있었으며, 각 툴들의 기능들을 이용하여 카카오페이에서도 활용할 수 있는 방안에 대해 폭넓게 찾아볼 수 있는 계기가 될 수 있지 않을까 생각됩니다.

시작하며

안녕하세요. 머니코어서비스파티에서 서버개발자로 일하고 있는 제이입니다. 지난 1부에서는 금융회사들이 생성형 AI 서비스를 구축하는 과정에서 직면한 고민과 이를 해결하기 위해 AWS SageMaker와 Bedrock을 활용한 사례를 살펴보았습니다. 특히, 모델 개발부터 배포, 모니터링까지 이어지는 전 과정에서 SageMaker의 통합적인 지원과 Bedrock의 API 기반 접근성을 주목했습니다.

이번 글에서는 이어서 CEO Matt Garman과 AWS AI and Data의 VP(Vice President) DR. Swami의 키노트에서 소개된 AI 서비스 SageMaker와 Bedrock의 최신 업데이트 내용을 공유드리겠습니다. 주요 기능 업데이트를 중심으로, 어떻게 AI 서비스를 더 쉽게 개발할 수 있게 되었는지 궁금한 분들에게 도움이 될 것 같습니다.

본문의 이해를 돕기 위해 SageMaker와 Bedrock의 차이점을 설명드리자면 용도와 전문성이 다르다고 할 수 있습니다.

Amazon SageMaker : AI 모델을 훈련, 배포하는 데에 필요한 통합 환경을 제공하는 전문가용 머신 러닝 환경입니다.
Amazon Bedrock : 훈련이 완료된 모델의 API를 연동하여 AI 기반 애플리케이션을 개발할 수 있으며 비전문가도 활용할 수 있습니다.

물론 SageMaker와 Bedrock을 함께 활용하면 AI 모델 개발부터 서비스 통합까지 원활히 진행할 수 있어 더욱 좋습니다.

Amazon SageMaker - 생성형 AI 개발 환경, 더 쉽고 유연하게

머신러닝의 과정은 아래 5단계로 정리할 수 있는데 모두 어려운 업무입니다.

데이터 수집
클러스터 생성
분산 모델 학습
튜닝 및 모델 최적화
성능 조정

머신러닝 과정의 각 단계 모두 많은 시간과 노력이 소요되고 실제로 유의미한 모델을 만들기 위해서는 수십 ~ 수백억의 파라미터를 최소 몇 주의 시간 동안 걸쳐 훈련시켜야 합니다. 진행 중인 훈련을 수시로 중단하고 모델이 잘 수렴하고 있는지 검사해야 하며, 이 와중에 하드웨어 장애라도 발생하면 문제가 생긴 부분을 직접 일일이 교정해야 하므로 무척 번거로운 작업입니다.

AWS에서는 머신러닝 환경을 제공하기 위해 2017년부터 SageMaker를 운영하고 있습니다. SageMaker는 클라우드 기반의 머신러닝 플랫폼으로서 AI 모델 훈련, 빌드 및 배포 기능을 제공합니다. 2023년 이후 140개 이상의 기능이 추가될 만큼 빠르게 발전해 왔습니다. 최근에는 Hyperpod 상품을 출시해 장애 복원력, 스케일링, 옵저버빌리티 등 Fully-managed 인프라를 갖춰, 머신러닝 작업 효율도 한층 높아졌습니다.

Amazon SageMaker의 발전

AWS는 나날이 폭증하는 AI 수요를 충족하기 위해 Graviton 4, Trainium 2, 10p10u(10 petabits under 10 ms) 네트워크 등 AI 하드웨어 인프라에도 대량의 투자를 진행하고 있는데요. 하드웨어 인프라를 더욱 효과적으로 활용할 수 있게 SageMaker도 발전하고 있습니다.

(NEW) SageMaker Hyperpod flexible training plans

머신러닝을 위해 다수의 워크로드와 컴퓨팅 리소스를 최적화하여 관리하는 것은 복잡한 일입니다. 머신러닝의 높은 수요를 감당하기 위해서는 여러 region과 AZ(Available Zone)를 돌면서 유휴 자원 확보 경쟁을 펼쳐야 하는데요. 자원을 확보한 이후에는 학습이 진행되는 동안 전문 기술력을 갖춘 엔지니어가 복잡한 환경을 관리해야 합니다.

이런 진입 장벽은 AI 인프라 기술력을 갖춘 기업에게는 큰 문제가 되지 않지만 그렇지 못한 많은 기업에게는 장애물이 될 수 있습니다. AWS는 인프라 관리 난이도를 줄이도록 고객이 컴퓨팅 요구량과 학습 시간대를 입력하면 SageMaker가 자동으로 자원을 관리해 주는 Hyperpod flexible training plans를 출시하였습니다. 해당 상품은 아래의 기능을 제공합니다.

용량 확보를 위한 수동 작업과 불확실성 제거
학습용 인프라 및 클러스터 자동 생성
예산과 시간제한 등 제약조건 보장

(NEW) SageMaker Hyperpod task governance

워크로드와 컴퓨팅 리소스만 신경 쓰면 좋겠지만, 실제 현업에서는 여러 부서 간 자원 배분 문제도 고려해야 합니다. 모든 부서에 충분히 할당되면 좋겠지만, 자원과 비용이 제한적이라 조율이 불가피합니다.

이런 문제를 줄이기 위해 SageMaker Hyperpod task governance를 도입했습니다. 부서 간 자원 할당을 조율해 주고, 유휴 자원을 필요한 부서에게 능동적으로 할당해 주는 등 컴퓨팅 자원의 이용률을 끌어올립니다. AWS에서는 이 기술을 이용해서 전체 자원의 이용률을 90%까지 끌어올렸다고 하는데요. 해당 상품은 아래의 기능을 제공합니다.

능동적으로 고속 컴퓨팅 리소스를 태스크에 따라 할당
높은 중요도의 task가 먼저 완료되도록 할당
실시간으로 사용량을 모니터링하며 할당 상태 점검 가능

(NEW) AI apps from partner now availabile in SageMaker

AI 업계에는 아래와 같은 유명한 AI 개발 애플리케이션 서비스가 있습니다.

comet : AI 모델 개발 시각화 및 실험 기능 제공
deepchecks : AI 모델의 품질, 컴플라이언스 평가
fiddler : 운영 환경에서 AI 모델을 검증, 모니터링, 분석
lakera : AI 애플리케이션 보안

이런 AI 개발 도구들을 이용하는 것은 아주 중요하지만 실제 업무에서 도입하려면 배포 및 성능 관리, 데이터 거버넌스, 보안 및 컴플라이언스 등을 준수해야 합니다. AWS 환경에서 사용하려면 중요 데이터가 VPC(Virtual Private Cloud) 외부로 노출되지 않게 유의해야 하고 클라우드 인프라에서 앱이 잘 동작하도록 관리해야 하기 때문에 적지 않은 공수가 필요합니다.

위와 같은 운영 문제점을 해결하기 위해 SageMaker는 third party 애플리케이션을 내재화시켰습니다. 고객은 배포 및 성능 관리, 데이터 거버넌스, 보안 및 컴플라이언스 등 인프라 운영 전반에 대한 걱정 없이 AI 개발 도구를 편하게 사용할 수 있게 되었습니다.

앞서 설명드린 사항들 이외에도 SageMaker는 SageMaker Lakehouse(AI 종합 데이터 솔루션, No-ETL), SageMaker Unified Studio(AI 통합 개발 환경) 등을 선보이기도 했습니다. 하지만 머신러닝 과정은 여전히 전문 인력과 시간을 많이 필요로 하는 과정인데요. 머신러닝 전문가가 없는 회사에서는 Amazon Bedrock 이용을 고려할 수 있습니다.

Amazon Bedrock - 본격적인 AI 서비스의 발전

AWS는 AI 모델 기반 추론 서비스인 Amazon Bedrock을 운영하고 있습니다. Amazon Bedrock을 이용하면 복잡한 AI 개발 과정 없이 빠르고 간단히 생성형 AI 기능을 활용할 수 있습니다. 아래는 Bedrock이 제공하는 기능 목록입니다.

Fully Managed FM 제공 : AI 선도 기업들의 FM을 비용 효율적으로 이용
지연 속도 및 정확성 최적화 : 정확성과 타협하지 않으면서도 지연 속도를 최적화한 추론용 FM을 이용
파인튜닝 (데이터 커스터마이징) : 실제 서비스에 관련된 도메인에 대해 파인튜닝을 통해 커스터마이징 가능
책임감 있는 AI : 잘못된 데이터나 해킹등의 위협으로부터 고객과 애플리케이션을 보호

발전해 가는 AI 서비스의 니즈에 맞춰 Bedrock에도 수많은 신규 업데이트가 소개되었습니다.

(1) FM 추가

(NEW) Amazon Bedrock Marketplace

Bedrock은 AI 선도 기업들의 다양한 FM을 제공하며 고객은 자신의 유스케이스에 맞는 모델을 선택할 수 있습니다. 특정 도메인에 특화된 100가지 이상의 다양한 모델을 사용할 수 있으므로 웬만한 유스케이스는 커버 가능할 것으로 보입니다.

이번에는 아마존에서도 자체 생성형 AI인 Amazon Nova를 출시하였습니다. 비용 성능 측면에서 경쟁력이 있음을 어필했고 멀티 모달(비디오, 오디오, 텍스트 등 다양한 포맷) 데이터를 지원하여 다양한 산업에서 활용할 수 있을 것으로 기대됩니다. 그리고 기업용 SW 개발을 위한 Poolside AI, 이미지 생성용 Stable diffusion, 영상 제작용 Luma AI 등 다양한 AI의 신규 버전도 추가되었습니다.

(2) 비용, 지연 속도 및 정확성 최적화

실제로 AI 기반 서비스를 운영하기 위해서는 지연속도, 정확도, 비용 등 여러 측면에서 균형을 잡는 것이 중요합니다. Bedrock에서는 이런 운영 니즈를 지원하기 위한 업데이트를 소개했습니다.

(NEW) Amazon Bedrock Model distillation

AI 역시 한정된 컴퓨팅 자원을 기반으로 동작하기에 모든 산업 분야에서 대형 모델을 사용할 수 없습니다. 단순하고 빠른 응답이 필요한 곳에는 소형 모델을 활용하는 것이 유리할 수 있는데요. 이제 Bedrock에서도 소형 모델을 생성하는 모델 정제(Model distillation) 기능을 제공하며 최대 5배 빠른 응답 속도, 75% 비용 절감을 할 수 있게 되었습니다.

소형 모델을 활용하면 정확도가 떨어질 수 있으므로 RAG를 이용하여 정확도를 보강하는 방법 등을 활용하는 것도 좋은 전략일 것입니다.

(NEW) Amazon Bedrock supports Prompt Caching

일반적인 AI 추론 과정은 아래와 같습니다.

프롬프트 질문
각 단어 별 해석 (encode)
메모리 처리
결과 단어 해석 (decode)
답변 전달

추론 과정은 적지 않은 비용과 성능이 필요합니다. AI 고객응대 서비스를 운영하는 로펌에 아래와 같은 질문이 반복적으로 들어오면 어떨까요? 동일한 질문에 대해 매번 추론을 해야 한다면 낭비가 심할 것입니다.

법정에서 종결되기 전에 충족해야 할 조건이 있나요? Are there any conditions that must be met before closing in court?

이에 Bedrock은 유사한 프롬프트를 처리할 때 전체 문서를 캐싱하여 재사용하는 Prompt Caching을 출시하였습니다. 이 기능을 활용하면 응답 시간 85% 및 비용 90%까지 절감할 수 있습니다.

(NEW) Amazon Bedrock Intelligent Prompt Routing

Bedrock의 API에는 길이와 복잡도가 다양한 프롬프트가 입력될 수 있습니다. 비용과 성능이 충분하면 모든 프롬프트에 대해 가장 발전된 모델을 사용하면 좋겠지만 현실은 그렇지 않습니다. 간단한 질문에는 간단한 모델, 복잡한 질문에는 복잡한 모델을 매칭하는 것이 효율적입니다.

많은 AI 서비스 개발자가 프롬프트의 길이나 복잡도를 평가하고 이를 적절한 AI 모델에 라우팅 하기 위해 많은 시간과 노력을 쏟고 있는데요. 만약 프롬프트 복잡도를 N개, 모델 K개로 구분하고 최적화 작업을 했는데, 서비스 정책의 변화로 복잡도나 모델의 개수가 변경된다면 처음부터 다시 최적화하고 검증해야 하는 어려움이 있습니다.

이에 Bedrock에는 프롬프트 라우팅 작업을 자동으로 최적화해 주는 Intelligent Prompt Routing이 출시되었습니다. 이 서비스는 프롬프트에 대해 각 모델의 성능을 예측하고, 최적의 비용과 품질의 조합을 찾아내어 라우팅 시켜줍니다. 자동화된 서비스에 대해 정확도가 우려될 수 있는데 정적이거나 극히 전문적인 사례 등이 아니라면 정확도를 유지하면서도 최대 30%의 비용 절감이 가능했습니다.

(3) 데이터 커스터마이징

생성형 AI는 만능처럼 보이지만 단점이 분명히 존재합니다. 학습 데이터에 의한 편향성, 확률적 특성에 의한 비일관성, 사실관계 오류 가능성, 윤리적 문제 등이 있습니다. 이런 문제점을 해결하는 좋은 방법으로는 기업의 축적된 데이터에 기반한 RAG를 이용한 데이터 커스터마이징이 있습니다.

위 이미지는 RAG의 예시를 보여줍니다. 고객이 AI 시스템에 노트북 배송 상태를 물어보면 기업의 주문 관리 시스템, 배송 데이터베이스에서 최신 데이터를 함께 읽어와서 높은 정확도의 응답을 제공합니다.

RAG는 무척 간단한 절차로 보이지만 실제로 구현하려면 많은 어려움이 있는데요. AI 모델이 이해할 수 있도록 기업 데이터를 실수 벡터화 해야 하며 조회 로직 커스터마이징, 적절한 프롬프트 개선 등 다양한 작업을 수행해야 합니다.

AWS는 RAG의 전체 워크플로우를 관리할 수 있는 Bedrock Knowledge Bases 서비스를 운영하고 있습니다. 기업의 데이터소스를 통합하거나 쿼리 작성에 필요한 코딩 작업을 줄일 수 있고 AI 모델과 외부 데이터소스를 안전하게 연결하는 기능도 지원합니다.

(NEW) Amazon Bedrock Knowledge Bases supports structured data retrieval

RAG 응답을 만들어내기 위해서는 여러 데이터소스에 질의하고 결과를 종합해야 하는데요. 그동안 개발자가 쿼리 생성 솔루션을 개발해야 했습니다. 이에 Bedrock Knowledge Bases에서는 쿼리를 자동으로 생성하는 structured data retrieval 기능을 제공합니다. 이 기능은 쿼리 패턴을 학습하여 정확도 높은 쿼리를 만들어냅니다.

아래 데이터소스 상품군에 쿼리 자동 생성이 가능해졌습니다.

SageMaker Lakehouse
Redshift
S3 Tables

(NEW) Amazon Bedrock Knowledge Bases supports GraphRAG

Integrating graphs for RAG is complex and time-consuming

RAG를 이용한 응답을 생성하려면 보통 여러 소스에서, 여러 문서를 읽고 knowledge graphs를 생성해 내야 하는데, 그동안 개발자가 직접 커스텀 코드를 작성해야 하므로 graphs 구축에 대한 전문지식이 필요했고 꽤 도전적인 과제였습니다.

이제 Bedrock Knowledge Bases에서는 자동으로 knowledge graphs를 생성하여 관련 있는 응답을 내려줄 수 있게 되었으므로 보다 쉽게 생성형 AI 애플리케이션을 개발할 수 있게 되었습니다.

(NEW) Amazon Bedrock data automation

대부분의 엔터프라이즈 데이터는 비정형 데이터인 경우가 많아 바로 이용하기는 어렵습니다. 이 데이터를 실질적으로 사용하기 위해서는 데이터를 가공하는 ETL(Extract, Transform, Load) 과정을 거쳐야만 비로소 정돈된 데이터를 활용할 수 있는 경우가 많습니다.

이제 Bedrock에서는 data automation을 제공하여 ETL 과정을 자동화시킬 수 있습니다. 이 자동화 과정에서 가장 우려되는 것은 환각(Hallucination)의 발생 가능성인데 콘텐츠에 confidence score, grounding 등 AI 검증 값을 함께 제공하여 해결했으며, 결과적으로 성공적인 고객 경험을 쌓을 수 있었습니다.

(4) 책임감 있는 AI

AWS는 생성형 AI의 보안과 유해 콘텐츠를 방지하기 위해 Bedrock Guardrails를 운영하고 있습니다. Guardrails는 85% 이상의 유해 콘텐츠를 방지하고 정확한 응답을 생성하는 데에 도움을 줍니다.

(NEW) Amazon Bedrock Automated Reasoning checks

AI 환각(Hallucination)은 기업들이 AI를 실제 적용하기 꺼리게 만드는 치명적인 문제입니다. 사실이 아니거나 정확하지 않은 정보를 진짜처럼 내놓는 환각 현상은 불충분한 학습 데이터, 모델의 잘못된 가정, 모델 학습에 사용된 데이터의 편향 등 다양한 요인으로 인해 발생할 수 있습니다. 환각은 의료 진단이나 금융 거래와 같은 중요한 결정을 내리는 AI 시스템에 치명적인 문제를 일으킬 수 있습니다.

환각을 해결하기 위해 Bedrock에는 Automated Reasoning checks라는 기능이 출시되었습니다. Automated Reasoning이란 세상의 논리적 이치를 수학적으로 증명하는 개념을 컴퓨터에 도입하여, 명확한 수치적 증명이 가능한 ‘진실’을 기반으로 주어진 질문 또는 상황에 대한 판단을 수행하고 답변을 도출하는 것을 의미합니다. AWS는 해당 기술을 provable security라는 이름으로 아키텍처 분석 및 보안 취약점 검토 등에 활용 중입니다.

이제 사용자의 요청에 따라 AI에서 생성한 답을 Automated Reasoning으로 검토하고 검증된 답변만 전달하는 형태의 AI 서비스를 할 수 있게 되었습니다.

(NEW) Amazon Bedrock Guardrails Multimodal toxicity detection

최근 업계에서는 멀티모달 데이터를 다루는 수요가 증가하고 있는데요. 이제 Bedrock Guardrails에서도 이미지 콘텐츠에 대해서 safeguard를 구성할 수 있게 되었습니다. 온라인 광고 업체가 이 기능을 이용한다면 고객에게 증오, 폭력, 사기 등 유해 가능성이 높은 이미지 노출을 방지할 수 있습니다. 이 기능은 Bedrock이 지원하는 모든 모델에 적용할 수 있고, 파인튜닝된 모델에도 사용할 수 있습니다.

마치며

이번 2부에서는 AI 서비스 개발 도구 SageMaker와 Bedrock의 최신 업데이트를 공유드렸는데요. 새로 소개된 업데이트들을 통해 복잡한 인프라 관리 부담을 덜고, 비용 최적화와 데이터 활용도를 높이는 데 크게 도움이 될 것 같습니다. 이젠 AI 전문가가 아니어도 Bedrock을 이용하면 AI 선도 기업들의 우수한 모델을 기반으로 AI 서비스를 개발할 수 있는데요. 이 글이 AI를 실제 서비스에 적용해보고 싶은 분들에게 도움이 되었으면 좋겠습니다.

저 역시 다양한 AI 세션을 참관하면서 AI 시대에서 사용자를 위해 어떤 노력을 해야 할지 배울 수 있었고, 이 경험을 여러분께 공유하면서 더욱 성장한 것 같아서 뿌듯함을 느낍니다. 저희 카카오페이도 더 나은 사용자 경험을 제공하기 위해 금융 전문가 AI 서비스를 개발하고 제공하고 있는데요. 앞으로 발전해 나갈 카카오페이 서비스에 많은 관심 부탁드립니다.