AWS re:Invent 2024 Recap: AI 1편 | 카카오페이 기술 블로그

요약: 이 글은 AWS re:Invent 2024에서 발표한 금융 회사의 생성형 AI 서비스 구축 사례를 소개합니다. 헤지펀드 브릿지워터는 AI를 활용해 시장분석을 자동화하고, 미쓰비시 UFJ 은행은 고객 맞춤형 금융 상품 제공을 위해 AI를 도입했습니다. 암호화폐 거래소 Crypto.com은 AI로 뉴스 감정을 분석하여 시장 변화를 예측합니다. 세 회사는 AI를 통해 업무 효율성을 높이고 고객 경험을 향상했으며, FMOps 방법론을 활용해 AI 서비스를 지속적으로 개선합니다.

💡 리뷰어 한줄평

benny.ahn 금융 분야에서 생성형 AI의 무한한 가능성을 엿볼 수 있었고, 앞으로 이 기술이 어떻게 발전하고 적용될지 기대됩니다. 특히 AWS 제품을 활용하여 AI 모델의 정확도를 높이는 다양한 방법들이 제시된 점이 인상적이었습니다.

billy.j AI를 사용하는 다양한 사례를 통해서 현 세계 시장의 트렌드를 한눈에 볼 수 있음을 느껴 유익한 글이었습니다.

시작하며

안녕하세요. 머니코어서비스파티에서 서버개발자로 일하고 있는 제이입니다. AWS re:Invent 2024의 주인공은 AI라고 말씀드릴 수 있을 정도로 많은 기업 구축 사례와 AI 상품의 업데이트가 소개되었습니다.

AWS CEO Matt Garman은 생성형 AI가 미래 애플리케이션의 핵심 요소가 될 거라고 전망했습니다. AWS AI and Data의 VP(Vice President) DR. Swami 역시 AWS의 AI 상품으로 다양한 분야에 전례 없는 속도로 AI를 적용할 수 있다고 강조했습니다. 또한, 생성형 AI를 기반으로 빠른 고객 응대, 광고 콘텐츠 생성, 소프트웨어 개발 보조 등 다양한 서비스가 출시되고 있다고 언급했습니다.

AWS는 생성형 AI 구축을 위한 다양한 상품을 제공하며, 이를 3가지 스택으로 분류하여 사용자가 목적에 맞게 선택하고 활용할 수 있도록 지원합니다.

애플리케이션 계층 - LLM과 FM을 활용한 혁신적인 서비스 개발 : 소프트웨어 개발, 비즈니스 업무 등에 사용할 수 있습니다.
도구 계층 - LLM/FM 기반 AI 애플리케이션 개발 지원 : 학습이 완료된 LLM이나 FM을 연동해서 AI 응용 애플리케이션을 개발할 수 있습니다.
인프라 계층 - LLM/FM 학습 및 추론을 위한 최적의 환경 제공 : GPUs, Trainium 등 Chip 하드웨어와 SageMaker, Neuron 등 학습 소프트웨어를 통해 생성형 AI를 훈련하고 추론시킬 수 있습니다.

LLM : 거대 언어 모델(Large Language Model). 자연어를 이해하고 생성하는 딥 러닝 모델

FM : 기반 모델(Foundation Model). 자연어 처리를 포함한 이미지, 음성 등 다양한 형태를 이해하고 생성하는 딥 러닝 모델

저희 카카오페이는 테크핀 기업으로서 사용자에게 이로운 금융 경험을 제공하기 위해 금융 전문가 AI 개발에 역량을 투자하고 있는데요. 이번 re:Invent에서도 금융 분야에서 생성형 AI를 활용한 서비스 구축 사례가 소개되었고 이를 공유드리고자 합니다.

본 포스팅은 총 2부로 나누어 전달합니다. 1부에서는 금융회사의 생성형 AI 서비스 구축 사례를 중심으로 작성했으며, 비개발자도 충분히 이해할 수 있는 내용입니다. 2부에서는 SageMaker, Bedrock 등 AI 서비스 개발 도구의 최신 업데이트 상황을 공유드리고자 합니다. 해당 내용은 개발 관련 자세한 내용이 궁금한 분들께 적합한 내용임을 참고해 주세요!

금융회사의 생성형 AI 서비스 구축 사례 공유

금융 서비스 생성형 AI 구축 사례로 생산성을 넘어: 생성형 AI를 활용해 금융 서비스에서 성장하는 생산성 세션 내용을 소개드리겠습니다. 본 세션에서는 헤지펀드, 은행, 암호화폐 거래소 등 다양한 분야에서 생성형 AI를 활용한 업무 개선 성과를 발표했습니다.

헤지펀드 브릿지워터(Bridgewater) 사례

미국의 헤지펀드인 브릿지워터는 설립 후 50여 년간 자본시장에 대한 리서치와 투자를 수행했습니다. 이 기업은 AI의 잠재력을 인지하고 적극적으로 투자하여 2024년 9월 23일에는 약 3조 원 규모의 AI 기반 펀드를 출시했습니다. 예를 들어, 미국 대통령 선거 결과에 따른 중국 상품 관세 정책의 영향이나 연준의 양적 긴축이 채권 시장에 미치는 영향 등을 분석합니다.

AI로 개선하는 금융 리서치 사이클

AIA Labs apply AI and ML to financial markets

브릿지워터의 AI 부서 AIA Labs는 기존 리서치 사이클에 AI를 접목시키고 있습니다. 이 AIA 시스템은 시장의 다양한 경제지표를 LLM에 입력하여 인과관계 맵(Causal Map)을 생성하고 시스템 분석을 통해 최종 결과물을 제작합니다. 모든 과정을 진단 가능하도록 구축하고 지속적인 전문가의 피드백을 통해 개선이 가능한 시스템을 개발하고 있습니다.

AI로 추출한 인과관계 맵 데모

단기 금리의 변화는 성장, 인플레이션, 그리고 그에 따른 주식과 채권 시장 수익률에 어떤 영향을 미칩니까? How do changes in short term interest rates influence growth, inflation and the subsequent effects on equity and bond market returns?

위의 이미지는 복잡한 경제 질문에 대해 AIA 시스템이 생성한 인과관계 맵 데모입니다. 단기 금리의 변화가 경제와 시장에 미치는 영향을 단 10초 만에 인과관계 맵 형식으로 정리하고 주요 키워드 4가지로 일목요연하게 요약해주기도 하였습니다.

직접적인 시장 영향 (Direct Market Effects)
경제적 전파 (Economic Transmission)
성장과 인플레이션 역학 (Growth and Inflation Dynamics)
시장 수익률 (Market Returns)

시스템 아키텍처

AIA 리서치 시스템은 Bedrock, EKS 등 AWS 인프라 기반으로 구축되었습니다. Textract OCR 솔루션을 활용하여 다양한 금융 문서의 비정형(Unstructured) 데이터를 활용했을 것으로 보이기도 하는데요. 2부에서 다루겠지만 비정형 데이터를 정형 데이터로 자동 변환하고 저장하는 Amazon Bedrock data automation 서비스가 이번 re:Invent에 새롭게 등장했습니다. 비정형 데이터 처리에 어려움을 겪는 많은 기업들이 AI를 도입하는 데에 많은 도움을 줄 것으로 기대됩니다.

비정형 데이터 : 미리 설계된 모델이나 구조로 구성되지 않은 데이터. 이메일, PDF, 이미지, 비디오, SNS 게시물 등이 해당.

미쓰비시 UFJ 은행(MUFG) 사례

미쓰비시 UFJ 은행은 일본에서 가장 큰 규모를 자랑하며 세계적으로 백만의 기업 고객을 보유한 은행입니다. 2024년 3월 기사에 따르면 AI를 활용하여 2026년까지 온라인 중소기업 대출을 3배로 늘릴 예정이며, 대면 상담이나 물리적인 문서 제출 없이 하루 만에 최대 1,000만 엔의 대출을 제공하는 것을 목표로 하고 있다고도 밝혔는데요. 은행은 더 나은 고객경험을 제공하기 위해 2023년부터 생성형 AI를 도입해서 더욱 적합한 금융 상품을 제공할 수 있게 되었다고 합니다.

고객 경험을 위한 주요 활동

은행의 고객들은 금융 리스크에 항상 노출되어 있습니다. 만약 대출 금리가 올라간다면 대출 이자 증가, 상품 수출입 영향 그리고 금융 거래 활동 제약 등 기업 활동에 지장이 생길 수 있습니다. 은행은 이런 고객들을 위해 적합한 금융 솔루션을 제시간에 제공하는 것을 중요하게 생각하고 있습니다.

하지만 적절한 금융 솔루션을 제공하는 것은 고객마다 수백~수천 쪽의 문서를 며칠 동안 읽고 제공할 상품을 결정해야 하는 상당히 고된 작업이기도 합니다. 은행은 전문적이고 고된 이 작업을 생성형 AI를 도입하여 개선하도록 결정했습니다.

비정형 데이터를 효과적으로 처리하기 위한 LLM 도입

금융 문서는 표와 같은 비정형 데이터를 포함합니다. 비정형 데이터를 처리하기 위해 기존 AI 모델을 검토했으나 학습 데이터가 부족해 실질적으로 활용하기는 어려웠습니다. 이에 따라, 은행은 비정형 데이터 처리를 위한 LLM을 도입하기로 결정했습니다. LLM을 활용해 데이터를 HTML과 같은 구조화된 형식으로 변환할 수 있었습니다. 데이터 추출의 정확도를 올리기 위해 관계없는 데이터 태그를 제거하는 튜닝 작업을 반복했으며, 정확도를 최대 90% 정도까지 달성했습니다.

GenAIOps 방법론을 통한 생성형 AI 서비스 개발

은행은 생성형 AI 모델을 기본 모델로 삼아 아래 개발 과정을 반복했습니다.

금융 문서에 기본 프롬프트를 적용하여 AI draft 데이터 생성
인간이 개입하여 AI draft 데이터 조정
고객 피드백 저장
고객 피드백 기반 프롬프트 개선 및 RAG 적용
업데이트, 품질 향상 자동화

RAG(Retrieval-augmented generation; 검색-증강 생성) : LLM은 방대한 양의 텍스트 데이터를 사전 학습하여 강력한 언어 이해 및 생성 능력을 갖추고 있지만, 학습 데이터에 없는 최신 정보나 특정 도메인 지식은 제공하기 어렵다는 단점이 있습니다. RAG는 이러한 LLM의 한계를 극복하기 위해 ‘지식 검색’과 ‘언어 생성’을 결합한 프레임워크입니다. RAG의 기본 아이디어는 질문에 답하기 위해 필요한 지식을 외부 데이터베이스에서 검색하여 활용하는 것입니다.

개발 부서는 AI 비전문가인 영업 직원도 쉽게 사용할 수 있는 서비스를 개발하는 것이 목표였으므로 영업 직원이 입력한 프롬프트와 피드백을 바탕으로 AI를 개선했습니다.

금융 분석 서비스 데모

위 이미지는 영업 직원이 활용하는 금융 분석 서비스 데모입니다. 회사명, 분석 타입(기업 개별 분석, 경쟁사 분석, 금융 이슈 분석), 장부 타입(대차대조표, 손익계산서, 현금흐름표) 등을 입력하면 금융 분석 리포트를 생성합니다. 대화형 UI가 제공되어 ChatGPT처럼 원하는 형태로 자유롭게 분석 결과를 받을 수 있으며 데이터셋, 금융 리포트 및 그래프 등 다양한 형식의 자료를 제공합니다.

숙련된 직원도 며칠 걸리던 작업을 금융 분석 서비스로 이제는 1~2분 만에 완성할 수 있습니다.

시스템 아키텍처

아키텍처를 보면 SageMaker, Bedrock을 기반으로 서비스를 구축한 것을 볼 수 있습니다. Lambda를 통해 프롬프트가 인입되면 Bedrock에서 적절한 응답을 생성하고 SageMaker로 모델을 학습시켜서 AI 모델을 지속적으로 개선해 나갑니다. 프롬프트, 각종 문서, 채팅 내역 등 데이터는 S3, DynamoDB에 저장한 다음 SageMaker를 이용해서 쉽게 분석할 수 있습니다. 현재 플로우에는 SageMaker로 인간의 개입이 필요하지만 가능한 한 빨리 자동화를 하는 것이 목표입니다.

생성형 AI 모델은 Anthropic 사의 Claude 3.5 Sonnet을 이용했고 Batch 추론으로 구축했는데 On-demand 보단 비용이 저렴하고 안정적이었기 때문입니다. 기업 고객을 대상으로 하고 금융 자료의 특성상 Batch 방식이 적절했을 것으로 보입니다.

총 개발 기간은 3개월 이상 소요되었는데 개발 과정 동안에도 고객에게 서비스를 제공하면서 매우 빠른 리포트 생성 속도로 인해 생성률은 10배 증가, 상품 판매 전환율은 30% 이상을 유지했습니다. 발표자는 이런 성과를 창출할 수 있었던 것은 클라우드, AI 전문가를 포함한 개발 부서뿐만 아니라 사업 부서 그리고 AWS 담당 부서의 헌신적인 참여로 가능했다고 말했습니다.

Crypto.com 사례

Crypto.com은 1억 명 이상의 회원과 4천 명의 임직원이 있는 매우 큰 규모의 암호화폐 거래소입니다. 암호화폐 시장은 주식시장에 비해 뉴스나 SNS에 포함되는 감정(Sentiment) 요소로 인해 시세 변화가 발생할 확률이 높은데요. Crypto.com은 LLM을 도입하여 뉴스와 SNS의 감정을 분석하고, 시장 변화를 고객에게 빠르게 전달합니다.

감정 분석 사례

위의 이미지는 감정 분석의 예시를 보여줍니다. 좌측은 시스템에 입력되는 프롬프트이고 우측은 입력되는 뉴스 2개와 결과물에 대한 예시입니다. 이 감정 분석 기능은 암호화폐를 다루는 뉴스의 문맥을 이해하여 암호화폐 별 시세 방향성을 token, sentiment 짝으로 생성하는 기능을 제공합니다. 동시간대의 여러 뉴스를 종합하여 시세 방향성을 추론합니다.

프롬프트의 구조는 아래와 같습니다.

입력되는 뉴스가 암호화폐와 관련이 있다면 감정을 분석, 결정하고 제공하라.
뉴스 데이터
특정 암호화폐의 시세가 강세/약세/중립 중 어디에 속할지 추출하라.
암호화폐가 특정되지 않는다면 빈 JSON 배열을 리턴하라.

프롬프트에 입력되는 뉴스는 아래와 같습니다.

뉴스1. Galaxy Digital 사에서 500 BTC를 3,100만 불에 구입하기로 했다.
뉴스2. Blackrock CEO는 트럼프와 해리스 중에 누가 대통령이 되더라도 비트코인의 미래는 밝다.

결과는 아래와 같습니다.

뉴스1, 뉴스2 종합 결과 : {"token":"btc", "sentiment":"bullish"} -> 비트코인 강세

이렇게 구축한 뉴스 분석 시스템의 정확도는 90% 이상을 달성했다고 하는데요. 어떻게 구현했는지 알아보겠습니다.

다국어에 대한 전처리 진행

Crypto.com은 90개국, 25가지 언어에 대해 암호화폐 서비스를 하고 있습니다. 전 세계에 통용되는 암호화폐 특성상 다양한 언어로 뉴스가 생성되는데요. 대부분의 LLM은 영어 위주로 학습이 되었기 때문에, 다국어를 LLM에 바로 적용하기보단 영어로 번역하는 전처리 과정을 도입하여 정확도를 올리기로 결정했습니다.

번역하는 전처리 과정을 구현하기 위해 Amazon Bedrock Converse API를 이용하여, 여러 생성형 AI 모델을 테스트하면서 번역 성능이 우수한 모델을 결정했습니다.

멀티 에이전트 합의 방식을 통한 정확도 향상

거래소는 전처리된 뉴스를 하나의 AI 모델에만 입력하는 것이 아닌 멀티 에이전트 합의 방식을 이용하여 정확도를 더욱 올렸습니다.

멀티 에이전트는 아래 요소로 구성되었습니다.

Bedrock(Claude 3 Haiku): 새로운 모델을 적용하기 쉬운 장점. Claude 3 Haiku 모델 지정.
SageMaker(fine-tuned Llama 3 8B): Llama 3 8B를 베이스로 파인튜닝을 거친 모델이며 리더로 지정.
3rd party GPT: LLM 중 유명한 GPT를 참조 용으로 활용.

3가지 멀티 에이전트는 병렬로 평가를 수행하며 전체 합의에 도달하면 이를 즉시 Dataset에 저장합니다. 만약 합의에 도달하지 못한 경우에는 다수 혹은 리더를 선택하는 우선순위에 따라 Dataset에 저장합니다. Dataset 저장이 완료되면 해당 데이터를 리더 모델에 다시 파인튜닝하는 개선 과정(5)을 거쳐서 Leader 모델의 성능을 지속적으로 향상합니다. 이 멀티 에이전트 합의 구조를 개발하여 6주 만에 90% 이상의 높은 정확도를 달성하고 서비스 오픈까지 할 수 있었습니다.

Crypto.com의 사례뿐만 아니라 실제로 AI를 도입하는 많은 기업들이 정확도를 올리기 위해 멀티 에이전트 구조를 이용하는 편입니다. 이런 니즈에 맞춰 이번 re:Invent에서도 멀티 에이전트를 더욱 쉽게 구현할 수 있는 Multi-agent collaboration capability for Amazon Bedrock이 발표되었습니다.

시장의 변화와 뉴스의 감정을 융합하는 도전

Solution Potential - Generate time-based market analysis

이 기업은 감정 분석의 성공 사례를 바탕으로 새로운 도전을 하려고 합니다. 시장 데이터와 뉴스 감정 요소를 융합하여 RAG의 지식 베이스로 삼고 고객 Q&A에 활용하겠다는 것입니다. 최신 데이터를 정확하게 다뤄야 하는 암호화폐 시장에서 RAG 기반 Q&A 시스템 구축이 성공한다면 고객과 인간 상담원 모두에게 좋은 경험을 제공하게 될 것으로 기대됩니다.

마치며

3명의 발표자들은 생성형 AI를 도입하면서 기존 업무의 효율성이 최대 10배까지 증가했고 고객의 경험 또한 향상되었다고 말했습니다. 생성형 AI는 무척 강력한 도구이지만 안전하고 효과적인 금융 서비스를 제공하기 위해서는 높은 정확도가 필요한데요. 생성형 AI 특유의 환각 현상 및 허위 정보를 최소화하고 변동성이 큰 금융 시장 정보를 신속하고 정확하게 처리해야 합니다. 이를 위해 발표자들이 핵심으로 짚었던 것은 체계적이고 반복적인 AI 개발 과정을 수립하는 것이었습니다. 특히 실제 고객으로부터 피드백을 얻고 반복하여 개선하는 과정을 강조했습니다.

이처럼 최근 IT 업계에서는 생성형 AI 서비스를 개발하기 위한 방법론으로 FMOps(GenAIOps)를 채택하고 있습니다. 이 방법론은 생성형 AI 모델을 선정하고 파인튜닝하는 FM/LLM 엔지니어링, 애플리케이션 성능 개선을 위한 프롬프트 엔지니어링 그리고 실제 서비스를 운용하는 모델 배포 및 관리 등으로 구성되어 있는데요. 개발부서뿐만 아니라 기업의 다양한 인재와 역량을 투입하고 고객의 피드백까지 반영하여 AI 서비스를 개발할 수 있다고 합니다. FMOps에 대해 자세히 알고 싶은 분은 카카오 엔터프라이즈 - [IT TREND] FMOps, LLM 시대의 AI 문서를 참조해 주세요.

이번 1부의 AI 서비스 구축 사례를 통해 AI 산업 트렌드에 대해 관심 있으신 분들에게 조금이나마 도움이 되었으면 좋겠습니다. 다음 2부에서는 많은 기업들의 니즈에 맞춰 발전하고 있는 AWS AI 서비스인 SageMaker와 Bedrock의 최신 업데이트를 공유드리겠습니다.