AI 데이터 인프라의 부상

"우리는 현재 새로운 산업 혁명의 시작에 있음. 전기 생산 대신 인공지능을 생성하는.. [오픈소스]는 모든 기업이 인공지능 기업이 될 수 있게 함" - 젠슨 황

• 문서에서 정보를 추출하는 것은 새로운 개념은 아님. 하지만 생성형AI(GenAI)는 대량의 고품질 데이터를 필요로 함
• 훈련과 추론 모두에 데이터가 중요하며 데이터 규모뿐만 아니라 텍스트, 테이블 데이터에서 비디오, 이미지, 오디오로 확장됨
• 위성 이미지, 로봇 센서 데이터 등 공간 데이터의 증가도 관찰됨
• 데이터 계층에서 AI로 인해 가장 즉각적으로 재창조될 수 있는 새로운 영역은 무엇일까?
  • 비정형 데이터 추출과 파이프라인, 검색 증강 생성 (Retrieval-Augmented Generation, RAG), 데이터 큐레이션, 데이터 스토리지 , - 인공지능 메모리
• 이 글의 목적은 AI 데이터 인프라 환경을 분석하고, 최신 트렌드를 공유하고, 가장 유망한 혁신 영역에 대해 이야기 하는 것

AI 데이터 인프라 현황

• AI 데이터 가치 사슬에서 데이터 흐름을 간단히 시각화하며, 데이터 학습 및 추론 과정의 흐름을 설명하고자 함
• 데이터 인프라의 가치 사슬을 여섯 개 주요 영역으로 분류
  • 데이터 소스 (Sources)
  • 데이터 수집 및 변환 (Ingestion & Transformation)
  • 저장 (Storage)
  • 훈련 (Training)
  • 추론 (Inference)
  • 데이터 서비스 (Data Services)

데이터 소스

• 앱 데이터: Salesforce, ServiceNow 등에서 추출
• 실시간 데이터: 센서, 제조, 의료 데이터
• OLTP 데이터베이스: Oracle, MongoDB와 같은 트랜잭션 데이터
• 합성 데이터: 현실 세계에서 수집하지 않은 인공 생성 데이터 (e.g., Mostly AI, Datagen, Tonic)
  • 비용 효율적이고 데이터 준수 측면에서 유리함
  • 그러나, 통계적 이상치 데이터 표현이 부족해 모델 성능 최적화에 한계 있음
• 웹 데이터: 웹 스크래핑을 통해 공용 데이터를 수집 (e.g., Browse AI, Apify)
  • 대규모 데이터 모델 훈련에 필수적이나, 공개 데이터가 고갈될 가능성 있음 (2026~2032년 예상)

데이터 수집 및 변환

• 데이터 파이프라인은 데이터의 출발지에서 목적지로 데이터를 전송하고 분석 가능한 상태로 변환하는 과정
  • ETL/ELT: 전통적인 방식 (배치 처리, 스트리밍 처리)
  • 피쳐 엔지니어링/파이프라인: ML에서는 주로 테이블 데이터 처리
  • 비정형 데이터 파이프라인: 데이터 추출, 변환, 저장 과정을 통합하여 비정형 데이터를 정리 및 저장
• 파이프라인 유형
  • 배치 처리: 특정 시간 간격으로 데이터를 추출 및 적재
  • 스트리밍 처리: 데이터를 실시간으로 로드 (Kafka, Flink등)
• 도구 및 프레임워크
  • 스트리밍 (Kafka, Confluent), 처리 엔진 (Databricks, Flink), 오케스트레이션 도구 (Astronomer, Dagster, Airflow, Prefect 등)
  • 라벨링 도구: LabelBox, Scale AI 등 (테스트 데이터 라벨링 중요)
    • 배치: ETL(Airbyte, Fivetran), 트랜스폼(dbt,coalesce)
    • 비정형 데이터 처리: Datavolo, Unstructured, LlamaIndex 등

데이터 저장

• 전통적 접근: 데이터 웨어하우스에 저장
• AI 활용 데이터:
  • 데이터 레이크와 레이크하우스 구조 활용
  • 벡터 데이터베이스를 통한 데이터 임베딩 저장
• 주요 도구:
  • 데이터 레이크 : Databricks, Onehouse, Tabular, Amazon S3, GCS 등
    • 벡터 DB: Pinecone, Chroma, Milvus, Weaviete 등

모델 훈련

• 학습 방식:
  • 지도 학습, 비지도 학습, 강화 학습
• 대규모 언어 모델(LLM) 학습 과정:
  • 사전 학습: 비지도 학습으로 데이터의 패턴 인식
  • 지도 학습: 성능 최적화
  • 강화 학습(RLHF): 인간 피드백을 통한 성능 향상
• 검증 및 평가:
  • 정확도, 정밀도, 손실 최소화 등 모델의 적합성 평가
• 최종 단계:
  • 보안 테스트, 거버넌스, 컴플라이언스 확인
• 주요 도구:
  • 트레이닝: TensorFlow, Modular
    • Evaluation: neptune.ai, Weights & Biases
    • MLOps: Databricks, H2O.ai, DataRobot, Dataiku, DOMINO
    • Model: OpenAI, Cohere, Mistral AI, Runway

모델 추론

• 과정:
  • 프롬프트 입력 → 토큰화/벡터화 → 데이터 처리 → 출력 생성
• 맞춤화:
  • 벡터 데이터베이스와 LLM 연동
  • 사용자의 컨텍스트를 반영한 고유한 결과 생성
• 필수 고려사항:
  • 데이터 보안, 모델 품질, 컴플라이언스
• 주요 도구:
  • Tooling: ANON, E2B
  • Memory: MemGPT, cognee.ai
  • RAG Framework: LangCHain, LlamaIndex, contextual.ai, databricks
  • Agent/App: ChatGPT, Claude, character.ai, Decagon, NormAi

데이터 서비스

• 범주:
  • 데이터 보안: 접근 제어, 데이터 유출 방지 (Rubrik, eureka, imperva, sentra, Dig, Cyera, Varonis, BigID)
  • 데이터 가시성: 데이터 파이프라인의 품질 및 성능 모니터링 (Anomalo, datologyai, OBSERVE, MonteCarlo, Cleanlab, Scale AI, onum, metaplane)
  • 데이터 카탈로그: 메타데이터 중앙화, 데이터 자산 조직화 (atlan, Alation, Collibra, Informatica, Acryl Data, CastorDoc, select star, data.world)
• 결론:
  • 데이터가 잘 조직화될수록 보안, 가시성, 관리가 효율적임

[AI로 인한 데이터 재구성]

AI로 인해 데이터 인프라의 다음 영역에서 혁신이 관찰됨:

1. AI 에이전트 및 애플리케이션을 위한 비정형 데이터 파이프라인

• 비정형 데이터 파이프라인의 부상:
  • 대화형 AI 및 에이전트 애플리케이션에 내부 비정형 데이터를 활용하려는 수요 증가
  • 비정형 데이터 파이프라인은 전통적 데이터 파이프라인과 유사한 과정 포함: 데이터 추출, 변환, 인덱싱, 저장
• 주요 데이터 소스:
  • PDF 텍스트, 지식 베이스, 이미지 등
  • 주로 대화형 AI 활용 사례를 지원하는 데이터
• 차별화 요소:
  • 변환 단계에서 기존 파이프라인과의 차이 발생:
    • 데이터 청킹(chunking): 데이터를 작은 단위로 나누기
    • 메타데이터 추출: 인덱싱을 위해 필요한 데이터 생성
    • 임베딩: 각 데이터 청크를 벡터 형태로 변환해 저장
• 성공 요소:
  • 청킹 전략과 임베딩 모델의 선택은 데이터 검색 정확성에 중요한 영향을 미침
  • 도메인 특화 임베딩 모델의 등장: 예를 들어 코드, 법률 콘텐츠에 특화된 모델
• 벡터 호환 데이터베이스 활용:
  • 비정형 데이터를 저장하고 질의 가능한 형식으로 변환
  • RAG(Retrieval-Augmented Generation) 및 에이전트를 통해 LLM 개인화 가능
• 주요 관찰
  • 팀들은 다양한 청킹 전략을 시도하고 있음
  • 도메인별 특화된 임베딩 모델이 점차 증가하며 정확도와 성능 개선에 기여
  • 기업들은 데이터를 쉽게 질의할 수 있는 형식으로 변환하는 도구를 찾고 있음

2. Retrieval-Augmented Generation (RAG)

• RAG 개요:
  • RAG는 LLM 애플리케이션의 효율성을 개선하기 위해 사용자 정의 데이터를 활용하는 아키텍처적 워크플로
  • 작동 방식:
    • 데이터를 로드하고 질의 처리를 위해 "인덱싱"
    • 질의는 인덱스를 기반으로 가장 관련성 높은 데이터를 필터링
    • 필터링된 컨텍스트와 질의가 LLM과 프롬프트로 전달되어 응답 생성
  • 데이터를 제품 경험의 일부로 활성화 가능
• RAG의 주요 장점:
  • 업데이트된 정보 제공:
    • LLM은 사전 학습 데이터에 제한이 있어 오래되거나 부정확한 응답 가능성 존재
    • RAG는 외부 정보 소스에 접근해 최신 응답 제공
  • 사실성 강화:
    • LLM이 정확한 정보를 제공하지 못하는 문제를 RAG가 보완
    • 선별된 지식 베이스를 활용해 신뢰도 높은 정보를 제공
  • 출처 제공:
    • LLM의 응답에 인용 및 주석 추가 가능
    • 사용자 신뢰도 향상

3. 학습 및 추론 성능 향상을 위한 데이터 큐레이션

• 데이터 큐레이션: 최적의 학습 및 추론 성능을 위해 데이터셋을 필터링하고 구성하는 과정
  • 주요 작업:
    • 텍스트 분류
    • NSFW 필터 적용
    • 데이터 중복 제거
    • 배치 크기 최적화
    • 성능 기반 소스 최적화
    • 합성 데이터를 통한 데이터 증강
• Meta Llama-3 발표에서의 인사이트:
  • 학습 데이터 큐레이션:
    • "최고의 언어 모델을 학습시키기 위해 고품질 대규모 데이터셋의 큐레이션이 중요"
    • Meta는 다음과 같은 데이터 필터링 파이프라인 개발:
      • 휴리스틱 필터
      • NSFW 필터
      • 의미적 중복 제거
      • 데이터 품질 예측 텍스트 분류기
  • 미세 조정 데이터 큐레이션:
    • "모델 품질의 가장 큰 개선은 데이터를 신중히 큐레이션하고, 인간 주석가의 주석을 다수의 품질 보증 단계를 통해 검토함으로써 달성됨"
• 데이터 큐레이션의 효과:
  • Meta AI 연구팀에 따르면:
    • 큐레이션은 학습 시간을 최대 20% 단축
    • 다운스트림 정확도 개선
    • 인터넷 데이터 고갈 상황에서도 모델 성능 개선 경로 제공
• 향후 방향:
  • 모델 학습 및 미세 조정을 위해 자동화된 고품질 데이터 필터, 중복 제거, 분류기가 중요
  • Datology AI와 같은 기업이 이를 실현하기 위해 노력 중

4. AI를 위한 데이터 저장

• AI 데이터를 저장하는 방식에는 세 가지 주요 트렌드가 있음:
  • 벡터 데이터베이스
  • 데이터 레이크의 부상
  • 레이크하우스에 대한 투자 증가
• 벡터 데이터베이스의 중요성:
  • 벡터 데이터베이스는 AI 붐의 핵심 기술 중 하나로 주목받음
  • 데이터 임베딩(숫자 표현) 저장에 적합:
    • 비정형 데이터(이미지, 오디오, 비디오 등)를 수치로 변환하여 저장
    • 의미적 검색(예: "dog" 검색 시 "wolf" 또는 "puppy" 반환) 지원
  • 벡터 데이터베이스의 형태:
    • 네이티브 벡터 데이터베이스: 벡터 저장 전용으로 설계됨
    • 기존 데이터베이스 확장형: 기존 데이터베이스에 벡터 지원 기능 추가
  • 활용 사례: LLM 개인화
    • 기업의 커스텀 데이터를 벡터 임베딩으로 저장하고 검색 가능
    • AI 에이전트가 이 구조를 활용해 맞춤형 경험 제공
• 데이터 레이크 및 레이크하우스
  • 데이터 레이크의 부상:
    • 대부분의 기업이 대규모 데이터를 데이터 레이크에 저장
    • 커스텀 AI 개발을 위해 데이터 레이크 활용 필수
  • 레이크하우스 아키텍처:
    • 데이터 레이크를 효과적으로 관리하고 질의할 수 있는 아키텍처 제공
    • 오픈 테이블 포맷으로 데이터 구성:
      • Iceberg, Delta Lake, Hudi 등 활용
    • 데이터 조직화 및 쿼리 성능 향상
  • Databricks의 역할:
    • Databricks는 Tabular를 인수하여 Delta Lake와 Iceberg의 개발팀 통합
    • 경쟁사의 진입을 어렵게 하며 레이크하우스 기술 발전을 선도

5. AI 메모리

• AI 메모리의 부상:
  • ChatGPT의 메모리 기능 발표 이후 AI 메모리가 주요 논의 주제로 떠오름
  • 표준 AI 시스템은 강력한 에피소드 메모리 및 상호작용 간 연속성이 부족:
    • 현재 시스템은 일종의 단기 기억 상실 상태에 있음
    • 복잡한 순차적 추론과 다중 에이전트 시스템에서의 지식 공유에 제약
• 다중 에이전트 시스템에서의 메모리
  • 다중 에이전트 시스템으로 발전함에 따라 에이전트 간 메모리 관리 시스템이 필요
  • 기능 요구사항:
    • 에이전트 별로 기억 저장 및 세션 간 접근 지원
    • 접근 및 개인정보 보호 통제 포함
    • 에이전트 간 메모리 풀링:
      • 한 에이전트가 다른 에이전트의 경험을 활용 가능
      • 의사결정 능력 향상
  • 계층적 메모리 필요:
    • 접근 빈도, 중요도, 비용에 따라 메모리를 계층적으로 저장
• MemGPT: AI 메모리 관리의 선도 프레임워크
  • MemGPT의 비전: LLM이 차세대 운영 체제(OS)의 진화를 이끌 것이라는 목표
  • 아키텍처 개요:
    • 메모리 유형:
      • 주요 컨텍스트 메모리: 주 메모리(RAM)와 유사
      • 외부 컨텍스트 메모리: 디스크 메모리/디스크 스토리지와 유사
• AI 메모리의 중요성
  • 개인화, 학습, 반성(reflection)을 지원하며 AI 애플리케이션 발전에 필수적
  • 에이전트 간 협력과 기억 공유를 통해 복잡한 작업 해결 능력 향상

AI 워크로드의 기회

• AI 워크로드와 데이터 인프라:
  • GenAI의 부상으로 데이터 인프라의 모든 측면이 변화한 것은 아니지만, 다음과 같은 기술의 등장은 매우 흥미로운 발전:
    • 비정형 데이터 추출 및 파이프라이닝
    • Retrieval-Augmented Generation (RAG)
    • 데이터 큐레이션
    • 데이터 저장
    • AI 메모리
• Felicis의 투자 전략
  • AI와 데이터 인프라의 미래에 집중:
    • 데이터 및 인프라 계층 관련 스타트업에 투자
    • 주요 투자 사례:
      • Datology: 데이터 큐레이션
      • Metaplane: 데이터 관찰 가능성(data observability)
      • MotherDuck: 서버리스 데이터 웨어하우스
      • Weights & Biases: 실험 추적 도구
• AI 시장의 성장 가능성
  • 확장 가능성:
    • AI 시장은 채팅봇에서 다중 에이전트 워크플로까지 광범위하게 확장 중
    • 현재는 시작 단계에 불과하며 앞으로 더 많은 발전 가능성 존재
  • 데이터 솔루션의 중요성:
    • 성공적인 AI 애플리케이션을 위해 데이터 솔루션이 핵심
    • AI 워크로드를 지원하는 대규모 데이터 비즈니스가 구축될 전망