▲

2024년 ML/AI/Data 업계 지도와 최신 트렌드

 (mattturck.com)
35P by xguru 8달전 | favorite | 댓글 1개

이미지 한장으로 정리한 2024년 MAD(ML,AI,Data) 업계 지도 및 올해의 24가지 테마 설명

[Part I : Landscape]

  • 2012년 최초 버전에서는 139개 기업만 있었으나, 2024년 MAD 생태계에는 2,011개 기업이 포함됨
  • 이는 작년 1,416개에서 578개가 새로 추가된 것
  • 이렇게 많은 기업이 포함된 이유는 최근 10여년간 데이터 인프라 기술과 ML/AI 기술의 두 가지 거대한 기술 발전의 물결이 연이어 발생했기 때문
    • 첫 번째 물결은 빅데이터에서 시작해 모던 데이터 스택으로 끝난 약 10년간의 데이터 인프라 기술 발전임
    • 두 번째 물결은 생성 AI(Generative AI)에서 시작된 ML/AI 기술 발전
  • MAD 생태계는 데이터 수집부터 저장, 처리, 분석 및 애플리케이션을 통한 가치 제공에 이르는 데이터의 전체 라이프사이클을 보여주는 데 초점을 맞추고 있음

인프라와 분석 영역의 주요 변화

  • 데이터 인프라 영역(MAD 생태계의 왼쪽)은 최근 큰 변화가 없었음
    • "Database Abstraction"을 "Multi-Model Databases & Abstractions"으로 변경해 SurrealDB, EdgeDB 등 all-in-one 다중 모델 DB의 등장을 반영함
    • 작년에 실험적으로 만든 "Crypto / Web 3 Analytics" 섹션은 제거함
    • "Query Engine" 섹션도 제거함 (해당 기업들은 여전히 포함되어 있음)

머신러닝과 인공지능 영역의 주요 변화

  • 2023년 AI 기업의 폭발적 증가로 인해 이 영역에서 가장 많은 구조적 변화가 있었음
  • MLOps 옆에 3개의 새로운 카테고리를 추가함
    • "AI Observability": LLM 애플리케이션을 테스트, 평가, 모니터링하는 스타트업
    • "AI Developer Platforms": MLOps와 유사하지만 LLM 훈련, 배포, 추론에 초점을 맞춘 AI 애플리케이션 개발 플랫폼
    • "AI Safety & Security": LLM 고유의 우려사항(hallucination, 윤리, 규제 준수 등)을 다루는 기업
  • "Horizontal AI/AGI"를 "Commercial AI Research"와 "Nonprofit AI Research" 두 카테고리로 분리함
  • "GPU Cloud"를 "GPU Cloud / ML Infra"로 변경해 GPU 클라우드 제공업체의 핵심 인프라 기능 추가를 반영함

애플리케이션 영역의 주요 변화

  • 애플리케이션 계층의 모든 기업이 이제 스스로를 "AI 기업"이라고 칭함
  • "Horizontal Applications"에 "Presentation & Design" 카테고리 추가
  • "Search"를 "Search / Conversational AI"로 변경해 Perplexity 같은 LLM 기반 챗봇 인터페이스의 등장을 반영함
  • "Industry"에서 "Gov't & Intelligence"를 "Aerospace, Defense & Gov't"로 변경함

오픈소스 인프라 영역의 주요 변화

  • "Data Access"와 "Data Ops"를 아우르는 단일 "Data Management" 카테고리 생성
  • AI와 LLM을 로컬 개발 환경으로 가져오기 위한 인프라 도구를 제공하는 "Local AI"라는 새로운 카테고리 추가

[Part II: 2024년의 24가지 테마]

1. 구조화된 데이터 vs 비구조화된 데이터

  • 데이터에는 행과 열에 맞출 수 있는 구조화된 데이터와, 텍스트/이미지/오디오/비디오 같은 비구조화된 데이터가 있음
  • 구조화된 데이터는 분석 목적으로 추출, 저장, 변환되어 BI 도구로 시각화되거나, 전통적인 ML/AI 모델에 사용됨
  • 비구조화된 데이터는 주로 생성형 AI 모델(LLM 등)을 훈련시키고 사용(추론)하는 데 사용됨
  • 현재 비구조화된 데이터(ML/AI)는 주목받고 있지만, 구조화된 데이터(모던 데이터 스택 등)는 그렇지 않음

2. 모던 데이터 스택은 죽었는가?

  • 모던 데이터 스택(MDS)은 구조화된 데이터 파이프라인을 다루며, 얼마 전까지만 해도 소프트웨어 업계에서 가장 주목받는 개념이었음
  • MDS는 클라우드 데이터 웨어하우스를 중심으로, 상류에는 Fivetran/Airbyte, 중간에는 DBT, 하류에는 Looker/Mode 등이 위치하는 구조였음
  • 스노우플레이크가 사상 최대 규모로 IPO에 성공하면서 MDS에 대한 관심이 폭발했고, 이는 과열된 스타트업 설립과 VC 투자로 이어짐
    • 데이터 카탈로그, 데이터 옵저버빌리티, ETL, 리버스 ETL 등 여러 카테고리가 1~2년 만에 포화상태에 이름
  • MDS는 실제 문제에 대한 해법이기도 했지만, 동시에 데이터 가치사슬 상의 여러 스타트업 간 마케팅 제휴이기도 했음
  • 그러나 현재 MDS는 ① 여러 벤더 솔루션을 조합해야 해서 비용이 많이 들고, ② 생성형 AI에 밀려 더 이상 주목받지 못하는 등 압박에 직면해 있음

3. 데이터 인프라 영역의 통합과 거대 기업의 성장

  • 2024년 데이터 인프라와 분석 업계에서는 다음과 같은 일들이 일어날 전망:
    • 많은 MDS 관련 스타트업들이 "AI 인프라 스타트업"으로 포지셔닝을 전환하려 할 것임
      • 일부는 성공할 수 있겠지만, 대부분은 구조화된 데이터에서 비정형 데이터로의 이동을 위해 제품의 근본적 진화가 필요할 것임
    • 데이터 인프라 업계는 마침내 일정 수준의 통합을 경험하게 될 것임
      • 그동안 M&A가 제한적이었으나, 2023년에는 Stemma(Teradata 인수), Manta(IBM 인수), Mode(Thoughtspot 인수) 등 중소규모 인수합병이 일어났음
    • 스타트업의 실패 사례가 크게 늘어날 것임
      • VC 자금이 말라붙으며 상황이 악화일로임. 많은 스타트업이 비용을 크게 줄였으나 결국 현금 고갈에 직면할 것임. 화려한 헤드라인은 기대하기 어려울 듯
    • 규모가 있는 기업들은 플랫폼화에 더욱 매진할 것임
      • 인수합병을 통해서도 이뤄지겠지만, 자체 개발을 통해서도 더 많은 기능을 아우르려 들 것임

4. 데이터브릭스 vs 스노우플레이크 현황

  • 구조화된 데이터 업계의 스노우플레이크는 여전히 훌륭한 기업이며 기술주 중 가장 높은 밸류에이션을 받고 있음(PER 14.8배)
    • 그러나 많은 소프트웨어 기업과 마찬가지로 성장이 크게 둔화됨
      • 2024 회계연도 매출은 전년 대비 38% 성장한 26.7억 달러, 향후 12개월 예상 성장률은 22%
    • 무엇보다 제품 혁신에서 어려움을 겪는 듯한 인상을 줌
      • AI 대응이 더디고 인수합병에도 소극적
      • 최근 다소 갑작스러운 CEO 교체도 흥미로운 신호
  • 비구조화된 데이터 업계의 데이터브릭스는 전반적으로 강한 모멘텀을 보이고 있음
    • 2024 회계연도 매출이 16억 달러로 50% 이상 성장한 것으로 알려짐 (비상장사)
    • 데이터브릭스는 생성형 AI의 주요 기업으로 부상 중
      • 모자이크ML을 13억 달러에 인수하는 등 M&A와 자체 제품 개발에 적극적
      • LLM에 공급되는 비정형 데이터의 핵심 저장소일 뿐 아니라, Dolly부터 새로 발표한 DBRX에 이르기까지 다양한 모델도 직접 개발 중
  • 양사의 경쟁구도에 새로운 변수는 MS의 Fabric 출시
    • 2023년 5월 발표된 Fabric은 엔드투엔드 클라우드 기반 데이터 분석 SaaS 플랫폼
    • MS의 데이터 레이크 OneLake, BI 도구 PowerBI, Synapse 등을 통합해 데이터 통합부터 엔지니어링, 데이터 사이언스까지 전 영역을 아우름
    • 발표와 실제 제품 간에는 간극이 있겠으나, MS의 생성형 AI 투자와 결합하면 강력한 위협이 될 수 있음
    • 데이터브릭스는 주로 MS의 클라우드 Azure 위에서 돌아간다는 점도 흥미로운 점

5. 2024년 BI 현황과 생성형 AI가 분석을 변화시키는가?

  • MDS와 구조화된 데이터 파이프라인 영역 중 가장 재발명이 절실했던 분야는 BI임
    • 2019년 MAD에서 BI 업계의 통합이 거의 완료되었음을 지적한 바 있고, 2021년에는 메트릭 스토어의 등장을 다뤘음
  • 그러나 BI/분석의 변혁은 예상보다 더디게 진행되고 있음
    • 여전히 파워BI, 태블로, 루커 등 오래된 제품군이 시장을 지배하고 있으며, 이들은 종종 더 큰 영업계약에 묶여 공짜로 제공되기도 함
    • 일부 추가적인 통합이 일어났고(Thoughtspot의 Mode 인수, 스노우플레이크의 Sisu 인수), dbt(시맨틱 레이어/MetricFlow), Trace(메트릭 트리) 등 혁신적 접근을 시도하는 젊은 기업도 있지만 아직 초기 단계임
  • 한편 생성형 AI는 데이터 추출/변환뿐 아니라 분석 자체에도 큰 영향을 미칠 수 있음
    • OpenAI의 Code Interpreter(현 Advanced Data Analysis), MS의 엑셀용 파이낸스 챗봇 등 활발한 움직임이 있었음
    • 클라우드 벤더, 데이터브릭스, 스노우플레이크, 오픈소스 진영, 다수의 스타트업이 자연어로 DB 쿼리를 실행하는 "text to SQL" 제품을 개발 중이거나 출시함
  • 이는 흥미롭고 잠재적으로 파괴적인 변화를 예고함
    • 분석의 민주화는 오랜 숙원이었는데, 자연어가 노트북/DB/BI 도구의 인터페이스가 된다면 훨씬 더 많은 사람이 분석을 수행할 수 있게 될 것임
  • 그러나 BI 업계 내부에서는 회의적인 시각도 있음
    • SQL의 정밀성과 쿼리 이면의 비즈니스 맥락을 이해하는 것이 자동화의 걸림돌이 될 것이라는 지적

6. 모던 AI 스택의 부상

  • 지금까지 논의의 상당 부분은 구조화된 데이터 파이프라인에 관한 것이었음
  • 비정형 데이터 인프라는 구조화된 데이터 인프라와 매우 다른 국면을 맞이하고 있음. LLM에 공급할 데이터에 대한 수요가 매우 높음
    • 생성형 AI를 실험하거나 배포하는 모든 기업이 "데이터는 새로운 석유"라는 클리셰를 재발견하고 있음
    • 모두가 LLM의 힘을 원하지만 자신들의(기업) 데이터로 학습된 모델을 원함
  • 대기업과 스타트업 모두 생성형 AI의 인프라를 제공하기 위해 경쟁적으로 뛰어들고 있음
  • 여러 AI 스케일업 기업이 적극적으로 제품을 진화시키며 모멘텀을 잡으려 하고 있음
    • Databricks, Scale AI(자율주행차용 라벨링 인프라를 OpenAI 등과 제휴해 기업용 데이터 파이프라인으로 발전), Dataiku(멀티벤더/멀티모델용 LLM Mesh 출시) 등
  • 한편 새로운 세대의 AI 인프라 스타트업들이 여러 영역에서 등장하고 있음
    • 벡터 DB: 생성형 AI 모델이 소비할 수 있는 형식(벡터 임베딩)으로 데이터를 저장. Pinecone, Weaviate, Chroma, Qudrant 등 전문 벤더가 급성장 중이고 MongoDB 등 기존 DB 기업도 벡터 검색 기능 추가에 적극적. 한편 컨텍스트 윈도우 확장이 벡터 DB를 필요 없게 만들 것이란 논쟁도 있음
    • 프레임워크: LlamaIndex, Langchain 등 여러 요소를 연결하고 조율하는 역할
    • 가드레일(Guardrails): LLM과 사용자 사이에서 조직 규칙을 준수하는 결과를 내도록 함
    • 평가도구(Evaluators): 생성형 AI 모델 성능을 테스트/분석/모니터링. 공개 벤치마크에 대한 불신으로 인해 어려운 문제로 인식됨
    • 라우터: 사용자 쿼리를 실시간으로 여러 모델에 분산시켜 성능/비용/경험을 최적화
    • 비용관리: LLM 사용 비용을 모니터링
    • 엔드포인트: 모델 등 기반 인프라의 복잡성을 추상화하는 API
  • MDS의 전례를 볼 때 "모던 AI 스택"이란 용어 사용을 꺼리고 있음
    • 그러나 유사점이 많음: 이들 스타트업은 과거 MDS 기업처럼 "hot"하고, 떼지어 다니며 마케팅/제품 제휴를 맺음
  • 이 새로운 AI 인프라 스타트업 세대는 MDS 기업과 유사한 도전과제에 직면할 것임
    • 각 카테고리가 수십억 달러 기업을 만들기에 충분히 큰가?
    • 어느 부분을 빅테크(클라우드 기업, 데이터브릭스, 스노우플레이크 등)가 직접 만들어버릴까?

7. AI 하이프 사이클, 어디쯤 와 있나?

  • AI는 수십년에 걸쳐 AI 여름과 겨울을 반복해 왔음. 지난 10-12년 동안만 해도 세 번의 하이프 사이클이 있었음
    • 1차: 2013-2015년, ImageNet 2012 이후 딥러닝이 주목받으며 시작
    • 2차: 2017-2018년경, 챗봇 붐과 텐서플로 부상
    • 3차: 2022년 11월 이후 현재까지, 생성형 AI
  • 이번 하이프 사이클은 AI 버블로 느껴질 정도로 특히 강렬함. 이는 여러 이유에서 기인
    • 기술 자체가 엄청나게 인상적이고, 기술 영역을 넘어 일반 대중에게도 쉽게 와닿음
    • 건조 파우더(미사용 자금)을 많이 가진 VC들에게 다른 기술 분야가 모두 침체된 상황에서 유일한 투자처였음
  • 하이프는 늘 그렇듯 여러 장점("광적 열정 없인 위대한 성취 없다", "백 가지 꽃이 피게 하라"식의 야심찬 프로젝트에 자금이 몰림)과 단점(하룻밤에 모두가 AI 전문가로 둔갑, 모든 스타트업이 AI 기업이 됨, AI 콘퍼런스/팟캐스트/뉴스레터 범람, AI 마켓맵 홍수)을 동반함
  • 그러나 하이프 사이클의 주요 문제는 필연적인 반작용임
  • 현 국면에는 여러 "괴팍함(quirkiness)"과 리스크가 내재해 있음
    • 대표 기업(OpenAI)의 특이한 법적/지배구조
    • 충분히 이해되거나 공개되지 않은 "컴퓨팅 파워 지원 대가로 지분 받기" 거래의 성행 (round-tripping 가능성 있음)
    • 많은 유망 스타트업이 AI 연구자들이 경영하는 구조
    • 제로금리 시대를 방불케 하는 VC들의 거래 행태 ("땅 싸움", 거대 라운드, 태어난 지 얼마 안 된 기업에 눈이 휘둥그레지는 밸류에이션)
  • AI 하이프에 금이 가는 조짐도 있지만 (아래 참조), 아직은 매주 새로운 것이 모두를 놀라게 하는 국면임. 사우디의 400억 달러 AI 펀드 소식 등을 볼 때 당분간 자금 유입이 멈추긴 어려워 보임

8. 실험인가, 현실인가? 2023년은 가짜였나?

  • 하이프를 감안할 때, 지금까지 얼마나 실질적인 일이 있었는지, 단순히 실험에 그친 건 아닌지 되짚어볼 필요가 있음
  • 2023년은 굉장히 바쁜 한 해였음
    • 모든 테크 기업이 제품에 생성형 AI 포함을 서둘렀고
    • 글로벌 2000대 기업 이사회는 모두 AI 도입을 지시했으며, 모건스탠리/씨티뱅크 같은 규제 산업 내 기업들조차 기록적인 속도로 도입을 진행함
    • 소비자들은 생성형 AI 앱에 열광적인 관심을 보였음
  • 그 결과 OpenAI($2B ARR), Anthropic(2024년 예상 매출 $850M), Midjourney(투자 없이 40명이 $200M 매출), Perplexity(MAU 0→1000만) 등이 큰 성공을 거뒀음
  • 그러나 냉소적으로 봐야 할까? 몇 가지 우려사항이 있음
    • 기업의 지출이 PoC나 눈에 띄는 성과에 그친 경우가 많았고, 혁신 예산에서 나온 경우가 많았음
      • 실제 비즈니스 문제 해결보다는 임원들이 뒤처져 보이기 싫어서 추진한 것은 아닐까?
    • 소비자 앱은 이탈률이 높음. 단순 호기심은 아니었나?
    • 개인적으로나 업무상으로나 생성형 AI를 어떻게 활용해야 할지 잘 모르겠다는 사람이 많음
    • 최고의 AI 전문가가 만든 제품이라도 모두 마법 같진 않을 것임
      • $1.3B를 모금하고도 허망하게 문을 닫은 Inflection AI의 사례를 어떻게 봐야 할까? 세상에 또 다른 AI 챗봇이나 LLM이 필요 없다는 방증일까?

9. LLM 기업들, 그렇게 평준화되지는 않았나?

  • LLM 기업들에 엄청난 규모의 벤처 자본과 기업 자금이 투자되고 있음
  • 지난 18개월간 가장 흔한 질문은 이것: 우리는 결국 평준화될 제품에 엄청난 자본이 소각되는 광경을 보고 있는 걸까? 아니면 이 LLM 기업들이 새로운 AWS, Azure, GCP가 되는 걸까?
  • LLM 기업 입장에선 골치 아픈 사실은, 어느 LLM도 지속적인 성능 우위를 구축하지 못하는 듯 보인다는 점
    • 현재로선 Claude 3 Sonnet과 Gemini Pro 1.5가 GPT-4보다 낫고, GPT-4는 Gemini 1.0 Ultra보다 나은 식이지만, 이런 우열은 몇 주마다 바뀌는 듯함
    • 성능 변동성도 있음 - ChatGPT는 한때 "제정신을 잃고" "게을러졌다"가 일시적으로 회복됨
  • 이에 더해 오픈소스 모델(Llama 3, Mistral, DBRX 등)의 성능도 빠르게 따라잡고 있음
  • 한편, 당초 예상보다 훨씬 더 많은 LLM 기업이 시장에 나와 있음
  • 몇 년 전만 해도 트랜스포머 확장에 필요한 전문성을 지닌 사람이 전 세계적으로 몇 안 된다는 이유로, LLM 기업은 한두 개, 승자독식 구도가 될 것이란 전망이 지배적이었음
  • 그러나 유능한 팀이 생각보다 더 많이 있는 것으로 보임
    • OpenAI, Anthropic 외에도 Mistral, Cohere, Adept, AI21, Imbue, 01.AI 등 기초 AI 연구를 수행하는 스타트업이 많고, 구글, 메타 등의 팀도 있음
  • 그럼에도 현재까지 LLM 기업들은 나쁘지 않은 성과를 내고 있음. OpenAI와 Anthropic은 엄청난 속도로 매출이 증가하고 있음
  • LLM "모델"은 평준화될지 몰라도, LLM "기업"은 여전히 거대한 사업 기회를 앞두고 있음
    • 이들은 이미 기반 모델 위에 소비자/기업/개발자용 애플리케이션과 도구를 제공하는 "풀스택" 기업이 되었음
  • 클라우드 기업과의 유추가 꽤 적절해 보임
    • AWS, Azure, GCP는 애플리케이션/도구 계층을 통해 고객을 유치/유지하고, 대체로 차별화되지 않은 컴퓨팅/스토리지 계층을 통해 수익을 냄

10. 혼합적(hybrid) 미래: LLM, SLM

  • 대규모 LLM(GPT-3, GPT-4, GPT-5 등)에 대한 관심이 높지만, SLM(small language model)도 빠르게 발전하고 있음
    • Meta의 Llama-2-13b, Mistral의 Mistral-7b/Mixtral 8x7b, MS의 Phi-2/Orca-2 등
    • SLM은 운영 비용이 저렴하고 파인튜닝이 용이하며 성능도 우수함
  • 특정 작업(코딩, 금융 등)에 특화된 모델도 등장하고 있음
    • Code-Llama, Poolside AI 등 코딩 특화 모델
    • 블룸버그의 금융 모델, Orbital Materials의 소재과학 모델 등 산업 특화 모델
  • 기업에서는 이런 다양한 모델을 조합한 하이브리드 아키텍처로 빠르게 진화하는 중
  • 가격이 내려가고는 있지만 대형 사유 LLM은 여전히 비싸고 지연 문제도 있어서, 사용자/고객은 점점 더 다양한 모델을 조합해 배포하게 될 것임
    • 대형/소형, 상용/오픈소스, 범용/특화 모델을 필요와 예산에 맞게 조합해 사용하는 추세임

11. 전통적 AI는 죽었나?

  • ChatGPT의 등장으로 그 전까지 첨단으로 여겨지던 AI 기술들이 하루아침에 "전통적 AI"로 불리게 됨
  • 그러나 전통적 AI(또는 예측 AI)는 구조화된 데이터를 다루며 생성형 AI와는 상호보완적임
  • 전통적 AI는 이미 수많은 기업에서 대규모로 사용되고 있음
  • 앞으로 기업들은 LLM을 어떤 작업에, 전통적 AI 모델을 어떤 작업에 사용할지, 그리고 둘을 어떻게 결합할지 고민하게 될 것임

12. 얇은 래퍼, 두꺼운 래퍼, 그리고 풀스택이 되기 위한 경쟁

  • 얇은 래퍼(thin wrapper): OpenAI 같은 타사 기술에 의존하는 제품이라는 부정적 의미로 2023년 유행한 용어
    • Jasper 같은 스타트업의 어려움이 이를 뒷받침함
  • 그러나 시간이 지나며 차별화 방안도 나타나고 있음
    • 특정(수직적) 문제에 집중
    • 워크플로우, 협업, 깊은 통합 기능 확보
    • 모델 파인튜닝, 하이브리드 시스템 구축 등 AI 모델 수준의 작업 수행
  • 즉, 풀스택(애플리케이션+인프라)이 되어야 하고 동시에 특화(narrow)되어야 함

13. 주목할 만한 영역: AI 에이전트, Edge AI

  • AI 에이전트는 자동화의 최종 단계로 큰 관심사임
    • 하지만 아직 생성형 AI가 취약한 면모를 보이고 있어 기대에 못 미치는 상황
    • AI 시스템에 메모리 기능 추가 등 보완이 필요함
    • 그럼에도 향후 1~2년 내 가장 흥미로운 분야가 될 것으로 보임
  • Edge AI도 관심사임
    • GPU 없이 기기 내에서 구동되는 모델은 오랜 숙원
    • 스마트폰이나 IoT 기기 등에 적용 시 큰 잠재력
    • Mixtral, Ollama, Llama.cpp 등 활발한 오픈소스 프로젝트 진행 중

14. 생성형 AI, AGI로 가는 중인가 정체되는 중인가?

  • 기술의 급속한 발전에도 불구, 생성형 AI가 ① 자원(연산, 데이터) 한계에 봉착하거나 ② 추론 능력의 부재로 한계에 직면할 수 있다는 우려가 있음
  • 2018년에도 유사한 논의가 있었고, 그 후로는 자원 투입 확대가 두드러졌음
  • 추론(reasoning) 분야에서는 DeepMind의 AlphaGeometry 등 의미있는 진전이 있었음
  • 자원의 한계는 평가하기 어려움. 연산량은 계속 늘어나고 있고(NVIDIA Blackwell), 데이터도 합성데이터 생성 등으로 극복 여지가 있어 보임
  • 스타트업 생태계 참여자 입장에서는 GPT-5의 성능이 GPT-4 대비 얼마나 향상될지가 기술 발전 속도의 바로미터가 될 것임
    • 설사 생성형 AI 발전이 당장 멈춘다 해도 당분간은 사업 기회가 충분할 것으로 보임

15. GPU 전쟁 (NVIDIA는 과대평가되었나?)

  • 연산량이 세상에서 가장 귀중한 자원이 되는 새로운 시대인가, 아니면 GPU 과잉생산으로 인한 거품인가?
  • NVIDIA는 AI 대응 GPU 시장을 사실상 독점하며 주가가 5배 뛰는 등 호황을 누리고 있음
    • VC들이 AI에 투자한 자금이 NVIDIA로 흘러갔기 때문일 수도
  • 그러나 하드웨어 제조(TSMC 공장)는 쉽지 않은 일이라 NVIDIA의 운명은 현재 호황의 지속가능성에 달려있음
  • AMD, Intel 등 경쟁자들의 도전도 있지만 장기적으로 AI 칩 제조사의 전망은 밝아 보임

16. 오픈소스 AI, 과유불급인가?

  • 지난 1년간 오픈소스 AI가 크게 각광받았음
    • Meta의 Llama, Mistral, Google의 Gemma 등이 주목받았고 HuggingFace도 수많은 모델을 호스팅하며 계속 성장 중
    • 생성형 AI 분야 가장 혁신적인 작업의 상당 부분이 오픈소스 커뮤니티에서 이뤄지고 있음
  • 그러나 오픈소스 커뮤니티에 과잉 현상도 나타나고 있음
    • 수십만 개의 오픈소스 AI 모델이 공개되었지만, 대부분 장난감 수준이거나 주말 프로젝트에 그침
    • 순위가 수시로 바뀌고 며칠 만에 유명해졌다가 사라지는 모델도 많음
  • 시장은 자정 작용을 통해 소수의 성공적인 오픈소스 프로젝트만 클라우드 기업 등의 지원을 받게 될 것임. 그러나 그때까지는 혼란스러운 상황이 이어질 전망

17. AI 비용은 실제로 얼마일까?

  • 생성형 AI의 경제성은 빠르게 진화하는 주제임
    • 검색 시장에서 구글에 도전하려면 링크 10개 제공 비용보다 AI 기반 답변 제공 비용을 낮춰야 함
    • AI 기반 소프트웨어 기업은 추론 비용이 매출총이익을 잠식하지 않도록 해야 함
  • AI 모델 고객/사용자 입장에서는 좋은 소식: 가격 인하 경쟁이 예상보다 빨리 일어나고 있음
    • 오픈소스 AI와 상용 추론 벤더의 등장으로 고객 입장에서 전환 비용이 매우 낮아졌고, 이는 OpenAI와 Anthropic에 압박 요인으로 작용 중
    • 임베딩 모델 가격이 동시다발적으로 인하된 것이 예
  • 공급자 입장에서는 AI 구축/서비스 비용이 여전히 높음
    • Anthropic은 매출의 절반 이상을 클라우드 비용으로 지출했다고 함
    • 데이터 라이선싱 비용도 만만치 않음
  • 사용자 입장에서는 VC 지원을 받는 무료 서비스를 즐기는 것도 방법

18. 거대 기업과 AI 정치 경제의 변화: 마이크로소프트가 승리했나?

  • 2022년 말부터 제기된 질문: 빅테크가 생성형 AI의 가치를 대부분 차지하게 될 것인가?
  • AI에서는 데이터, 연산량, 연구자가 많을수록 유리함. 빅테크는 이를 잘 알고 있고 적극적으로 대응하고 있음
  • MS는 가장 효과적으로 대응하고 있는 듯함(4-D 체스를 두듯이)
    • OpenAI에 130억 달러 투자
    • 오픈소스 경쟁자 Mistral과 제휴
    • ChatGPT 경쟁자 Inflection AI 인수
    • Azure 매출도 크게 성장 중
  • Google/Amazon은 Anthropic과 제휴 및 투자, Amazon은 Hugging Face와 제휴
  • Meta는 오픈소스 AI에 올인하는 모습
  • 중국발 변화도 주목할 만함
  • 스타트업이 성장할 여지가 얼마나 될지가 관건
    • OpenAI, Anthropic 등 소수는 좋은 파트너십을 통해 탈출 속도를 냈지만
    • 많은 스타트업의 미래는 불투명함
    • Inflection AI 인수, Stability AI CEO 사태 등은 "2군" 스타트업들의 고전을 시사

19. OpenAI 열광 vs 냉소

  • OpenAI는 여전히 매력적임
    • 기업가치 860억 달러, 고속 매출 증가, 창업자 간 불화(?), Sam Altman은 이 세대의 스티브 잡스
  • 흥미로운 질문들:
    • OpenAI가 너무 많은 걸 하려는 건 아닌가? 수직적으로나 수평적으로 AI의 모든 것을 하겠다는 것 같은데 무리수 아닌지?
      • 상황이 유사했던 코인베이스의 전례가 있긴 함
      • 경쟁이 치열해지는 상황에서 매우 어려운 도전이 될 것임
      • ChatGPT 이슈, 마켓플레이스 부진 등은 OpenAI도 어려움을 겪을 수 있음을 시사
    • OpenAI와 MS가 결별할까?
      • MS의 지원은 OpenAI에 큰 도움(자원, 기업 고객 등)
      • 그러나 MS는 OpenAI에 의존하지 않음을 분명히 하고 있고(mistral 제휴, Inflection AI 인수 등) 자체 AI 역량도 충분함
      • 반면 OpenAI는 MS에만 의존하는 걸 원치 않을 수도. 다른 클라우드에 배포되기를 바랄 수 있음
      • OpenAI의 거대한 야망과 MS의 지배력 추구를 고려할 때 양사가 경쟁자로 돌변할 가능성도 있어 보임

20. 2024년은 기업용 AI의 해가 될까?

  • 2023년 기업의 AI 도입은 개념증명 수준에 그쳤음
  • 2023년 생성형 AI의 최대 수혜자는 AI 컨설팅으로 20억 달러 매출을 올린 Accenture 같은 기업
  • 2024년이 기업용 생성형 AI의 원년이 되길 기대하는 분위기 (전통적 AI는 이미 많이 도입된 상태)
  • 그러나 아직 풀어야 할 숙제가 많음:
    • 유스케이스가 개발자 코파일럿, 기업 지식관리, 고객서비스 챗봇 등 일부에 국한됨
    • 어떤 도구를 선택해야 할지 모호함 (상용/오픈소스, 대형/소형 모델, 수평/수직 특화 등 조합 필요)
    • 인재 부족 심각 (개발자도 구하기 힘든데 ML 엔지니어는 오죽할까)
    • 망상(hallucination) 문제, 블랙박스 문제 등 기업 입장에선 심각한 리스크
    • ROI 검증 필요 (팔로알토네트웍스는 출장 관리 비용을 절반으로 줄였다는 등 일부 사례는 있음)
  • 긍정적인 것은 기업들이 혁신 예산이 아닌 OpEx 예산을 투입하려 한다는 점
  • 그러나 대규모 도입까지는 3~5년은 걸릴 듯

21. AI가 SaaS를 죽일까?

  • 지난 1년간 유행했던 아이디어 중 하나
  • AI 덕에 코딩 생산성이 10배 올라 소수 개발자로도 맞춤형 SaaS를 만들 수 있게 되면 기성 SaaS가 필요 없어질 것이라는 주장
  • 또는 AI가 HR/재무/영업 등 모든 것을 대신하게 되면 별도 소프트웨어가 필요 없다는 주장도
  • 두 시나리오 모두 완전한 형태로 실현되긴 어려워 보임
  • 그보다는 기존 SaaS에 AI가 내재화되어 더 강력해지는 것이 유력해 보임

22. AI가 벤처캐피탈을 죽일까?

  • AI가 VC의 기업 선정과 투자 후 가치 제고를 자동화할 수 있을지 여부를 차치하고, AI 시대에 VC 자산군의 규모가 적절한지에 대한 논의가 필요함
  • VC가 너무 작은 것 아닌가?
    • OpenAI 같은 기업은 수십억 달러, 더 많은 자금이 필요함
    • MS 같은 대기업이 이런 자금의 상당 부분을 제공하고 있음 (연산량 제공 형태일 가능성 높음)
    • 일부 VC는 대형 기반모델 기업에 투자하고 있지만, 전통적인 VC 소프트웨어 투자 모델과는 거리가 있음
    • AI 투자에는 메가 규모 펀드가 필요할 수도 (사우디는 미국 VC와 협력해 400억 달러 AI 펀드를 조성한다는 소식)
  • VC가 너무 큰 것 아닌가?
    • AI로 개발자 생산성이 10배 오르고, 자동화된 영업/마케팅이 가능해지면
    • 소수 팀이나 심지어 1인 기업도 매출 수억 달러를 올리고 상장할 수 있는 시대가 올지도 모름
    • 매출 1억 달러 1인 기업이 창업부터 EXIT까지 과연 VC 자금이 필요할까?

23. AI가 소비자 시장을 되살릴까?

  • 소셜미디어/모바일 시대 이후 침체기에 빠진 소비자 시장, 생성형 AI로 반등할 수 있을까?
  • 흥미로운 영역들:
    • 검색: 수십년만에 구글에 도전장을 내민 Perplexity AI, You.com 등 검색 엔진에서 답변 엔진으로의 진화를 주도하는 스타트업들
    • AI 컴패니언: 디스토피아적 우려를 차치하고, 모든 사람이 자신만의 끝없이 인내심 있고 도움 되는 동반자를 가질 수 있다면?
    • AI 하드웨어: Humane, Rabbit, VisionPro 등 소비자용 AI 하드웨어의 흥미로운 시도들
    • 초개인화된 엔터테인먼트: 생성형 AI 도구가 발전하고 저렴해지면서 어떤 새로운 형태의 오락과 예술이 탄생할까?

24. AI와 블록체인: 황당한가, 흥미로운가?

  • AI와 크립토의 만남은 완벽한 트위터 밈거리임
  • 그러나 연산량, 데이터, 인재 등 AI 자원이 소수 기업에 집중되는 것은 우려스러운 일
  • 블록체인의 핵심은 분산 네트워크를 통해 참여자들이 자원과 자산을 공유하도록 하는 것
  • 양자 사이에는 탐구할 만한 영역이 있음 (몇 년 전부터 고민해 온 주제)
  • Bittensor(분산 AI 플랫폼), Render(분산 GPU 렌더링 플랫폼), Arweave(분산 데이터 플랫폼) 등 관련 프로젝트들의 가속화가 눈에 띔
  • 크립토 업계가 스스로를 도울 수 있을지, 아니면 AI 관련 밈코인과 사기로 타락할지가 관건

BONUS: 다루지 않은 주제들

  • AI가 우리를 모두 죽일 것인가? AI 둠스데이 vs AI 가속주의자
  • 규제, 프라이버시, 윤리, 딥페이크
  • AI는 실리콘밸리에서만 만들어질 수 있나?

[Part III: Financing, M&A & IPO]

Financing

  • AI 투자와 그 외 분야 투자가 극명하게 엇갈리는 "두 시장 이야기" 양상을 보이고 있음
  • 전반적인 투자는 계속 줄어 2023년에는 42% 감소한 2,484억 달러를 기록함. 2024년 첫 몇 달은 약간의 회복세를 보이고 있으나 아직은 비슷한 추세임
  • 데이터 인프라는 앞서 말한 여러 이유로 투자 유치가 매우 저조했고, Sigma Computing과 Databricks 정도가 예외적 사례였음
  • 반면 AI는 완전히 다른 이야기였음
  • AI 투자 시장의 특징은 다음과 같음:
    • 소수의 스타트업, 특히 OpenAI, Anthropic, Inflection AI, Mistral 등에 자본이 집중됨
    • MS, 구글, NVIDIA 등 기업 투자자(CVC)의 비정상적으로 높은 비중
    • CVC 거래 내역상 실제 현금과 "컴퓨팅 파워 지원 대가로 받은 지분" 간 불투명성 존재
  • 2023년 MAD 이후 주목할 만한 거래는 다음과 같음(연대순, 전체 목록 아님):
    • OpenAI(대표적 기반모델 개발사): 2회에 걸쳐 103억불 조달, 기업가치 860억불
    • Adept(기반모델 개발사): 3.5억불 투자 유치, 기업가치 10억불
    • AlphaSense(금융 리서치 플랫폼): 2회에 걸쳐 4.75억불 유치, 기업가치 25억불
    • Anthropic(기반모델 개발사): 3회에 걸쳐 64.5억불 유치, 기업가치 184억불
    • Pinecone(벡터DB 플랫폼): 1억불 유치, 기업가치 7.5억불
    • Celestial AI(광학 인터커넥트 플랫폼): 2회에 걸쳐 2.75억불 유치
    • CoreWeave(GPU 클라우드): 4.21억불 유치, 기업가치 25억불
    • Lightmatter(광학칩 개발사): 2회에 걸쳐 3.08억불 유치, 기업가치 12억불
    • Sigma Computing(클라우드 분석 플랫폼): 3.4억불 유치, 기업가치 11억불
    • Inflection(기반모델 개발사): 13억불 유치, 기업가치 40억불
    • Mistral(기반모델 개발사): 2회에 걸쳐 5.28억불 유치, 기업가치 20억불
    • Cohere(기반모델 개발사): 2.7억불 유치, 기업가치 20억불
    • Runway(생성 비디오 모델 개발사): 1.91억불 유치, 기업가치 15억불
    • Synthesia(기업용 비디오 생성 플랫폼): 9천만불 유치, 기업가치 10억불
    • Hugging Face(오픈소스 ML 플랫폼): 2.35억불 유치, 기업가치 45억불
    • Poolside(코딩용 기반모델 개발사): 1.26억불 유치
    • Modular(AI 개발 플랫폼): 1억불 유치, 기업가치 6억불
    • Imbue(AI 에이전트 개발사): 2.12억불 유치
    • Databricks(데이터/분석/AI 솔루션): 6.84억불 유치, 기업가치 432억불
    • Aleph Alpha(기반모델 개발사): 4.86억불 유치
    • AI21 Labs(기반모델 개발사): 2.08억불 유치, 기업가치 14억불
    • Together(생성형 AI 클라우드): 2회에 걸쳐 2.085억불 유치, 기업가치 12.5억불
    • VAST Data(딥러닝 데이터 플랫폼): 1.18억불 유치, 기업가치 91억불
    • Shield AI(항공우주/방위용 AI 파일럿): 5억불 유치, 기업가치 28억불
    • 01.ai(기반모델 개발사): 2억불 유치, 기업가치 10억불
    • Hadrian(항공우주/방위용 부품 제조): 1.17억불 유치
    • Sierra AI(고객 서비스용 AI 챗봇): 2회에 걸쳐 1.1억불 유치
    • Glean(기업용 AI 검색): 2억불 유치, 기업가치 22억불
    • Lambda Labs(GPU 클라우드): 3.2억불 유치, 기업가치 15억불
    • Magic(코딩용 기반모델 개발사): 1.17억불 유치, 기업가치 5억불

M&A, 비상장 거래

  • 2023년 MAD 이후 M&A 시장은 꽤 조용했음
  • 많은 전통적 소프트웨어 기업들은 M&A보다는 자사 주가와 전반적 사업에 집중하는 모습을 보임
  • 특히 엄격해진 반독점 환경도 잠재적 인수자들에게는 부담으로 작용
  • 사모펀드(PE)는 악화된 시장에서 저렴한 기회를 찾으며 비교적 활발히 움직임
  • MAD에 등장했던 주목할 만한 거래는 다음과 같음 (규모순):
    • Broadcom(반도체 제조사), VMWare(클라우드 기업) 인수, $69B
    • Cisco(네트워크/보안 인프라), Splunk(모니터링/옵저버빌리티) 인수, $28B
    • Qualtrics(CX 관리), Silver Lake/CPP의 비상장화, $12.5B
    • Coupa(지출관리 플랫폼), Thoma Bravo의 비상장화, $8B
    • New Relic(모니터링/옵저버빌리티), Francisco Partners/TPG 인수, $6.5B
    • Alteryx(분석 플랫폼), Clearlake/Insight의 비상장화, $4.4B
    • Salesloft(매출 오케스트레이션), Vista Equity 인수 $2.3B
      • Vista는 고객경험용 AI 챗봇 기업 Drift도 인수
    • Databricks(데이터 레이크하우스), MosaicML(AI 개발 플랫폼) 인수, $1.3B
      • Arcion, Okera 등도 소규모 인수
    • Thoughtspot(분석 플랫폼), Mode Analytics(BI) 인수, $200M
    • Snowflake(데이터 웨어하우스), Neeva(AI 검색 엔진) 인수, $150M
    • DigitalOcean(클라우드), Paperspace(AI 개발) 인수, $111M
    • NVIDIA(AI 칩), OmniML(엣지 AI 최적화) 인수
  • MS의 Inflection AI 인수도 특이한 사례
  • 2024년이 AI M&A의 해가 될지는 시장 모멘텀에 달려있음
  • 하위 시장에서는 지난 1-2년간 유망한 AI 스타트업들이 많이 투자받았음. 과거 AI 호황기에는 초기 투자 이후 실적 대비 거액에 인재 인수(acquihire)가 많이 일어났음. AI 인재는 여전히 귀한 편
  • 상위 시장에서는 선도적 데이터 플랫폼과 AI 플랫폼 간 컨버전스가 추진력을 얻고 있으나 가격이 만만치 않을 듯

IPO

  • AI는 증시에서도 뜨거운 화제였음. "매그니피센트 7"(NVIDIA, 메타, 아마존, MS, 알파벳, 애플, 테슬라) 주가는 2023년 49% 이상 올랐고 전반적 증시 상승을 이끌었음
  • 그러나 순수 AI 종목은 여전히 많이 부족한 상황. 몇 안 되는 AI 종목은 프리미엄을 받고 있음(팔란티어 주가는 2023년 167% 상승)
  • 이는 다수의 AI 관련 IPO 후보 스타트업에겐 호재일 듯. Databricks를 필두로 Celonis, Scale AI, Dataiku, Fivetran 등 상당한 규모의 기업들이 IPO를 준비 중
  • OpenAI와 Anthropic이 상장에 어떤 입장을 취할지도 흥미로운 주제
  • 한편 2023년 IPO 시장은 매우 부진했음. MAD 관련 기업 중 소수만 상장에 성공:
    • Klaviyo(마케팅 자동화): 2023.9월 상장, 기업가치 $9.2B
    • Reddit(AI 기업에 콘텐츠 라이선스 제공): 2024.3월 상장, 기업가치 $6.4B
    • Astera Labs(AI/클라우드용 반도체): 2024.3월 상장, 기업가치 $5.5B

결론

  • 우리는 매우 특별한 시기에 살고 있음. 패러다임 전환의 초입에 있음.
  • 실험하고 새로운 것을 시도할 때. 우리는 이제 막 시작했을 뿐