Ask HN: 머신 러닝 엔지니어들은 업무시간에 어떤 일 하나요?

• 질문에 답변한 사람들 내용을 정리

schmookeeg

• 현재 기계 학습 엔지니어로 일하면서 가장 좋아하는 부분은 기술적 배경이 없는 사람들과 협업하는 것임
  • MS Outlook을 5번 중 3번 이상 열지 못하는 사람들도 자신의 전문 분야에 대해 놀랄만한 깊이와 통찰력을 가지고 있음
  • 이는 매우 겸허하게 만듦
• 기술적 배경이 없는 사람들은 나를 마법사로 보고, 나는 그들을 부두교 사제로 봄
  • 우리가 좋아하는 것을 훈련시키고 예측할 때, 양쪽 모두에게 매우 보람 있음
• 대부분의 모델링은 의료 관련임
  • 청구, 처방전, 의사 소견, 생체 징후, 진단 영상 등의 방대한 데이터 레이크에서 인사이트를 이끌어냄
  • 이 정보에 매우 쉽게 접근 가능하다는 것도 엄청남 (HIPAA는 제쳐두고)
• 시간적 현실
  • 일주일에 회의가 약 3시간 정도 걸림
  • 업무 준비, ETL 문제 해결, 비즈니스를 위한 일회성 쿼리 수행 등에 3시간 정도 소요됨
  • 나머지 시간은 수백만 달러 규모의 수익을 예측하는데 약간의 우위를 찾기위해 데이터를 탐색함
    • 이는 마치 수학으로 월리를 찾는 것과 같음
    • 그 월리 씬은 약 50TB 크기임 :D

burnedout_dc4e3

• 2000년대 중반부터 머신 러닝을 해왔음
• 절반의 시간은 모델 훈련과 사용을 위해 데이터를 정리하는 "데이터 파이프라인을 계속 운영"하는 데 소비됨
• 또 다른 절반의 시간은 코딩 능력이 거의 없는 "AI 과학자"들을 위한 기술 지원에 소비됨
  • 그들은 다양한 챗봇 서비스에 내용을 복사/붙여넣기 하는 데 시간을 보냄
    • Python 패키지 설치 및 Git 사용 방법 등을 알려주는 것이 주된 일임
  • 그들의 작업이 우리가 하고 있는 프로젝트에 어떻게 적용될 것인지에 대한 계획은 없음
    • 그러나 트랜스포머 모델이 우리의 모든 데이터 처리 문제를 해결할 것이라고 주장함
• 이 과대 광고 사이클이 끝날 때까지 새로운 일을 하지 않고 그만둘까 고민 중

tambourineman88

• 머신 러닝을 공부할 때 예상과는 반대되는 현실
  • 이 일의 95%는 데이터 정리, 데이터셋 결합, 그리고 피쳐 엔지니어링임
  • 모델 적합과 테스트는 단지 5%에 불과함
• 이 글에 대한 답글 #1
  • 처음부터 지금까지 그래왔고, 앞으로도 계속될 것임, 아멘
  • 스태프/책임자 레벨에서의 중요 사항
    • 추론 모델에 의존하는 제품 기능과 데이터 캡처 사이의 "데이터 임피던스"를 유지하는 것이 중요함
    • 이는 제품이나 기능이 변경되더라도 데이터 저장소와 훈련 코퍼스에 데이터를 공급하는 계측과 데이터 세분성이 깨지지 않도록 하기 위함임
  • 강화 학습(RL) 문제에서의 중요 사항
    • 상태와 행동 공간 튜플에 대해 올바른 변수가 캡처되었는지 확인하는 것이 중요함
    • 그 다음으로는 보상 피드백을 위해 인터페이스나 환경 모델을 조정하는 방법을 찾는 것임

davedx

• pip install pytorch 실행
• 환경이 깨짐
• Python 환경 수정에 4시간 소요
• pip install Pillow 실행
• Mac 북의 CPU 아키텍처에 맞지 않는다는 오류 발생
• Python 관련 모든 것을 제거한 후 처음부터 다시 설치하는 데 4시간 더 소요
• pip install ... 실행하려 했으나 퇴근 시간이 됨!

Xenoamorphous

• 일반 소프트웨어 개발자인데, 필요에 의해 ML 작업을 해야 했음
• "진짜" ML 전문가들이 확률적/경사하강법 결과와 사람들의 기대치를 어떻게 다루는지 궁금함
• 일반 소프트웨어 작업에서는 동작하거나 동작하지 않고, 동작하지 않으면 이유를 설명하고 바라건대 고칠 수 있음
• 그러나 ML에서는 "이 텍스트 분류기가 이 텍스트를 올바르게 분류하지 않은 이유는 무엇인가?"라는 질문을 받음
  • 이에 대해 "임계값을 만족하기에 0.004점 부족했다"거나 "단어 선택이나 순서 때문에 만족하지 못했다"고 밖에 말할 수 없음
  • 이는 모두를 불만족스럽게 만드는 것 같음

angarg12

• 직책은 ML 엔지니어이지만 실제 업무는 거의 순수한 소프트웨어 엔지니어링에 가까움
• 프로덕션 환경에서 ML 시스템을 지원하는 시스템 구축이 주된 업무
  • 다른 사람들이 언급했듯이 주로 데이터 변환, 모델 훈련, 모델 서빙 등이 포함됨
• 도구를 구축하거나 기존 시스템을 수정하여 과학자들이 업무를 수행할 수 있도록 지원하는 것도 업무에 포함됨
• 그러나 외부를 보면 필자의 회사는 이례적인 것 같음
• 업계에서는 ML 엔지니어에 대한 기대치가 데이터/응용 과학자가 하는 일(예: 모델 구축 및 테스트)과 더 잘 맞는 것으로 보임
  • 이는 각 회사의 각 역할에 대한 기대에 많은 모호성을 야기함

runban

• 높은 급여를 받는 청소부
  • 더러운 데이터로는 제대로 된 결과를 얻을 수 없음
  • 참고로 이 작업에는 Python보다 Perl이 훨씬 더 좋음
• 높은 급여를 받는 마더보드 문제 해결사
  • 수랭식 쿨링을 사용하더라도 H100들은 정말 뜨거워짐
  • 전담 하드웨어 담당자가 없기 때문
• 모두가 그렇듯이 제멋대로 굴러가는 제3자 종속성과 싸움

primaprashant

• 지난 5년 동안 MLE로 일해 왔으며, 다른 댓글에서 언급했듯이 대부분의 작업은 SWE와 유사함
• 프로젝트 단계에 따라 일상적인 작업은 다양하지만, 다음 중 하나에 해당함:
  • 이해관계자 및 TPM과의 협업, 데이터 분석을 통해 우선순위가 높은 비즈니스 문제 해결을 위한 가설 개발
  • 비즈니스 문제를 ML 문제로 구성하고, ML 모델과 비즈니스 문제에 적합한 메트릭 생성
  • 새로운 기능과 아이디어의 기술적 실현 가능성을 검증하기 위한 PoC 및 프로토타입 구축
  • 아키텍처 및 기술적 의사 결정을 위한 설계 문서 작성
  • 플랫폼 팀과 협력하여 새로운 ML 프로젝트와 기존 ML 프로젝트의 요구사항에 따라 데이터 파이프라인 설정 및 유지 관리
  • 추론을 위한 ML 마이크로서비스 구축, 배포 및 유지 보수
  • A/B 테스트 실행 및 사후 테스트 분석을 위한 설계 문서 작성
  • ML 모델 재학습을 위한 파이프라인 설정

jackspawn

• 시간의 50% 이상을 백엔드 엔지니어링에 할애함
  • ML이 더 큰 API 내에서 사용되기 때문
• 해당 API의 엔드 투 엔드 경험에 대한 책임을 짐
  • 따라서 시간 대비 최상의 가치를 제공하는 것은 무엇이든 수행함
  • 이는 종종 ML 모델과는 아무 관련이 없음

mardifoufs

• 추론 코드 최적화, 훈련된 모델 "제품화" 작업을 수행함
• 현재는 클라우드 서비스가 아직 일반적으로 사용되지 않는 산업에서 일하기 때문에 로컬 훈련 및 추론 작업 중
  • LLM이 아니기 때문에 미리 만들어진 도구가 많지 않아 흥미로움
  • 많은 것을 직접 만들어야 함
• 데이터 품질 평가(로컬 부분이 도전적)부터 CUDA를 직접 사용하는 것까지 다양한 작업을 수행함
  • 이미 CUDA를 기반으로 구축되어 활용할 수 있는 신호 처리 라이브러리가 있기 때문
• 때로는 팀(연구원/MLE 혼합 팀) 내부 도구 구축도 포함됨
  • 매우 틈새 분야이기 때문에 데이터와 추론을 시각화하기 위해 직접 구축해야 함
• 도구 및 내부 소프트웨어 설계와 관련하여 완전한 자유가 있어 조직 내에서 많은 영향을 미칠 수 있었음
• 즉흥적으로 구축한 도구 중 하나가 이제 주력 제품에도 탑재될 예정임

hirako2000

• 주요 업무는 아니지만 대부분의 시간을 "이것저것 붙이는" 작업에 소비
  • 기존 오픈 소스 조정
  • 리소스 최적화 방법 파악
  • 다른 데이터 세트에서 모델 재학습
  • 엉성하게 작성된 Python 코드 실행 시도
  • 누락된 요구사항 파일 추가
  • 데이터 정리
• 이미 수년 전에 수행되지 않은, ML로 실제로 유용하게 해결할 수 있는 것이 무엇일지 고민함
• 최신 GPU 가격을 확인하고, 호스팅 제공업체에서 비싼 시간을 빌리는 것보다 GPU를 구입하는 것이 가치 있는지 계산함
• 머리가 아플 때까지 논문을 읽음
  • 초록을 읽고 중간에 있는 몇 개의 다이어그램을 훑어보는 데 시간이 걸림

tenache

• 머신러닝을 공부하고 원래 그 역할을 위해 고용되었지만, 회사가 방향을 바꾸어 현재는 LLM 작업 중
• 대부분의 시간을 다음과 같은 작업에 할애함:
  • 다양한 LLM의 작동 방식 파악
  • 최적의 매개변수 찾기
  • RAG(Retrieval-Augmented Generation) 수행 방법
  • 다른 봇과의 통합 방법

trybackprop

• 주어진 일주일 동안 일반적으로 다음과 같은 업무를 수행함:
• 15%: 기술 토론 회의 또는 1:1 미팅
  • 일반적으로 모델에 대한 아이디어, 계획 또는 ML 제품 지원에 대해 논의함
• 40%: ML 개발
  • 프로젝트 초기 단계에서는 제품 요구사항을 이해함
  • 제품/비즈니스 목표 달성에 도움이 될 수 있는 ML 모델이나 알고리즘을 팀과 논의함
  • 분석가와 데이터 과학자로부터 기존 데이터셋을 수집함
  • 이 데이터셋을 사용하여 학습 및 검증 데이터셋을 생성하는 파이프라인을 만듦
  • 학습/검증 데이터셋이 채워지기를 기다리는 동안(최대 2주 소요), 개발 단계가 더 앞서거나 뒤쳐진 다른 프로젝트에 동시에 작업함
  • 새로운 모델(PyTorch로 작성)에도 작업하고, 소량의 데이터로 테스트하여 오프라인 성능을 평가하고, 기대한 대로 작동하는지 여부를 평가함
  • 모델을 사용하여 제품 정보를 채우는 몇 가지 수동 테스트를 실행하여 모델의 건전성을 확인함 (대규모 실험 없이는 자신과 팀원의 직감에 의존할 수밖에 없음)
  • 학습/검증 데이터셋이 채워지면 대량의 데이터에 대해 모델을 학습시키고, 오프라인 결과를 확인하고, 문제가 있으면 모델을 조정하거나 아키텍처를 변경함
  • 오프라인 결과가 양호하거나 좋아 보이면 실험을 위해 모델을 프로덕션에 배포함
  • 동시에 구축한 새 모델의 테스트를 위해 제품/인프라 코드를 변경할 수 있음
  • 실험을 실행하고 트래픽을 천천히 늘려 1-5% 할당이 되면 몇 주 또는 한 달 동안 실행함
  • 한편, 결과를 관찰하고 모든 관련 파이프라인을 모니터링하여 모델이 적절하게 훈련되도록 하여 예기치 않은 인프라/버그/제품 요인으로 인해 실험 결과가 변경되지 않도록 함
  • 결과가 예상대로 보이고 초기 가설과 일치하면 팀과 출시 여부를 논의하고, 출시하기로 결정하면 출시함!
    • (참고: 모델 개발에는 특징 작성, 데이터셋 준비, 분석, ML 모델 자체 생성, 제품/인프라 코드 변경 구현 등이 포함됨)
• 20%: 유지 관리
  • 새 모델을 개발하고 있다고 해서 기존 모델을 무시하는 것은 아님
  • 매일 확인하여 성능이 저하되거나 예기치 않은 방식으로 성능이 변경되지 않았는지 확인함
  • 또한 파이프라인을 수정하고 더 효율적으로 만듦
• 15%: 연구 논문 및 기술 습득
  • AI/ML 세계가 빠르게 변화하고 있어 지속적으로 새로운 연구 논문을 읽고 최신 상태를 유지하기 위해 가정에서 새로운 기술을 테스트함
  • 재미있어서 부담스럽지 않음
  • 최신 상태를 유지하기 위한 일로 보지 않음
• 10%: 내부 연구
  • 팀이나 회사 내 다른 제품에 대해 더 배우고, 우리 팀이 어떻게 도울 수 있는지 또는 그들로부터 어떤 기술/기법을 빌릴 수 있는지 알아보는 데 이 시간을 사용함
  • 또한 지난 6개월/1년 동안의 작업을 되돌아보면서 얻은 통찰력을 적는 데도 이 시간을 사용함