▲xguru 2019-12-05 | parent | favorite | on: Metaflow - 넷플릭스가 만든 데이터 사이언스용 파이썬 프레임워크 오픈소스 (metaflow.org)왜 MetaFlow인지는 그림으로 설명한 https://docs.metaflow.org/introduction/why-metaflow 를 참고하시면 됩니다. Netflix 와 AWS가 같이 개발을 해서, 깊게 연동되어 있습니다.Local 에선 하드에 저장하고 노트북 설치해서 빠르고 편하게 개발하다가, AWS에 올리면 아래 서비스들을 이용해서 대용량으로 실행해볼수 있게 됩니다. Metadata - RDS 또는 Metaflow Metadata Service https://github.com/Netflix/metaflow-service Datastore - AWS S3 Compute - AWS Batch https://aws.amazon.com/batch/ Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/ Scheduling - Step Functions https://aws.amazon.com/step-functions/ Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/ ▲xguru 2019-12-05 [-]실제 머신러닝/데이터 사이언스 라이브러리는 PyTorch , Tensorflow , Scikit-Learn 뭘 쓰던 상관없이 다 연동 가능합니다. 답변달기
왜 MetaFlow인지는 그림으로 설명한 https://docs.metaflow.org/introduction/why-metaflow 를 참고하시면 됩니다.
Netflix 와 AWS가 같이 개발을 해서, 깊게 연동되어 있습니다.
Local 에선 하드에 저장하고 노트북 설치해서 빠르고 편하게 개발하다가,
AWS에 올리면 아래 서비스들을 이용해서 대용량으로 실행해볼수 있게 됩니다.
Metadata - RDS 또는 Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/