▲

GN⁺: Amazon S3, 객체에 데이터 추가 기능 지원

 (aws.amazon.com)
5P by neo 7일전 | favorite | 댓글 1개
  • Amazon S3 Express One Zone이 객체에 데이터를 추가할 수 있는 기능을 새로 지원함
  • 이제 애플리케이션이 기존 객체에 데이터를 추가할 수 있게 되어, 로그 처리 애플리케이션이나 미디어 방송 애플리케이션에 유용
  • 이전에는 데이터를 로컬 저장소에서 결합한 후 최종 객체를 S3에 복사해야 했으나, 이제는 S3 Express One Zone 내에서 직접 데이터를 추가하고 객체를 즉시 읽을 수 있음
  • 모든 AWS 리전에서 S3 Express One Zone 저장 클래스가 사용 가능한 경우 데이터를 추가할 수 있음
  • AWS SDK, AWS CLI, 또는 Mountpoint for Amazon S3(버전 1.12.0 이상)을 사용하여 시작할 수 있음
▲
neo 7일전  [-]
Hacker News 의견

  • "S3 Express One Zone" 버킷 클래스는 더 비싸고 가용성이 낮음

    • 16c/GB/월로 S3 표준 계층의 2.3c보다 비쌈
    • 하나의 가용 영역에만 존재함

  • 객체에 데이터를 추가할 때마다 객체의 일부를 생성하며, 최대 10,000개의 부분까지 가능함

    • 이는 로그 파일을 직접 S3에 쓰는 솔루션으로는 적합하지 않음

  • GCS는 직접 추가 기능을 지원하지 않지만, 기존 객체를 새로운 객체로 구성하는 방법으로 우회 가능함

    • 객체 A에 객체 B를 추가하여 A로 명명하면 B를 A에 추가하는 것과 동일하게 작동함

  • R2가 출시된 이후에도 S3를 고려하는 것이 이상하다고 생각함

    • R2로 전환하여 수천 달러 또는 수십만 달러를 절약하는 사례가 많음

  • 제목 수정 필요: Amazon S3 Express One Zone이 객체에 데이터를 추가할 수 있는 기능을 지원함

  • 여러 경우에 유용하지 않을 수 있음

    • 작동하려면 쓰기 오프셋을 지정해야 하며, 여러 작성자가 있는 경우 복잡해질 수 있음
    • 매번 크기를 요청하고 현재 객체의 체크섬을 사용하여 경합해야 함

  • 이 기능의 다양한 사용 사례에 대해 궁금함

    • Firehose/Kinesis 등이 더 적은 위험 요소로 추가 기능을 제공한다고 생각함

  • 지금까지 지원되지 않았다는 사실에 놀라움

    • Azure Blob Append와 비교하여 어떻게 다른지 궁금함
    • Azure Storage Append Blob을 사용하여 주기적으로 플러시하는 장기 실행 작업의 로그를 저장해왔음

  • 이는 S3 "Express One Zone"에 특정한 기능임

  • 모든 S3 유사 API에 대한 영향이 궁금함

답변달기