Kaden Sungbin Cho Kaden Sungbin Cho

AWS Simple Storage Service (S3)는 2006년 3월 14일에 런칭된 AWS의 오브젝트 스토리지 서비스입니다. 이후 처음 릴리즈 된 S3와 상응한 여러 오브젝트 스토리지를 꾸준히 추가하여 왔습니다. 블록 스토리지에서는 물리적 저장 기기가 개별 블록으로 나뉘어 지고, 블록의 사용이 파일시스템에 의해 관리되는 반면에 S3와 같은 오브젝트 스토리지는 데이터를 저장할 수 있는 하나의 평평한 공간을 제공합니다. 이렇게 오브젝트 스토리지의 간단한 디자인은 블록 스토리지의 OS와 연관된 복잡도를 피하고 쉽게 스토리지에 접근할 수 있도록 해줍니다. 사용자가 S3에 파일들을 write하면, 파일들은 최대 2 KB의 메타데이터와 같이 저장됩니다. 그 메타데이터는 데이터 권한, nested된 버킷 안에..

전통적으로 비지니스의 가장 중요한 자원은 '인적' 그리고 '금융' 자산이었습니다. 최근에는 데이터 활용도가 높아짐에 따라, 이러한 자산에 '데이터'가 포함되었습니다. 그러한 '데이터 자산' 관리에 있어서 중요한 부분은 데이터를 입수, 처리, 가공, 분석할 수 있는 잘 갖춰진 '데이터 플랫폼'입니다. AWS Glue는 AWS가 제공하는 데이터 플랫폼의 근간에 위치하며, AWS의 다양한 데이터 관련 서비스를 '붙여'주는 기능을 합니다. 이 글에서는 AWS Glue와 관련해 아래와 같은 사항들을 다룹니다: AWS Glue란? AWS Glue를 통한 데이터 ETL 프로세스 AWS Glue란? AWS Glue란 fully managed 서비스로 데이터를 데이터 원천으로부터 추출하고, Amazon S3와 같은 다른..

AWS Kinesis는 '분산 이벤트 스트리밍 스토어'로 Apache Kafka, Google Pub/Sub, Azure Event Hubs 등과 비교되곤 합니다 [1]. Kinesis는 그러한 '저장' 부분 외에도 스트리밍 데이터를 손쉽게 수집하고, 처리하고, 분석할 수 있도록 도와주는 모듈로 구성되어 있습니다. 그렇기에 애플리케이션 로그, 메트릭, IoT 센서 데이터 등의 실시간 데이터 수집에 이용되는데요. 각기 다른 기능을 담당하는 다음과 같은 4가지 세부 서비스로 구성되어 있습니다: Kinesis Data Streams: 데이터 스트림 수집, 처리, 저장 담당 Kinesis Data Firehose: AWS 데이터 저장소로 데이터 스트림 로딩을 제공 Kinesis Data Analytics: SQ..

레이크 포메이션(Lake Formation)은 'fully managed service'로 데이터 레이크의 구축, 보안 설정, 관리를 손쉽게 만들어 주는 서비스입니다. 레이크 포메이션은 데이터 레이크 구축 시 복잡하고 손이 많이 가는 단계들을 단순화하고 자동화합니다. 이러한 단계들에는 데이터를 수집, 정제, 이동, 카탈로깅하고 분석과 머신러닝을 위해 데이터를 안전하게 접근 가능하도록 하는 부분들이 포함됩니다. 사용자가 데이터 소스를 설정하기만 하면, 레이크 포메이션은 소스를 크롤링하여 데이터를 S3 데이터 레이크로 이동시켜 주게 됩니다. 레이크 포메이션은 AWS Identity and Access Management (IAM)에 기반한 자체 권한 관리 모델을 제공합니다. 이러한 중앙 관리형 권한 관리 모..

[Hands-on] AWS Lake Formation으로 손쉽게 데이터 환경을 구축하기 레이크 포메이션(Lake Formation)은 'fully managed service'로 데이터 레이크의 구축, 보안 설정, 관리를 손쉽게 만들어 주는 서비스입니다. 레이크 포메이션은 데이터 레이크 구축 시 복잡하고 손이 많이 kadensungbincho.tistory.com Amazon Web Service는 클라우드 환경에서 다양한 관계형 데이터베이스 서비스를 제공해주고 있습니다. 이 글에서는 관련된 중점 사항들은 무엇이 있고, 어떠한 서비스들이 존재하는지 알아보겠습니다. Amazon Relational Database Service 아마존 RDS는 클라우드에서 관계형 데이터베이스를 실행할 수 있도록 하는 man..