Kaden Sungbin Cho Kaden Sungbin Cho

AWS Kinesis는 '분산 이벤트 스트리밍 스토어'로 Apache Kafka, Google Pub/Sub, Azure Event Hubs 등과 비교되곤 합니다 [1]. Kinesis는 그러한 '저장' 부분 외에도 스트리밍 데이터를 손쉽게 수집하고, 처리하고, 분석할 수 있도록 도와주는 모듈로 구성되어 있습니다. 그렇기에 애플리케이션 로그, 메트릭, IoT 센서 데이터 등의 실시간 데이터 수집에 이용되는데요. 각기 다른 기능을 담당하는 다음과 같은 4가지 세부 서비스로 구성되어 있습니다: Kinesis Data Streams: 데이터 스트림 수집, 처리, 저장 담당 Kinesis Data Firehose: AWS 데이터 저장소로 데이터 스트림 로딩을 제공 Kinesis Data Analytics: SQ..

과거부터 데이터베이스 replica 생성, 데이터 수집 등 데이터베이스 복제에 대한 요구사항이 발달하면서, '변경을 다른 곳에 복제하는 것'에 대한 많은 관심이 높아져왔고 관련 솔루션도 점점 발달해 왔습니다. CDC 솔루션은 크게 1) 로그 기반, 2) trigger 기반(DB 프로시져 등을 통한) 형태가 존재합니다. 이번 글에서는 로그 기반 CDC를 중점으로 살펴보겠습니다. 주로 데이터베이스의 복제를 위해 사용되던 replication log는 초기에 외부에 사용되는 API라기보다는 내부 구현용으로 여겨져 왔습니다. 그렇기에 그러한 replication log는 데이터베이스에 가한 모든 변경에 대한 기록을 가지고 있지만, 이러한 모든 변경 기록을 통해 다른 스토리지에 데이터를 복사하는 일은 매우 어려운..

최근 레거시 서비스를 정리하며, 타부서 또는 타조직의 협업이 잦아졌습니다. "그들에게 '도메인'에 대한 답이 어느 정도 있겠지"라는 제 기대와는 다르게 저와 큰 차이가 없다는 사실을 인지하게 되었는데요. 아마도 외주 운영이던 서비스가 내재화되었기에 관리는 익숙하나 실무와는 멀었구나하고 이해했습니다. 동시에 커뮤니케이션과 서비스의 방향성이 잘 정리되어 있지 않다는 느낌을 많이 받았습니다. 여러 원인이 있겠지만, 저에게는 '해당 서비스를 담당하는 기획자의 부재'가 크게 다가왔습니다. 그 부분을 조금이라도 이해하고 정리라도 해야겠다는 마음을 먹었는데, 기획자와 관련해 좋은 책을 발견해 읽고 이 글에서 책 내용을 중심으로 개인적으로 이해한 언어로 정리해보려 합니다. 서비스 기획자란? 서비스 기획의 프로세스 서비..

현대 사회는 이메일, 메시지, 전화, 광고 등 집중(focus)을 방해하는 수많은 것들에 노출되어 살아가고 있습니다. 가상화폐의 하나인 Basic Attention Token은 이를 잘 표현해주고 있는데요. 사용자가 조절한 노출량에 따라 소비하게 되는 광고에 대한(attention) 비용을 코인으로 보상해주는 형태입니다. 여기서 광고는 광고 소비자의 '주의'에 대한 보수를 지급하는 형태가 됩니다. 즉 '주의(attention)'는 너무나도 희소한 자원이기에 너도나도 주의를 돌리기 위해, 빼앗기 위해, 얻기 위해 노력하는 환경 속에서 우리는 살아가고 있습니다. 일찍이 1960년대 후반에 카메기 멜론 대학 컴퓨터과학 및 심리학 교수였던 허버트 사이먼은 정보의 급격한 증가가 사회 전체의 짐이 될 것이라고 경고..

레이크 포메이션(Lake Formation)은 'fully managed service'로 데이터 레이크의 구축, 보안 설정, 관리를 손쉽게 만들어 주는 서비스입니다. 레이크 포메이션은 데이터 레이크 구축 시 복잡하고 손이 많이 가는 단계들을 단순화하고 자동화합니다. 이러한 단계들에는 데이터를 수집, 정제, 이동, 카탈로깅하고 분석과 머신러닝을 위해 데이터를 안전하게 접근 가능하도록 하는 부분들이 포함됩니다. 사용자가 데이터 소스를 설정하기만 하면, 레이크 포메이션은 소스를 크롤링하여 데이터를 S3 데이터 레이크로 이동시켜 주게 됩니다. 레이크 포메이션은 AWS Identity and Access Management (IAM)에 기반한 자체 권한 관리 모델을 제공합니다. 이러한 중앙 관리형 권한 관리 모..

[Hands-on] AWS Lake Formation으로 손쉽게 데이터 환경을 구축하기 레이크 포메이션(Lake Formation)은 'fully managed service'로 데이터 레이크의 구축, 보안 설정, 관리를 손쉽게 만들어 주는 서비스입니다. 레이크 포메이션은 데이터 레이크 구축 시 복잡하고 손이 많이 kadensungbincho.tistory.com Amazon Web Service는 클라우드 환경에서 다양한 관계형 데이터베이스 서비스를 제공해주고 있습니다. 이 글에서는 관련된 중점 사항들은 무엇이 있고, 어떠한 서비스들이 존재하는지 알아보겠습니다. Amazon Relational Database Service 아마존 RDS는 클라우드에서 관계형 데이터베이스를 실행할 수 있도록 하는 man..

스파크 애플리케이션의 상태를 파악하는데에 있어서 Web UI는 매우 중요한 역할을 합니다. 이번 글에서는 Spark Web UI를 살펴보며, 어떤 부분들을 고려할 수 있는지 알아보도록 하겠습니다. 살펴볼 세부적인 사항들은 아래와 같습니다: Jobs: 스파크 애플리케이션의 모든 job에 대한 요약 정보 제공 Stages: 모든 jobs의 모든 stages의 현재 상태 요약 정보 제공 Storage: persisted RDD와 DataFrames 정보 제공 Environment: 다양한 환경 변수값 Executors: 애플리케이션을 위해 생성된 엑서큐터 정보 제공. 메모리와 디스크 사용량과 task, shuffle 정보 등 SQL: 애플리케이션이 Spark SQL 쿼리 실행 시 정보 제공 Streaming:..

우리는 모두 언제나 어떠한 '목적'을 따라 살고있다고 합니다. 밖에 나가지 않고 방 안에 틀어박혀 '트라우마 때문이야'라고 말하는 한 사람도 그 내면에는 목적이 있다고 합니다. 사실 '집에서 나가지 않는 것'이 그 사람의 진짜 목적이라고 합니다. 그리고 그러한 목적을 명징하게 드러내면, '집 밖에 나가 아무도 관심을 가져주지 않는 행인1이 되는 대신 집 안에 틀어박혀 받는 부모님의 걱정과 관심'이라는 근본적인 이유가 보인다고 합니다. 이러한 도발적인 '안티테제'가 포함된 책 '미움받을 용기'는 대화체로 잊혀졌던 심리학자 아들러의 이론을 전달해 줍니다. 개인적으로 읽고 나서는 '왜 몇 년전에 이러한 제목을 보고 단정짓고 읽지 않았을까?'하는 생각이 들었습니다. 또한, 최근에 관심있게 살펴보고 있는 '메타인..