Netflix내의 마이크로서비스가 데이터를 처리하는 방법 (Gutenberg)

마이크로서비스 아키텍처에서는 단일 서비스에서 여러 목적지로 데이터 세트를 전파하는 것이 어려울 수 있다. 여기서 말하는 데이터 세트는 서비스 구성, 배치 작업 결과등의 모든 것을 의미 할 수 있다. 이러한 것들은 시간이 지남에 따라 종종 업데이트되어야 하기도 한다. 예를 들어서 Netflix에서는 수많은 A/B 테스트를 실행하고 있고 이런 테스트는 여러 서비스를 걸쳐서 수행되기에 테스트 담당자는 구성을 즉시 조정할 수 있어야 한다. 그리고 문제 발생시 이전 버전으로 롤백을 해야 한다. 다른 예는 머신 러닝 모델의 결과에 대한 배포이다. 머신 러닝 모델의 결과는 여러 팀에서 사용되지만, 모델을 담당하는 팀이 ...

더보기

마이크로 서비스(MSA) 전환시 알아야 할 것

어떤 서비스를 만들때에 Monolithic으로 만들어야 할지? Monolithic으로 만들고 Microservices로 구성해야 할지? 아니면 처음부터 Microservices로 구성해야 하는지에 대한 고민이 생긴다. Microservices는 최근 급속히 발전하는 많은 기업이 소프트웨어 아키텍처로 이동할 것을 고려하고 있다. Microservices 또는 Serverless로의 이동은 잘 만들면 금융, 소매, 마케팅, 데이터 분석 및 기타 여러 산업에서 효율성을 가져 올 수 있다. 위 그래프는 2017년에 도입되었거나 2018년도에 도입해야 하는 최우선 기술들을 표현한 그래프이다. 제품이나 서비스가...

더보기

마이크로 서비스(MSA)에서 분산 트랜잭션

분산 트랜잭션은 무엇인가? 아래는 트랜잭션을 사용한 Monolithic 커머스 시스템이다. 위의 경우는 체크 아웃 요청에 대해 데이터베이스에서 트랜잭션이 생성된다. 각 비즈니스 단계에 대해서 데이터베이스에서 보장한다. ACID(Atomicity, Consistency, Isolation, Durability)로 알려져 있다. 아래는 마이크로 서비스에서의 커머스 시스템이다. 모놀리틱은 데이터베이스에 의존하여 트랜잭션을 처리하지만, 마이크로 서비스의 경우 데이터베이스에 의존할 수가 없다. 그 이유는 각 서비스마다 별도의 데이터베이스를 가지고 있기 때문이다. 마이크로 서비스에서 트랜잭션에 대한 문제 마이크...

더보기

마이크로 서비스(MSA)를 사용하지 않는 경우

본 글은 찰스 페발의 블로그의 글을 번역한 것이다. 굳이 마이크로 서비스가 필요하지 않는 상황에서도 “마법의 키워드”와 같이 마이크로 서비스를 꼭! 해야 한다는 상황에서 정말 그래야 하는지 고민해 볼 필요가 있다. 마이크로 서비스란? 마이크로 서비스에는 많은 정의가 있다. 일반적으로는 아래와 같이 요약된다. 마이크로 서비스는 구성 요소 설계 및 배치 아키텍처에 적용 되는 패턴이다. 서비스를 작게 유지하고 기능별로 그룹화 한다. 관심사를 분리하여 구현한다. 서로 자율적으로 분리되어 있어야 한다. 독립적 배포 및 버전을 조정하여 확장할 수 있어야 한다. 마이크로 서비스 패턴의 일반적인 구현은...

더보기

마이크로 서비스(MSA)의 경계

마이크로 서비스를 사용하면 이점을 얻을 수 있지만, 경험에 비추어보면 몇 가지 문제가 있었다. 영향을 최소화 할 수 있도록 도출된 문제를 인식하는 것이 중요하기에 여기에 몇 가지 적는다. 문제 중 하나는 마이크로 서비스의 경계를 잡는 일이다. 이것은 가장 어려운 작업이다. 마이크로 서비스 범위 설정 각각의 마이크로 서비스가 단일 책임의 원칙을 수용하는 구조라면 이 글을 쓸일이 없었을 것이다. 커머스 플랫폼에서 결제를 담당하는 서비스를 생각해보자. 처음에는 두 가지의 지불 방법 (카드와 바우처)만 존재했고, 이 두가지 방법이 동일한 서비스에서 구현되었다고 가정한다. 여기에 계좌 이체, Paypal등 다른 결...

더보기

Netflix 미디어 데이터베이스

Netflix의 목표는 전 세계 수백만 회원의 재생 시작 시간을 최소화하는 것이다. 이를 위해서 ISO BMFF의 Header 크기에 대한 통계량(최소값, 최대값, 중간값, 평균값등)을 수집해야 한다. Netflix의 Transcoding Pipeline은 방대한 콘텐츠 카탈로그를 서비스하며 모든 콘텐츠에 대해 다양한 코덱+품질 조합을 생성한다. 과거에는 비트 스트림 헤더 정보를 클롤링하는 일회성 스크립트를 작성해야만 데이터를 분석할 수 있었고 이러한 접근 방식에는 확장성이 없었다. 본 글에서는 Netflix의 Media Data Base 시스템에 대해서 소개하고자 한다. 왜 미디어 전용 데이터 베이스가 필...

더보기

Netflix OSS 및 Spring Boot

Netflix의 Backend 및 Mid-tier 어플리케이션의 대부분은 Java를 사용하여 구축되었고, Micro Service를 위해 필요한 Ribbon, Eureka, Hystrix등 클라우드 인프라 라이브러리 및 시스템을 구축했다. 2015년도에 Spring Cloud Netflix는 1.0 버전이 나왔고, Spring Boot를 사용하여 Netflix OSS 구성 요소를 결합하기 위한 커뮤니티 노력의 일환이었다. Netflix는 2018년 부터 Spring Cloud Netflix를 통한 커뮤니티의 산출물을 이용하여 Java 프레임워크로 Spring Boot로 전환하였다. Netflix가 내부 구성...

더보기

MSA(마이크로 서비스 아키텍처)에 대해서 생각해보기

마이크로 서비스는 지난 몇년 동안 매우 인기 있는 주제였다. 마이크로 서비스는 왜 그렇게 인기가 있을까? 아래는 가상 비디오 공유 플랫폼이 Monolithic 형태로 구현 된 후에 마이크로 서비스 형태로 구현되는 방식이다. 위의 시스템의 차이점은 하나의 큰 덩어리와 작은 단위라는 점이다. 독립 개발: 작고 독립적인 구성 요소는 그에 맞춰진 작고 독립적인 팀으로 구성할 수 있다. 독립 배포: 각 구성 요소는 독립적으로 확장 할 수 있다. 새로운 서비스가 출시 되면 모든 구성 요소를 배포하지 않고 해당 구성 요소만 배포가 가능하다. 재사용성: 구성 요소들은 작고 특정한 기능을 수행한다. 다른 서비스...

더보기