공부, 기록

synchronized : 선언된 구문에 대해서 동시에 하나의 스레드만 접근할 수 있는 기능 -> 특정 스레드가 synchronized에 접근시 구문 전체에 Lock이 걸린다. 즉 다른 스레드는 해당 구문에 접근할 수 없기 때문에 일관성은 보장되나 동시성이 떨어지며 리소스의 낭비가 발생. volatile : Keyword로 Java 변수를 Main Memory에 저장한다는 것을 명시. 즉 Read,Write의 IO 작업이 발생 할 때 cache가 아닌 Main Memory에서 읽음 -> 멀티스레드에서 하나의 변수에 접근하는 상황에서 Cache에 저장된 변수값을 가져올 경우 스레드마다 다른 데이터를 가지고 있을 수 있는데(ex 특정 스레드가 Read Only의 경우) 이를 방지함. 하지만 write가 다양..

Kafka REPLICATION : 카프카의 고가용성을 위한 기능으로 파티션을 복제하여 다른 브로커상에서 복제물을 만들어 둔다. LEADER PARTITION(원본) -> Follower Partition(복제본) Replication Factor : 복제 구성의 개수 ex) Factor : 3 -> 복제본2개 원본1개 프로듀서는 리더에만 write하고 컨슈머는 리더로만 read함(2.4버전 부터는 팔로우에서도 read 가능) 팔로우는 끌어오기 방식으로 데이터를 복제함(Fetch Request) 장애상황에서의 동작 리더가 터짐 -> 팔로우 중 리더 선발 -> 프로듀서와 컨슈머가 새로 올라온 리더에게 연결 파티션 리더에 대한 자동 분산 : hot spot 방지 -> 하나의 브로커에만 파티션의 leader들..

Apache Spark : SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진으로 In-Memory 연산이 가능하다. Spark의 장점 수평적 노드 추가가 용이 Hadoop MapReduce에 비해 메모리 100배, 디스크 10 배 성능 Lazy Evaluation : 결과가 필요할 때 연산, 기다리면서 연산 과정을 최적화 가능. Resilient Distributed Dataset (RDD) RDD의 5가지 특징 데이터 추상화 (데이터는 클러스터에 흩어져 있지만 하나의 파일처럼 사용 가능, 여러개의 파티션으로 분리) 탄력적이고 불변하는 성질 (불변 : RDD1이 변환을 거치면 RDD1이 바뀌는 것이 아닌 RDD2 가 생성됨 -> 변환을 거칠 ..

Blocking & Non-blocking 함수가 다른 함수를 호출 할 경우 해당 함수에게 제어권을 돌려주는지의 차이 Blocking A 함수가 B 함수를 호출 할 때, B 함수가 자신의 작업이 종료되기 전까지 A 함수에게 제어권을 돌려주지 않는 것 Non-blocking A 함수가 B 함수를 호출 할 때, B 함수가 제어권을 바로 A 함수에게 넘겨주면서, A 함수가 다른 일을 할 수 있도록 하는 것. Sync & Asyn 호출된 함수의 결과 처리를 어떤 함수가 하느냐의 차이 동기 Synchronous A 함수가 B 함수를 호출 할 때, B 함수의 결과를 A 함수가 처리하는 것(종료 시간이 동일). 비동기 Asynchronous A 함수가 B 함수를 호출 할 때, B 함수의 결과를 B 함수가 처리하는 것..