카프카 커넥트

Apache Kafka Connect : 다양한 어플리케이션과 카프카를 연동하는 과정에서 중복되며 소비되는 개발 리소스를 줄이기 위한 툴 즉 카프카 안팎으로 데이터를 스트리밍하기 위한 Framework로 Connector 개발, 배포, 관리를 단순화함

https://fastcampus.co.kr/dev_online_kafka 강의 참조

커넥트 용어

• Connectors : Task를 관리하여 데이터 스트리밍을 조정하는 Plugin(jar), Java Class/Instance
• Tasks : Kafka에서 또는 Kafka에서 데이터를 전송하는 방법의 구현체 (Java Class/Instance)
• Workers : Connector 및 Task를 실행하는 실행 중인 프로세스(Process)
• Converters : Connect와 데이터를 보내거나 받는 시스템 간에 데이터를 변환하는데 사용되는 Components(Java Class)
• Transforms : Connector에 의해 생성되거나 Connectors로 전송되는 각 메시지를 변경하는 간단한 Components(Java class)
• Dead Letter Queue : Connect에서 Connector 오류를 처리하는 방법

 

커넥트 아키텍처 

Worker 프로세스가 Connector, Task등을 관리한다.

https://fastcampus.co.kr/dev_online_kafka 강의 참조

Connect Wokrer Node에서 Connect Worker Process가 동작하며 해당 프로세스가 Connector Instance, Task Instance를 관리

 

Standalone , Distributed Workers

https://fastcampus.co.kr/dev_online_kafka 강의 참조

 

 

Source Connector

카프카 메시지의 Transform : https://docs.confluent.io/platform/current/connect/transforms/overview.html

EX) Cast : 필드 또는 전체 Key 또는 Value를 특정 유형으로 타입 변환

Drop : 레코드에서 Key 또는 Value를 삭제하고 Null로 변경

MaskField : 필드 유형에 대해 유효한 Null 값으로 지정된 필드를 마스킹

 

Sink Connector

 

 

 

 

 

 

 

 

 

참조 : 

https://fastcampus.co.kr/dev_online_kafka