목록공부/소소한 개발 (38)

공부, 기록

MSA (Micro Service Architecture)

Monolithic Architecture : 전체의 서비스를 하나의 구조로 구성한 아키텍처, 애플리케이션의 모든 구성 요소가 한 프로젝트에 통합되어 있는 형태. 장점 개발 초기에 단순한 아키텍처 구조로 인해 개발에 용이하다. 어떤 서비스든지 개발되어 있는 환경이 같아서 복잡하지 않다. 배포가 간단하다. 확장성이 쉽다. 로드밸런스를 이용하여 로드 부하를 나눠 가지는 방식으로 진행한다. 쉽게 고가용성 서버 환경을 만들 수 있다. End-to-End 테스트가 용이하다. 단점 프로젝트의 규모가 커짐에 따라 애플리케이션 구동 시간이 늘어나고 빌드 및 배포 시간이 길어진다. 서비스, 프로젝트가 커질수록 많은 양의 코드가 몰려 있어서 개발자가 모든 코드를 이해하기 힘들며, 유지 보수가 어렵다. 일부분의 오류가 전체..
공부/소소한 개발 2022. 8. 15. 15:17
타입스크립트

타입스크립트 : 마이크로소프트에서 구현한 JavaScript의 슈퍼셋(Superset) 프로그래밍 언어. 확장자로는 .ts를 사용하며, 컴파일의 결과물로 JavaScript 코드를 출력한다. 최종적으로 런타임에서는 이렇게 출력된 JavaScript 코드를 구동시키게 된다. 장점 : 정적 타입을 명시할 수 있는 것이 자바스크립트와의 가장 큰 차이. 이를 통하여 IDE와 컴파일러에서 에러 확인이 가능하다 이를 통해서 에러의 사전 방지와 코드 가이드 및 자동 완성 등의 장점이 있다. 또한 객체지향 프로그래밍이 가능하다. 단점 : 자바스크립트에 비하여 속도가 느림. 추가적인 학습이 필요. let name:string = "minjae" let addr:string = "seoul" let phone:number..
공부/소소한 개발 2022. 8. 6. 15:33
[AIRFLOW, SPARK] AIRFLOW, SPARK 연동

1. Spark ETL py 파일 생성 from pyspark import SparkContext, SparkConf, SQLContext from pyspark.sql import * #DB Connection 설정 source_dbcc = "jdbc:sqlserver"//서버주소;databaseName=카탈로그명;" target_dbcc = "jdbc:sqlserver"//서버주소;databaseName=카탈로그명;" #테이블명, login 설정 source_table = "테이블명" target_table = "테이블명" username = "로그인 id" password = "password" #Spark session 생성 conf = SparkConf().setAppName("ETL_TEST"..
공부/소소한 개발 2022. 8. 6. 15:04
[AIRFLOW, SPARK] Airflow, SPARK 설치

신규 프로젝트를 진행하면서 DW가 필요하였다. DW를 구축하기 위한 데이터 파이프라인으로 3가지 방안이 있었다. 1. 오픈소스 ETL 프로그램인 Talend 와 윈도우 스케쥴러를 사용한 방법 2. SSDT 툴을 사용하여 SQL Server Agent JOB 을 이용하여 데이터 이관 3. Airflow와 Python을 사용하여 데이터 이관. 1의 방법의 경우 팀내에 이미 사용하고 있던 방법이었고 해당 방법에대한 R&D 및 환경구축이 진행이 되어있었다 (Bulk Insert, 이기종 DBMS간 이관 등) 하지만 단점으로 모니터링이 제한적이라는 점과 퍼포먼스가 있었다. Talend의 경우 하나의 프로세스에서 Insert Into 구문을 실행하여 데이터가 이관된다. 2의 방법의 경우 동일한 SQL Server간..
공부/소소한 개발 2022. 8. 6. 15:03
이전 Prev 1 2 3 4 5 ··· 10 Next 다음