공부, 기록

성능 테스트 시스템 구성 요소가 특정 상황에서 어떤 성능을 보이는지 확인하기 위해 수행되는 테스트이다. 리소스 사용, 확장성 및 안정성도 이 테스트를 통해 검증할 수 있다. 부하 테스트 성능 테스트의 하위 집합으로, 임계치 한계에 도달 할 때까지 시스템의 부하를 지속적으로 지속적으로 증가시켜 시스템을 테스트하는 것을 의미한다. 부하 테스트의 유일한 목적은 시스템의 내구성을 테스트하고 결과를 모니터링하기 위해 처리 할 수 있는 가장 큰 작업을 시스템에 할당하는 것이다. 여기서 흥미로운 사실은 때때로 무부하 상황에서 시스템의 동작을 결정하기 위해 시스템에 빈 작업이 공급된다는 것이다. 부하 테스트에서 모니터링되는 속성에는 최대 성능, 서버 처리량, 다양한 부하 수준 (중단 임계 값 미만)에서의 응답 시간, ..

데이터 스트리밍 등 실시간으로 데이터를 처리하는 방식이 궁금하여 최근 알아보던 중 스트리밍 데이터 처리가 사실은 배치 작업과 동일하지만 이 간격을 극한으로 줄이는 배치 처리 방식이라는 내용을 듣게되었다. 이에 대해 좀 더 공부하여 정리하고자 한다. 배치 : 주기적으로 데이터를 처리하기 위한 일괄 처리 방식 (일, 주, 분 시간 등 다양한 간격으로 배치를 구성) Batch : 초,분,시간 수준의 일괄처리 마이크로 배치(스트림 처리) : 일괄 처리인 배치의 간격을 좁히는 방식 Near Real-time : 초단위 수준의 지연시간 보장 Real-time : Milliseconds 수준의 처리 보장 Real Real-time : Microseconds 수준의 처리 보장 일괄 처리 스트림 처리 데이터 범위 데이터..

1.아래 두 파이썬 파일을 dags 폴더에 추가ms_teams_webhook_operator.py# -*- coding: utf-8 -*-## Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyright ownership. The ASF licenses this file# to you under the Apache License, Version 2.0 (the# "License"); you may not use th..

병렬처리 : 다중 프로세서(Multi Processors) 시스템이다. 2개 이상의 CPU가 각자 맡은 역할을 수행하는 개념으로 이해하는 것이 쉽다. 대칭 구조(Symmetric multiprocessing, SMP) 각각의 프로세서가 동일한 운영체제 사본을 가지고 수행한다. 또한 많은 프로세서가 퍼포먼스가 나빠지지 않으며 한 번에 수행된다. 대부분의 OS가 이를 지원하고 있다. 비대칭 구조(Asymmetric multiprocessing, AMP) 각각의 프로세서가 각자의 역할이 존재하며, 마스터(master)프로세서와 노예(slave) 프로세서들로 구성되어 있다. 마스터 프로세서(CPU)가 노예 프로세서들에게 일을 할당하는 구조이다. 거대한 시스템에서 사용하고 있다. 장점 1. 경제적이다. 2. 처리..