분류 전체보기

Airflow: 외부 시스템과 통신 | 시스템 간 데이터 이동

요약 Airflow 오퍼레이터로 외부 시스템에서 태스크 수행 오퍼레이터를 구현하여 A-to-B 작업(시스템 간 데이터 이동) 구현 외부 시스템에 연결하는 태스크 테스트 1. 클라우드 서비스에 연결하기 에어플로우에서는 클라우드 서비스에 요청을 보낼 수 있도록 오퍼레이터를 제공함. 내부적으로 클라우드의 sdk를 사용해서 호출 1.1 추가 의존성 패키지 설치하기 서비스 연결을 위해서는 패키지 설치가 필요함. aws pip install apache-airflow-providers-amazon gcp pip install apache-airflow-providers-google Azure pip install apache-airflow-providers-microsoft-azure 이외 다른 외부 서비스도 해당..

pandas 통해서 csv 파일로 mysql에 테이블 생성하기

csv_to_mysql.py: import time import pandas as pd import pymysql from sqlalchemy import create\_engine import configparser # pandas에서 read\_csv할 때 'utf-8'으로 인코딩 하는 경우 에러가 날 수도 있음. -> 'cp949' 인코딩 사용 df = pd.read\_csv("./qa\_sample.csv", encoding='cp949') # 설정 파일 경로 config\_path = "./settings.ini" # 설정 파일 읽기 config = configparser.ConfigParser(interpolation = None) config.read(config\_path) # params..

[Kotlin] 제네릭스

🌟 화면을 넓게 하시면 오른쪽에서 목차를 확인하실 수 있습니다. :) 제네릭 타입 파라미터 제네릭 타입 파라미터를 사용하여 제네릭 함수, 프로퍼티, 클래스를 선언하는 방식은 자바와 비슷하다. 제네릭스를 사용하여 타입 파라미터를 받는 타입을 정의할 수 있고, 타입 인자로 치환하여 인스턴스를 만들 수 있다. 타입 인자(type argument)는 프로그래머가 직정 타입 인자를 정의하거나 컴파일 과정에서 타입 추론에 의해 타입 인자가 추론될 수 있어야한다. List // 타입 파라미터로 String을 받고 있는 리스트 제네릭 함수와 프로퍼티 리스트를 다루는 함수를 작성할 때, 모든 리스트를 다룰 수 있는 함수를 만들고 싶을 때 제네릭 함수를 작성한다. 제네릭 확장 프로퍼티도 마찬가지로 타입 마라미터를 선언하여..

[빅데이터를 지탱하는 기술] 1장 빅데이터 기초 지식과 Druid

🌟 화면을 넓게 하시면 오른쪽에서 목차를 확인하실 수 있습니다. :) 책의 요약 + 더 찾아본 내용이 포함되어 있습니다. 요약 1.1 Hadoop, NoSQL db, data warehouse 1.2 데이터 파이프라인의 시스템 구성 1.3 파이썬에 의한 ‘대화형 데이터 처리’ 1.4 데이터 모니터링: spread sheet, BI 도구 사용 1-1 [배경] 빅데이터의 정착 빅데이터를 다루는 목적은 가치 있는 정보를 얻어오는 것! 책에서는 데이터 처리를 어떻게 효율적으로 실행하는지, 그리고 데이터 파이프라인의 자동화에 대해서 다룰 예정이라고 함. 즉, 데이터를 어떻게 분석하냐(데이터 분석)이전에 어떻게 분석가에게 가공해서 전달할 지(데이터 엔지니어링)를 설명하는 책인듯하다. 빅데이터를 처리하는 대표적인 시..

한줄 정리 단어장

minio 고성능 개체 스토리지 s3 와 호환 가능 빅데이터 livy spark 작업을 웹 애플리케이션이 rest api 방식으로 사용가능하게 하는 오픈소스 프로젝트 스파크 작업을 요청할 수 있는 서비스 Spark 아파치 스파크 빅데이터 분석 프레임워크 (오픈 소스 클러스터 컴퓨팅 프레임워크-wiki) 아파치 Hadoop 보완 BI business intelligence