오몰내알 데엔

데이터 엔지니어링/데이터 엔지니어링 기초

빅데이터를 지탱하는 기술 Ch2 - 빅데이터의 탐색

크로스 집계의 기본 크로스 집계의 개념: 트랜잭션 테이블, 크로스 테이블, 피벗 테이블 크로스 테이블: 엑셀에서 많이 보는 형태로 행 방향과 열 방향의 데이터가 교차하는 부분에 숫자 데이터가 들어간다. 트랜잭션 테이블: 데이터베이스를 생각하면 되는데, 행 방향으로 증가하는 테이블이다. 크로스 집계: 트랜잭션 테이블에서 크로스 데이블로 변환하는 과정. 피벗 테이블: 소량의 데이터를 크로스 집계하는데 편리한 것이 스프레드시트의 피벗 테이블 기능이다. 룩업 테이블: 트랜잭션 테이블에 새로운 항목을 추가하는 것이 아니라, 다른 테이블과 결합할 수도 있다. 예를 들면 상품 ID를 사용하여 상품명과 상품 카테고리를 참고하는 형태이다. 트랜잭션 테이블과 룩업 테이블은 서로 독립적으로 관리할 수 있다. 트랜잭션 테이블..

데이터 엔지니어링/데이터 엔지니어링 기초

빅데이터를 지탱하는 기술 Ch1 - 빅데이터의 기초 지식

빅데이터의 정착 분산 시스템을 이용한 데이터 처리의 고속화 - Hadoop과 NoSQL 2012년 무렵 "빅데이터"라는 단어가 생겨날 때, 기업들은 분산 시스템을 이용하여 빅데이터를 처리하는 과정에서 애를 먹고 있었다. 빅데이터를 사용하기 위해 이를 처리하는 과정에서 큰 역할을 한 것이 바로 Hadoop과 NoSQL이다. Hadoop 하둡은 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템으로, 방대한 양의 데이터를 저장하고 이를 순차적으로 처리할 수 있는 수 많은 컴퓨터를 관리하기 위한 프레임워크이다. NoSQL NoSQL은 기존 RDB의 한계를 벗어나기 위해 탄생한 데이터베이스로, RDB보다 고속의 읽기, 쓰기가 가능하고 분산 처리에 뛰어나다. NoSQL에도 Key-Value Store, Doc..

오몰내알
'데이터 엔지니어링/데이터 엔지니어링 기초' 카테고리의 글 목록 (2 Page)