본문 바로가기

Data Engineering8

데이터 엔지니어링 노마드코더 클론코딩 Roadmap: https://nomadcoders.co/roadmap Python으로 웹 스크래퍼 만들기 (무료): https://nomadcoders.co/python-for-beginners Airbnb 클론코딩: https://nomadcoders.co/airbnb-clone Python 웹 스크래퍼로 흥미 돋우면서 웹 크롤링 시작해도 괜찮을 것 같음 (데이터 쪽) 재미 위주로 Full-stack 서비스 경험해보려면 클론코딩이 괜찮을 것 같음 프로그래머스 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6만원) https://programmers.co.kr/learn/courses/12916#introduction 6주간 진행되는 스터디로 온라인 미팅.. 2021. 12. 20.

GPDB (vs. PostgreSQL, Architecture, Query) #Greenplum_Database [1] GPDB vs. PostgreSQL - GPDB는 PostgreSQL을 기반으로 하는 MPP* DBMS임 (PostgreSQL은 SMP*) - 여러 개의 디스크 기반 DB 인스턴스들이 하나의 DBMS처럼 작동함 (분산 병렬 처리) - SQL 지원, 특징, Config 옵션, 사용자 기능 측면은 PostgreSQL과 매우 비슷함 - GPDB가 PostgreSQL에 비해 추가 지원하는 기능들은... . Postgres Planner 뿐만 아니라 GPORCA도 쿼리 플래닝에 사용 . 시스템 카탈로그, Optimizer, 쿼리 실행기, 트랜젝션 매니저 수정/강화 (for 병렬 구조) . 외부 테이블 병렬 로딩, 자원 관리, 쿼리 최적화, 스토리지 강화 (Append-O.. 2021. 5. 16.

True/False Positive/Negative 정리 인공지능개론 들을 땐 바로 이해했던 개념인데 이번에 졸작하면서 다시 찾아보니 왠지 이해가 안 됐었던... 빅데이터 수업 듣다가 또 나왔는데 다행히 이해되서 정리해둔다. True Positive False Positive True Negative False Negative 네 개념은 실제값과 예측값에 따라 계산하며, 뒤에서부터 해석한다. Positive와 Negative는 예측값이 기준 레이블과 같은지 (예측값 == 기준값?) 여부에 따라 결정되고 True와 False는 그래서 그 예측이 맞았는지 (예측값 == 실제값?) 여부에 따라 결정된다. 가령 0과 1 두 가지의 레이블에 대하여 분류하는 문제를 풀었고, 레이블 0에 대하여 TP, FP, TN, FN을 계산한다고 하자. True Positive는 예측.. 2020. 5. 7.

Spark/Hadoop 이용할 CentOS VM 세팅하기 CentOS에서 Spark와 Hadoop을 이용해 빅데이터를 분석하는 실습을 하기 위해서... VM을 세팅하는 방법에 대해서 정리한다. 돌아보면 별 거 아닌데 하룻밤을 새고 나서야 알게 되었다. 미리 결론부터 말하자면.. RAM=4GB, Disk=20GB이상, Cores=8로 VM을 세팅하자. (Cores는 Multi-threading 이용할 경우) VMWare 사실 Window에서 실습을 진행해도 됐는데, Linux 기반으로 해보는게 낫지 않을까 싶어서 VM에 CentOS를 올리기로 했다. (CentOS는 처음 써보는 거기도 하고..) 익숙한 VirtualBox를 사용하려고 했는데.. 이상하게 (몇 달 전부터?) VM이 시작이 안 되고 오류가 있어서 결국 포기했다. 발생한 오류는 여기서 난 오류랑 같은.. 2020. 4. 16.

이전 1 2 다음

티스토리툴바