본문 바로가기

분류 전체보기74

4/23 해봤던 것 정리 1. RMDL 적용 시도 Colab에 pip 설치해 하다가 checkpoint 경로 바꿔보려고 내 깃헙에 fork하고 경로 고쳐서 커밋한 다음 git clone함 (pip 설치하고도 코드를 수정할 수 있는 지는 모르겠음..) https://stackoverflow.com/questions/49322072/checkpoints-in-google-colab : 이거 보면 checkpoint 경로를 /gdrive 내로 바꿔도 안 될 수도 있을 것 같음 (물론 mount 후에..) https://research.google.com/colaboratory/local-runtimes.html : Colab 로컬 런타임 관련 document. 로컬에서 코드를 실행하고 로컬 파일 시스템에 엑세스할 수 있다고 함. 단점.. 2020. 4. 24.

Spark/Hadoop 이용할 CentOS VM 세팅하기 CentOS에서 Spark와 Hadoop을 이용해 빅데이터를 분석하는 실습을 하기 위해서... VM을 세팅하는 방법에 대해서 정리한다. 돌아보면 별 거 아닌데 하룻밤을 새고 나서야 알게 되었다. 미리 결론부터 말하자면.. RAM=4GB, Disk=20GB이상, Cores=8로 VM을 세팅하자. (Cores는 Multi-threading 이용할 경우) VMWare 사실 Window에서 실습을 진행해도 됐는데, Linux 기반으로 해보는게 낫지 않을까 싶어서 VM에 CentOS를 올리기로 했다. (CentOS는 처음 써보는 거기도 하고..) 익숙한 VirtualBox를 사용하려고 했는데.. 이상하게 (몇 달 전부터?) VM이 시작이 안 되고 오류가 있어서 결국 포기했다. 발생한 오류는 여기서 난 오류랑 같은.. 2020. 4. 16.

개발자 이력서/포트폴리오 보호되어 있는 글 입니다. 2020. 3. 31.

NLP Encoding (wikidocs) Integer encoding - 단어 집합(vocab)의 단어에 고유한 숫자를 부여 - 방법: python dictionary, Counter, NLTK FreqDist, Keras preprocessing.text 1) sentence/word tokenization, cleaning, normalization 2) key=단어, value=빈도수로 하여 단어 집합을 만들고 빈도수 순으로 정렬 3) 빈도수가 높은 단어부터 낮은 정수 인덱스를 부여 4) 빈도수가 적은 단어를 단어 집합에서 제외할 수 있음 5) 자연어 상태의 단어를 정수 인덱스로 변환 - 정수 인덱스로 변환하는 과정에서 OOV가 있을 수 있음 - OOV(Out-Of-Vocabulary): 단어 집합에 존재하지 않는 단어 (빈도수가 적어 .. 2020. 3. 19.

이전 1 ··· 9 10 11 12 13 14 15 ··· 19 다음

티스토리툴바