4/23 해봤던 것 정리

1. RMDL 적용 시도

• Colab에 pip 설치해 하다가 checkpoint 경로 바꿔보려고 내 깃헙에 fork하고 경로 고쳐서 커밋한 다음 git clone함 (pip 설치하고도 코드를 수정할 수 있는 지는 모르겠음..)
• https://stackoverflow.com/questions/49322072/checkpoints-in-google-colab : 이거 보면 checkpoint 경로를 /gdrive 내로 바꿔도 안 될 수도 있을 것 같음 (물론 mount 후에..)
• https://research.google.com/colaboratory/local-runtimes.html : Colab 로컬 런타임 관련 document. 로컬에서 코드를 실행하고 로컬 파일 시스템에 엑세스할 수 있다고 함. 단점은 로컬에 접근이 가능하므로 rm -rf 같은 무서운 명령어가 실행될 수도 있다는 것과 라이브러리를 새로 설치해야할 수도 있다는 것.
• https://blog.nerdfactory.ai/2019/04/25/learn-bert-with-colab.html : Colab에서 한 폴더 자체를 구글 드라이브와 연결시킬 수 있는 방법이 나와있음. (!ls를 실행하면 드라이브와 동일하게 나오는!!) 'Colab과 구글 드라이브를 연동' 검색.
• 추가) 저게 옛날 방법인 듯. 그냥 드라이브 마운트하고 !ls /gdrive 하면 드라이브 폴더들 나옴..^^
• checkpoint 경로 바꾼 버전 + RMDL 리드미에 나와있는 IMDB 데이터셋으로 시도해봤는데 램이 터짐 (하드웨어 가속기 GPU로 설정하면 할당되는 램이 줄어든대서 TPU/None으로도 시도해봄)
• https://github.com/googlecolab/colabtools/issues/253 : Colab에서 (돈을 내고) 램을 더 많이 쓸 수 있느냐하는 이슈인데 돈을 내고 램을 더 받는 서비스는 없다고 함. 여기 나와있는 해결 방법은 한 번 램 최대 리밋을 치면 '램 사이즈를 늘리시겠습니까?' 하는 메시지가 뜨므로 거기서 '예'를 누르라는 것인데 현재는 '램 사이즈를 늘릴 것인지'를 묻는 메시지가 아닌 '램 사이즈를 모두 사용했으니 세션이 종료되었음'이라는 메시지가 뜸. 정책이 바뀐걸지도?
• 추가) Colab pro로 돈 내고 GPU/TPU/RAM 늘릴 수 있는 듯

 

2. RNN 기반 다른 모델 시도

• https://buomsoo-kim.github.io/keras/2019/07/12/Easy-deep-learning-with-Keras-19.md/ : 여기에 나와있는 기본적인 RNN 기반 모델을 시도해봄. Input shape 설정에서 첨에 오류가 났었다가 X_label (N, 100, 1)로 reshape하고 input shape을 (100, 1)로 하니 오류는 사라짐. Y_label도 원핫으로 함. 그러나 Test 결과가 너무 형편 없었음. (다층 LSTM Epoch 15번에 Train acc는 53%, Test acc는 41%) RNN으로 돌리거나 Epoch를 늘려도 똑같았음. 오버피팅인가..?_? Train acc가 그다지 높지 않은데도 오버피팅이 올 수 있는걸까? 데이터가 넘 적어서 그런가 싶기도 하다..
• https://stackoverflow.com/questions/39117878/keras-simplernn-input-shape-and-masking : Input shape 맞추는 법
• https://buomsoo-kim.github.io/blog/categories/ : 여기에 다른 RNN 기반 모델도 있으니 참고해보기
• https://www.tensorflow.org/tutorials/keras/text_classification : Keras를 이용해 text classification하는 예제 (TF 공식문서)