본문 바로가기

전체 글72

Multi-GPU Model에서 h5(hdf5)를 로드하지 못하는 문제 문제 개요 Multi-GPU Model로 학습시키고 h5(hdf5)로 저장해둔 다음, 나중에 불러올 때 layers 수가 맞지 않다고 에러가 남 이미 많이 알려진 버그 해결책 개요 Multi-GPU Model로 학습한 weight를 (Multi-GPU로 compile하지 않은) Base Model에 set한 다음 h5(hdf5)로 저장 Epoch가 모두 끝난 다음 model.save()는 대략 아래와 같이 하면 되지만... ... parallel_model, base_model = get_compiled_model(...) parallel_model.fit(...) base_model.set_weights(parallel_model.get_weights()) base_model.save(filepath).. 2019. 8. 13.

Variable Scope 공부 읽은 자료: https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/how_tos/variable_scope/ 주요 함수 - tf.get_variable(, , ): 입력된 이름의 변수를 생성하거나 반환 - tf.variable_scope(): tf.get_variable()에 전달된 이름의 네임스페이스를 관리 (with와 함께 쓰임) - tf.get_variable_scope(): 현재 variable scope를 반환 tf.get_variable() - tf.Variable()처럼 직접 값을 전달하지 않고 Initializer를 사용 tf.constant_initializer(value): 제공된 값으로 모든 것을 초기화 tf.random_u.. 2019. 8. 13.

Attention 공부 읽은 자료: https://youtu.be/iDulhoQ2pro https://hulk89.github.io/neural%20machine%20translation/2017/04/04/attention-mechanism/ Image Captioning https://github.com/zzsza/Deep_Learning_starting_with_the_latest_papers/blob/master/Lecture_Note/03.%20CNN%20Application/12.Image-Captioning.md https://greeksharifa.github.io/computer%20vision/2019/04/17/Visual-Question-Answering/ - Image captioning: 이미지를 주면.. 2019. 8. 12.

Attention Is All You Need 공부 BLUE Score https://donghwa-kim.github.io/BLEU.html 요약: X label과 Y label이 모두 단어들의 시퀀스 (즉 문장) 일 때 사용하는 성과 지표. Precision, Clipping, Brevity penalty 개념을 사용한다. 위 글에 이해하기 좋게 잘 정리가 되어있다. n-gram은 연속된 n개의 토큰(단어)이다. Attention 관련 자료 http://www.modulabs.co.kr/?module=file&act=procFileDownload&file_srl=20068&sid=c11da8e0ec9d00ea4fdc828fa2bff90a&module_srl=18361 모두의 연구소 - 간단한 발표 자료 https://jalammar.github.io/.. 2019. 8. 9.

ResNet 공부 읽은 자료: https://dnddnjs.github.io/cifar10/2018/10/09/resnet/ Fine tuning https://eehoeskrap.tistory.com/186 Parameter & Hyperparameter https://datascience.stackexchange.com/questions/17635/model-parameters-hyper-parameters-of-neural-network-their-tuning-in-training Neural network의 Parameter는 일반적으로 Connection의 Weights를 말한다. 이 Parameters는 Training stage에서 학습된다. 그래서 알고리즘 자체 (그리고 인풋 데이터는) 이 Parameter.. 2019. 7. 31.

Simultaneous Recognition of Horizontal and Vertical Text in Natural Images (2018.12) DEM (Directional Encoding Mask) - Text의 Directional information이 담겨있는, 인풋 이미지와 사이즈가 같은 2D 이미지 - 가로 텍스트의 경우: cos(0.5 * normalized_width * pi) - 세로 텍스트의 경우: sin(0.5 * normalized_width * pi) - 인풋 이미지와 Concatenate 되어 CNN의 인풋으로 들어가는 형태 SAN (Selective Attention Network) - Text direction에 따라 다르게 행동하는 두 가지 Attention mask를 가짐 2019. 7. 29.

이전 1 ··· 9 10 11 12 다음

티스토리툴바