본문 바로가기

분류 전체보기72

Attention 공부 읽은 자료: https://youtu.be/iDulhoQ2pro https://hulk89.github.io/neural%20machine%20translation/2017/04/04/attention-mechanism/ Image Captioning https://github.com/zzsza/Deep_Learning_starting_with_the_latest_papers/blob/master/Lecture_Note/03.%20CNN%20Application/12.Image-Captioning.md https://greeksharifa.github.io/computer%20vision/2019/04/17/Visual-Question-Answering/ - Image captioning: 이미지를 주면.. 2019. 8. 12.
Attention Is All You Need 공부 BLUE Score https://donghwa-kim.github.io/BLEU.html 요약: X label과 Y label이 모두 단어들의 시퀀스 (즉 문장) 일 때 사용하는 성과 지표. Precision, Clipping, Brevity penalty 개념을 사용한다. 위 글에 이해하기 좋게 잘 정리가 되어있다. n-gram은 연속된 n개의 토큰(단어)이다. Attention 관련 자료 http://www.modulabs.co.kr/?module=file&act=procFileDownload&file_srl=20068&sid=c11da8e0ec9d00ea4fdc828fa2bff90a&module_srl=18361 모두의 연구소 - 간단한 발표 자료 https://jalammar.github.io/.. 2019. 8. 9.
ResNet 공부 읽은 자료: https://dnddnjs.github.io/cifar10/2018/10/09/resnet/ Fine tuning https://eehoeskrap.tistory.com/186 Parameter & Hyperparameter https://datascience.stackexchange.com/questions/17635/model-parameters-hyper-parameters-of-neural-network-their-tuning-in-training Neural network의 Parameter는 일반적으로 Connection의 Weights를 말한다. 이 Parameters는 Training stage에서 학습된다. 그래서 알고리즘 자체 (그리고 인풋 데이터는) 이 Parameter.. 2019. 7. 31.
Simultaneous Recognition of Horizontal and Vertical Text in Natural Images (2018.12) DEM (Directional Encoding Mask) - Text의 Directional information이 담겨있는, 인풋 이미지와 사이즈가 같은 2D 이미지 - 가로 텍스트의 경우: cos(0.5 * normalized_width * pi) - 세로 텍스트의 경우: sin(0.5 * normalized_width * pi) - 인풋 이미지와 Concatenate 되어 CNN의 인풋으로 들어가는 형태 SAN (Selective Attention Network) - Text direction에 따라 다르게 행동하는 두 가지 Attention mask를 가짐 2019. 7. 29.