Deep Learning16 [DL - 논문 리뷰] ImageNet Classification with Deep Convolutional Neural Networks(AlexNet) 이번 포스팅에서는 AlexNet이라고 알려져 있는 Alex Krizhevsky가 2012년에 소개한 "ImageNet Classification with Deep Convolutional Neural Networks"를 읽고 정리해 보도록 하겠습니다. AlexNet은 ILSVRC-2010에서는 top-1 error rate 37.5%, top-5 error rate 17.0%, ILSVRC-2012에서는 top-1 error rate(validation set) 36.7%, top-5 error rate 15.3%의 성과를 거뒀습니다. 1. Introduction 이전까지의 데이터셋의 크기는 수만 장 정도로 상대적으로 매우 적었습니다. 그렇기 때문에 MNIST 데이터셋처럼 label을 유지하며 augme.. 2021. 11. 28. [DL - 논문 리뷰] Gradient-Based Learning Applied to Document Recognition(LeNet-5) 이번 포스팅에서는 LeNet-5라고 알려져 있는 Yann LeCun이 1998년에 발표한 "Gradient-Based Learning Applied to Document Recognition"을 읽고 정리해 보도록 하겠습니다. I. Introduction 본 논문에서 시사하고자 하는 바는 사람이 일일이 설계한 특징(?)들에 의존하기보단, 자동화된 학습(automatic learning)에 의존하는 것이 패턴인식에 더 효과적이라는 것입니다. Introduction에서는 두 가지 케이스를 제시했습니다. 첫 번째는 character recognition이고, 두 번째는 document understanding입니다. character recognition의 경우 독립된 하나의 글자를 인식하는 문제입니다. 이러.. 2021. 10. 9. [DL] 딥러닝에서 미세 조정(Fine Tuning) vs 특징 추출(Feature Extraction) Convolutional Neural Network를 살펴보면 대개 두가지의 부분으로 구성되어 있다. 첫번째는 Convolutional Layers로, 입력(대개 이미지)에 대한 feature를 추출하는 역할을 맡는다. 두번째는 Classifier로 Conv. Layers로부터 획득한 feature를 토대로 해당 입력이 어떤 class에 속하는지 판단한다. 이전 포스팅에서 언급한 바와 같이, 시간과 비용 문제로 인해 대개 well-trained network를 transfer learning하여 사용하곤 한다. 그런데 transfer learning에 관한 자료들을 찾다 보면 fine tuning이라는 용어도 보이고, feature extraction이라는 용어도 보이곤 한다. 이번 포스팅에서는 두 방법.. 2021. 9. 6. [DL] Pytorch에서의 Transfer Learning 이번 포스팅에서는 Transfer Learning에 대해 서술해보고자 한다. 우선 Tranfer Learning이란 어떤 문제(Image Classification 등)를 해결하기 위해 aritifical neural network를 사용하고자 할 때, 시간과 비용을 상대적으로 많이 투자하여 직접 network를 구성하는 것이 아닌 우수한 dataset(ImageNet, CIFAR10 등)으로 pretrained된 network를 사용하는 것이다. Computer Vision, 특히 Image Classification 분야에서는 torchvision이나 timm이 여러 SOTA(State-Of-The-Art) models를 제공해 준다. 사용법은 매우 간단하다. Transfer Learning with.. 2021. 9. 2. 이전 1 2 3 다음
