Deep Learning16 [DL - 논문 리뷰] Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis 이번 포스팅에서는 Bingchen Liu가 ICLR 2021 에서 발표한 "Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis"를 읽고 정리해 보도록 하겠습니다. 1. Introduction 대부분의 SotA GAN은 연산량이 많고, 많은 학습 데이터를 필요로 하기 때문에 데이터의 수가 적고 컴퓨팅 자원이 한정되어있는 경우에서는 적용시키기 어렵습니다. 희귀병에 대한 의료 이미지나, 특정 연예인의 사진, 특정한 화가의 그림 등의 경우와 같이 데이터의 수가 한정되어 있는 경우에는 주로 pre-trained model을 transfer learning하여 해결하려고 시도합니다. 그러나 pre-training .. 2022. 1. 26. [DL - 논문 리뷰] Free Lunch for Few-shot Learning: Distribution Calibration 이번 포스팅에서는 Shuo Yang이 ICLR 2021에서 발표한 "Free Lunch for Few-shot Learning: Distribution Calibration"을 읽고 정리해 보도록 하겠습니다. 1. Introduction 데이터를 수집하고 labeling 하는 데 상당한 비용이 들기 때문에 적은 수의 데이터(few-shot)로 학습을 진행하는 것은 많은 주목을 받고 있습니다. 위 그림에서 별표는 주어진 데이터이고, 색칠된 영역은 해당 class가 실제로 차지하는 영역입니다. 일반적인 few-shot 환경에서는 모델이 별 표시를 기준으로 검은 실선처럼 class들을 구분 짓지만, 각 데이터는 실제 영역의 극히 일부에 지나지 않습니다. 이러한 문제를 해결하기 위해 많은 시도가 있었습니다. F.. 2022. 1. 11. [DL - 논문 리뷰] Few-shot Image Generation via Cross-domain Correspondence 이번 포스팅에서는 Utkarsh Ojha가 CVPR 2021에서 발표한 "Few-shot Image Generation via Cross-domain Correspondence"를 읽고 정리해 보도록 하겠습니다. 1. Introduction 현대의 생성 모델들은 대부분 FFHQ나 ImageNet과 같이 대용량의 데이터셋에서 학습이 진행됐습니다. 그러나 예술 도메인과 같이 실제에 많은 케이스에서는 앞서 언급한 데이터셋만큼 많은 데이터를 확보할 수가 없습니다. 이러한 few-shot 환경에서도 좋은 데이터를 생성하기 위해 transfer learning을 적용할 수 있습니다. Transfer learning은 큰 규모의 source domain에서 학습시킨 모델을 데이터의 수가 적은 target domain.. 2022. 1. 9. [DL - 논문 리뷰] Going Deeper with Convolutions(GoogLeNet) 이번 포스팅에서는 GoogLeNet이라고 알려져 있는 Christian Szegedy가 CVPR 2015에서 발표한 "Going Deeper with Convolutions" 를 읽고 리뷰해 보도록 하겠습니다. GoogLeNet은 본 논문에서 소개될 Inception 모듈의 한 형태(incarnation)이며, ILSVRC 2014에서 top-5 error 6.67%로 우승을 차지했습니다. 1. Introduction 최근 3년간(2012~2015) CNN 분야는 급속도로 발전해 왔습니다. 이러한 발전은 대개 하드웨어의 발전뿐만 아니라 주로 네트워크 구조에 대한 기발한 아이디어가 원인입니다. 본 논문에서 소개될 GoogLeNet은 AlexNet에 비해 12배 작은 파라미터를 가지면서 더 정확한 성능을 냈.. 2022. 1. 2. [DL - 논문 리뷰] Few-Shot Image Generation with Elastic Weight Consolidation 이번 포스팅에서는 Yijun Li가 NeurIPS 2020에서 발표한 "Few-Shot Image Generation with Elastic Weight Solidation"을 읽고 정리해보도록 하겠습니다. 1. Introduction GAN의 성공은 특정 도메인에 해당하는 70,000장의 사람 얼굴 데이터셋인 FFHQ나 여러 클래스에 걸쳐 130만장에 해당하는 ImageNet 데이터셋과 함께 보여졌습니다. 그러나 예술과 같은 영역은 데이터의 개수가 한정적입니다. 이러한 영역에도 적은 데이터(a few)만으로도 일반화 성능을 향상시키기 위해서는 선험 지식에 의존해야합니다. 본 논문에서는 아래 사진과 같은 continuous learning framework에서 few-shot image generatio.. 2021. 12. 26. [DL - 논문 리뷰] Very Deep Convolutional Networks for Large-Scale Image Recognition(VGG) 이번 포스팅에서는 VGG로 알려져 있는 Karen Simonyan & Andrew Zisserman이 2014년에 발표한 "Very Deep Convolutional Networks for Large-Scale Image Recognition"을 읽고 정리해 보도록 하겠습니다. VGG는 ILSVRC-2014에서 top-5 error rate 7.3%로 2위를 차지했습니다. 1. Introduction CNN은 대규모의 데이터셋(ImageNet), 고성능의 컴퓨팅 자원(GPU), 분산 클러스터링 등 덕분에 large-scale 이미지와 비디오 인식 분야에서 큰 성공을 거두고 있습니다. AlexNet을 이후로 kernel size와 stride를 줄이는 방식(ZFNet, OverFeat)으로 성능이 개선되고.. 2021. 12. 5. 이전 1 2 3 다음
