작심삼일

My Summary & Opinion 어느 순간부터 SR를 풀기 위한 네트워크들은, 네트워크의 구조를 바꾸기보다 획기적인 loss function을 사용해왔다. (MSE loss가 SR과 맞지 않는다는 것은 이미 널리 알려진 지 오래다.) 그러면서 점점 loss를 하나만 사용하는 것이 아닌, 여러 다양한 loss들을 합친 것이 더 뛰어난 성능을 보였고, 이 논문도 그중 하나다. 이 논문이 만든 새로운 loss는 cycle consistency loss와 geometric ensemble loss가 있다. Cycle consistency loss는 CycleGAN의 one-to-one mapping으로 인한 한계를 뛰어넘기위해 만들어졌고, geometric ensemble loss는 flip과 rotati..

My Summary & Opinion Gaussian denoising을 기반으로 해서 만든 모델은 처음이라 새로웠다. 다른 모델들처럼 단순히 층만 더 쌓았지만, 이를 수식적으로 풀어내 gaussian denoising으로 이해한 점이 흥미로웠다. 또한, 단순히 SISR뿐 아니라 JPEG artifact 제거도 잘 된다는 점이 흥미로웠는데, 이 둘의 artifact는 특성이 좀 다르기 때문이다. Introduction Image denoising은 오래됐지만 아직도 활발하게 연구되는 주제다. 대부분의 denoising 방법들은 두가지의 큰 단점이 있는데, 첫째는 복잡한 optimization 문제라는 것이고, 둘째는 non-convex하다는 것이다. 이런 문제를 극복하기 위해 다양한 방법들이 연구되었지만..

My Summary & Opinion 이맘때의 논문들은 다양한 형태로 residual을 사용하는 방식들이 많았다. DRRN도 그 중 하나다. 이 residual unit 구조를 찾기 위해 많은 실험들을 했을 것이고, 그 중 하나로 이 구조가 뽑혔을 것이라 짐작된다.성능이 뛰어나고, 깊이가 깊어도 안정적으로 학습이 된다는 것이 이 모델의 장점이라고 생각한다. Introduction SISR는 LR로부터 HR를 만드는 오래된 vision problem이다. 요즈음 powerful한 Deep Learning(DL) 모델들, 특히 CNN 이 주로 쓰였다. 여러 모델들을 살펴보면 SR에서는 "the deeper the better"이다. 그 성능은 뛰어나지만, 깊은 네트워크는 많은 파라미터들이 필요하다. Comp..

My Summary & Opinion Vision 분야에 Deep learning이 사용되기 전에는 알고리즘적인 다양한 방법들이 존재했다. Laplacian pyramid가 그중 하나이다. 이전까지의 CNN 모델들은 단순히 층을 쌓는 등의 network 단에서의 성능 향상을 꾀했다면, 이 논문은 Laplacian pyramid의 구조를 본떠서 네트워크 구조를 설계했다. 영상처리를 전공한 입장에서는 친숙한 구조를 네트워크에 녹여냈다는 사실에 반가운 논문이었고, 이런 식으로 다른 vision 알고리즘을 적용하는 논문들이 앞으로 나올 것이라 예상된다. Introduction 딥러닝을 사용해 SR을 하기 위해 SRCNN이 나왔고, 더 깊은 네트워크를 쌓는 등의 방식으로 발전해왔다. 하지만 이런 방법들은 크게 세..

My Summary & Opinion 이 논문에서 제일 맘에 드는 점은 이름이 직관적이라는 점이다. Squeeze-and-Excitation이라는 이름을 보면 누구나 이것이 어떻게 작동하는지 와닿을 것이다. Squeeze 하는 부분은 핵심 feature들만 남기는 역할을 하고, Excitation은 그 핵심 feature들의 channel-wise dependency를 사용할 수 있게 하는 역할을 한다. 그 이후에 원래 크기로 다시 rescaling을 진행한다. SE block에서 제일 중요한 부분은 Excitation 부분이라고 생각한다.핵심 feature들을 뽑는 것은 쉽지만, 그것들을 어떻게 사용하느냐에 따라서 성능이 많이 달라지기 때문이다. 그리고 다른 네트워크들에 쉽게 적용할 수 있는 점이 SE..

My Summary & Opinion PSNR에 의구심을 갖고 진행되는 연구가 많고, EnhanceNet도 그중 하나다. 기존의 Euclidean loss를 사용해 학습한 네트워크로는 PSNR 기준으로 SOTA를 찍었고, photo-realistic한 이미지를 만들기 위해 adversarial training, perceptual loss, texture transfer loss를 이용했다. Adversarial training과 perceptual loss는 이전의 SRGAN에서 사용했으니 texture transfer loss가 이 논문의 핵심이 되겠다. Texture transfer loss가 style transfer에서 사용되는 loss라는데, 그 영역에 대한 공부는 하지 않았지만, 수식을 보니..

My Summary & Opinion CNN의 층을 더 깊게 쌓을수록, SR에 대한 성능이 좋아지는 추세였다. 하지만 너무 깊어지면 long-term dependency 때문에 더 이상 성능이 높아지지 않는 경향이 있는데, 이를 memory block으로 해결했다. Memory block 안의 gate unit으로 long-term 하게, recursive unit으로 short-term 하게 학습이 되도록 했다. 개인적으로는 memory block이라는 컨셉을 사용한 것은 좋지만, 이 논문의 마지막에 언급한 DenseNet이 간단하면서 획기적인 구조를 가진다고 생각한다. MemNet은 뭔가 이것저것 좋은 것들을 다 합친 느낌이랄까... 물론 이런 것들을 잘 합치는 것도 좋지만, 간단하면서 획기적인 구조..

My Summary & Opinion ResNet의 구조에서 BN을 제거해 사용했다. BN이 feature map을 normalize해서 blur효과가 나타나기도 하고, 학습할 때 메모리를 많이 먹기 때문이다. Residual scaling 방법을 통해 큰 feature map에서도 안정적으로 학습되도록 했다. Scale-specific pre-processing / up-sampling과 shared network 구조를 통해 multi-scale 네트워크를 제안했다. BN이 여러 영역에서 사용되지만, normalization 때문인지 SR영역에서는 자주 배제되는 것 같다. Residual scaling 방법이나 scale-specific layer, shared network같은 구조의 컨셉을 잘 알..