작심삼일

My Summary & Opinion 3D conv를 효과적으로 잘 사용할 수 있는 구조를 실험적으로 알아냈다. 또한 많은 실험을 통해 3D conv가 어떻게 성능을 높이는 지 분석했다. 여러 가지를 실험을 통해 분석을 잘한 논문이라고 생각된다. Introduction 비디오를 다루는 모델은 여러 비디오에 잘 동작하기 위해 generic해야하며, 많은 비디오를 다루기 위해 compact해야하고, 많은 비디오를 빨리 다루기 위해 efficient해야하며, 사용하기 편하게 simple해야한다. 그동안은 image based deep featur를 사용했지만, motion modeling이 부족했기 때문에 video에는 적절하지 않았다. 그래서 우리는 spatio-temporal feature를 학습시킬 수 ..

My Summary & Opinion Introduction Block-based 압축 방식은 JPEG, H.264/AVC, HEVC 등 다양한 이미지/비디오 압축 표준으로 쓰이고 있다. 하지만 block-based prediction과 quantization은 block 경계에서의 불연속성, high frequency detail들의 삭제 등 많은 문제가 있는데, 이 것을 해결하기 위해 in-loop filtering이 쓰이고 있다. Deep learning이 발전함에 따라 image restoration이나 denoising에 많이 사용되고 있다. 본 논문에서는 multiple CNN model들을 사용한 content-aware in-loop filter를 소개한다. 본 논문의 contributio..

My Summary & Opinion Video codec 중 in-loop filter에 CNN을 좀 더 적절하게 가공해서 넣은 논문이다. Video라는 데이터의 가장 큰 특징은 앞뒤 프레인의 연관성이 매우 크다는 것이다. 단순히 이미지를 압축할 때와 달리 영상은 앞뒤에 비슷한 프레임이 존재하기 때문에 이를 이용하면 압축 효율을 향상시킬 수 있다. 그렇기 때문에 이런 특성을 이용한 STResNet의 구조는 codec에 맞다고 생각한다. Introduction CNN은 image processing 분야 뿐 아니라 video compression 분야에서도 좋은 성능을 내고 있다. 본 논문에서는 HEVC inter coding을 위한 Spatial-Temporal residue network (STRes..

My Summary & Opinion 단순히 SRCNN을 HEVC에 적용했던 IFCNN 과 달리 VRCNN은 다양한 filter size를 가진 네트워크를 설계했다. HEVC는 압축할 때 다양한 크기의 block을 사용하기 때문에 그 특성을 살리기 위해 다양한 filter size를 사용했다. 하지만 난 variable filter size를 사용한 것은 codec의 특성을 살린 것이 아니라 생각한다. 다양한 filter size를 사용하면 다양한 feature map을 뽑을 수 있기 때문에 단순히 codec에만 적용되는 것이 아니라 SR 문제에도 적용할 수 있다고 생각한다. 비교실험을 할 때 다른 마땅한 네트워크가 없었기 때문에 AR-CNN랑 비교했다고 생각하지만, 왜 IFCNN이랑 비교하지 않았는지 ..

My Summary & Opinion 비디오 코덱의 In-loop 부분을 deep learning으로 대체한, SRCNN와 같이 전형적인 깃발 꼽기 논문이라고 생각된다. SRCNN을 그대로 가져와 SAO를 대체했다. 실험도 작은 크기의 영상에 적용한 결과만 있기 때문에 큰 영상에서는 어떻게 나올 지 궁금하다. AI 모드에서 성능이 제일 뛰어난 것은, SRCNN 자체가 SR 문제를 풀기위해 고안된 모델인데, AI 모드에는 IFCNN이 post-processing으로 들어가 또 다른 SR 문제라고 볼 수 있기 때문이라고 생각된다. Introduction HEVC는 blocking artifacts, ringing artifacts, blurring artifacts를 없애기 위해 in-loop filteri..