꺼내먹는지식 준

서로 다른 데이터로 동시에 학습 Overview of multi-model learning 다양한 특성 갖는 데이터 사용 해서 학습 데이터의 표현 방법이 다르다. 2D, 3D, embedding vector modality에서 오는 정보의 양도 unbalance one to many matching model로 학습 할 때, 여러 모달리트를 공평하게 참조해서 좋은 학습 결과를 출력하는 것이 어렵다. 많은 정보를 주는 것이 오히려 방해가 될 수도 (학습 방법의 한계) 트레이닝이 잘 안되어서 쉬운 모달리티에 의존하고 어려운건 무시해버리기도 한다. 예를 들면 어떤 행동 이미지와 사운드가 주어질 때, 보통의 행동은 이미지만으로도 판별이 가능하고, 가끔 소리지르거나 노래부르는 행동 때 사운드 정보가 필요하면 모델..

다음과 같은 스케치가 주어졌을때 분포에서 가장 이런 이미지일 확률이 가장 높아 하는 것을 sampling하는 것 기본적 generative model은 생성은 가능해도, 조작을 할 수는 없었다. 적용처와 예시 저 퀄리티 음성을 고퀄리티 음성으로 중국어 $\rightarrow$ 영어로 번역 title 부제목만으로 글 생성을 요구하는 것도 가능 GAN 학습 방법 경찰 vs 도둑 generator와 discriminator 가 적대적으로 학습 GAN vs Conditional Gan C라는 conditional input이 존재 적용 예시 Image style transfer 저해상도 $\rightarrow$ 고해상도 : super resolution 흑백 $\rightarrow$ color : 게임 테마 ..

2018년도 이후로는 Instance segmentation, Panoptic segmentation 연구로 전형 Instance segmentation VS Panotic segmentation 두 방법 모두 같은 class 물체들을 따로 구분 가능 Instance segmentation Instance segmentation의 경우 물체 구분을 object detection 을 기반으로 한 경우가 많다. MASK R CNN R CNN 과 거의 동일 구조 RPN 의 결과로 나온 Bbox proposal 을 이용해서 RoI pooling 방법을 사용했었다. 정교한 pixel level pooling 지원 :기존 pooling은 정수좌표만 지원을 했었으나, mask R CNN 에서는 RoIAlign에서는 ..

https://www.youtube.com/watch?v=2i56S0tNUj8 내가 좋아하는 PR series https://byeongjokim.github.io/posts/YOLACT,-Real-time-Instance-Segmentation/ 논문 리뷰 - YOLACT: Real-time Instance Segmentation Instance segmentation 문제를 real-time으로 해결할 수 없을까? 라는 의문으로 시작이 된다. 여태까지의 instance segmentation 모델은 잘 만들어진 object detection에 병렬적으로 모델을 추가하여 (e.g., mask R-CNN(Fas byeongjokim.github.io 생각보다 이번 PR 시리즈 이해가 어려워서 참고한 블로..

해당 글은 Object Detection에 관련된 총 정리 글이다. 추후 Selective Search, Faster R CNN, Mask R CNN, Single Shot Multi-box Detector, Yolo 정도는 개별글을 올릴 예정이다. SSD 의 리뷰는 해당 글에 그냥 담았다 ㅋ. Instance segmentation 은 같은 사람도 서로 다른 개체로 구분 가능하고, Semantic segmentation은 불가능하다. (instance는 구분하는 한가지 task를 더 해야한다.) Panoptic segmentation 은 instance segmentation을 포함하는 더 큰 기술. 이러한 instance를 인식하는 기술이 object detection Object detection ..

model = nn.Linear(10, 20) model.weight.shape # torch.Size([20, 10]) 예상과 달리 nn.Linear(in,out) 반면, weight는 [20,10] 이다. 이는 $y = xA^T + b$ 로 인해서 A(weight) 에 transpose 된 값이 들어가야 해서 그렇다. 여기서 하고자 하는 task 는 다음과 같다. 1) VGG backbone 이후를 1 X 1 conv 로 대체 2) 1 X 1 conv 의 weight를 FC layer 의 weight로 대체 super(VGG11Segmentation, self).__init__() self.backbone = VGG11BackBone() with torch.no_grad(): self.conv_out..

Saliency map 을 구하기 위한 구현적 detail class score에서 graident를 구해서 input domain 의 gradient 를 구하는 것이 최종 목표 input domain 의 gradient를 구하는 것이 최종 목표 back prop된 graident accumulation $\rightarrow$ visualization gradient구하는 법 Autograd Automatic Gradient calculating 기본적으로 딥러닝 library도 행렬 연산이나, 기존 행렬 연산들과 다른점이 바로 auto grad forward, backward pass가 가능하다. gradient 계산을 쉽게 하도록 해준다. 과거에는 forward 계산을 일일이 손으로 계산하고, ba..

CNN 기반 neural net: 학습 가능한 conv 와 non linear activation function 의 stack으로 이루어진 연산기 어떤 원리로 CNN 이 잘 동작하는걸까? 학습은 어떻게 이루어지고, 어떤 현상이 일어나는걸까? 학습이 잘 안되고, 성능이 잘 안나올때는 왜 안나오는지 알아보려면 어떻게 해야할까? 입력이 주어지면 출력이 나오는 blackbox 기계가 있다고 하자. 기계에 문제가 있으면 보통 원인을 파악하기 위해서 내부를 들여다 봐야 한다. 시각화 해서 내부를 들여다보자! 어떨때 잘되고 안되고, 어떻게 개선할지를 보는 방법! 2013 ZFNet 낮은 단계에서는 동그란 블록, 혹은 선을 찾는 필터들이 위치하는 것을 확인 높은 계층으로 갈 수록 의미 있는 high level 을 학..

Semantice Segmantation : Image classification 을 pixel 단위로 진행 영상 속에 있는 물체에 mask 생성 다만, 같은 클래스 서로 다른 물체가 겹쳐져 있을 때 구분 못한다. $\rightarrow$ 추후 instance segmentation 참고 포토샵에서 사람 제외하고 image에 특수 효과 주는 등의 기능이 가능 Semantic Segmentation Models FCN (Fully Convolutional Networks) End to End 입력부터 출력까지 미분가능한 형태로 입력과 출력 데이터의 표현만 있으면 중간의 neural net 을 학습해서 target task 수행 가능 사람이 손으로 algorithm을 만들때는 학습 가능 부분이 제한적이었으나..

문제 여러 섬으로 이루어진 나라가 있다. 이 나라의 대통령은 섬을 잇는 다리를 만들겠다는 공약으로 인기몰이를 해 당선될 수 있었다. 하지만 막상 대통령에 취임하자, 다리를 놓는다는 것이 아깝다는 생각을 하게 되었다. 그래서 그는, 생색내는 식으로 한 섬과 다른 섬을 잇는 다리 하나만을 만들기로 하였고, 그 또한 다리를 가장 짧게 하여 돈을 아끼려 하였다. 이 나라는 N×N크기의 이차원 평면상에 존재한다. 이 나라는 여러 섬으로 이루어져 있으며, 섬이란 동서남북으로 육지가 붙어있는 덩어리를 말한다. 다음은 세 개의 섬으로 이루어진 나라의 지도이다. 위의 그림에서 색이 있는 부분이 육지이고, 색이 없는 부분이 바다이다. 이 바다에 가장 짧은 다리를 놓아 두 대륙을 연결하고자 한다. 가장 짧은 다리란, 다리가..