다이콤 영상을 동영상으로 변환하는 이유 다이콤 영상을 동영상으로 변환하기 전에, 다이콤파일의 View (영상의 촬영 기법)에 따른 분류를 해야한다. 여기서 반자동화된 방법을 선택하는데, View 별로 학습한 모델을 통해 View classfication에서 먼저 분류한 뒤, 일일이 검수하면서 해당 모델이 제대로 분류 했는지도 확인 하는 방법이 있다. 해당 포스팅에서는 View 별로 나눈 파일을 avi 파일로 변환하는 내용에 대해 다루겠다. 동영상 파일 변환 라이브러리 OpenCV랑 Moviepy 등의 라이브러리가 있는데, 이번에는 moviepy 로 다루어 보겠다. 변환 순서 다이콤 파일 내의 프레임을 이미지로 변환 다이콤 파일 내부에서 추출할 영역 확인 (이미지 크롭 - 이건 선택사항) 다이콤 파일의 영..

해당 게시물은 아래의 유튜브 영상을 정리한 글입니다. https://www.youtube.com/watch?v=rRiygGHjkOQ 이전 게시 글에서는 CAM에 대한 내용을 포스팅 하였음. 이번 게시글을 통해서는 Original CAM의 한계점을 개선하기 위해 만들어진 GradCAM에 대해 이어서 작성 함. CNN + CAM 구조 CNN + CAM 구조 Convolution layer와 pooling layer를 활용해서 이미지 내 정보를 요약 마지막 convolutional layer 뒤에 global average pooling 구조를 사용 Global average pooing (GAP) ? Original CAM 구조의 한계점 Global average Pooling layer를 반드시 사용해야함..

해당 게시물은 아래의 유튜브 영상을 정리한 글입니다. https://www.youtube.com/watch?v=rRiygGHjkOQ Class Activation Map (CAM) 딥러닝 프레임 워크에서 예측 원인을 파악하기 위해 등장한 알고리즘 2016년도 CVPR(Computer Vision Pattern Recognition)에서 등장 Basic Idea of CNN 이미지 데이터의 특성을 잘 반영할 수 있는 인공신경망 모델 2D 혹은 3D구조를 유지하면서 학습 일반적인 CNN은 Convolution 연산, Activation 연산, Pooling 연산의 반복으로 구성됨 (Feature Learning, Feature representation) 일정 횟수 이상의 Feature Learning 과정..

HTML 삽입 미리보기할 수 없는 소스 최종 결과물 원본 코드는 https://metamath1.github.io/blog/posts/diffusion/ddpm_part2-2.html?utm_source=pytorchkr

HTML 삽입 미리보기할 수 없는 소스

Inception Score : the higher, the better Improved Techniques for Training GANs(Tim Salimans, 2016)에서 제안된 generated image sample quality 평가 지표 Inception image classifier를 활용해 'inception’이라는 명칭을 사용함 2가지 특성을 통해 생성된 이미지의 품질을 평가. 아래 2가지를 만족할 수록 높은 score 획득 FID(Frechet Inception Distance) score : the lower, the better Pre-trained Image classification model을 활용해 추출한 feature representation 간의 거리(distanc..

해당 게시물은 아래의 유튜브 영상을 정리한 글입니다. https://www.youtube.com/watch?v=_JQSMhqXw-4 VAE와 Diffusion의 구조 비교 VAE는 하나의 latent variable을 흭득 Diffusion은 Makcov Chain을 통해서 여러개의 latent variables을 흭득 => 두 구조는 latent variabled의 수가 다르다는 것으로 차이점이 나옴 이러한 차이는 Loss를 구성하는 데에도 결정적인 차이가 됨 VAE와 Diffsuion의 유사점 두 모델 모두 Reconstruction 과 Regularizaion 으로 Loss를 형성 하게됨 Diffusion에서의 차이점 많은 Latent Variable을 만들어내는 Makov Chain이 있음 여기서..

해당 게시물은 아래의 유튜브 영상을 정리한 글입니다. https://www.youtube.com/watch?v=_JQSMhqXw-4 Introduction Markov Chain Markov 성질을 갖는 이산 확률 과정 Markov 성질: “특정 상태의 확률(t+1)은 오직 현재(t)에 상태에 의존한다” 이산확률 과정: 이산적인 시간(0초,1초,2초, …) 속에서 확률적 현상 Nomalizing Flow 심층 신경망 기반 확률적 생성 모형 중 하나 잠재 변수(z) 기반 확률적 생성 모형으로서, 잠재변수(Z)흭득에 ‘변수 변환’ 공식을 활용 변수변환 공식 OverView of generative models 반복적인 변화(iterative transformation)를 활용한다는 점에서 Flow-based..

Style Transfer 기법 - AdaIN 스타일 전송 기법 중 하나인 AdaIN(Adaptive Instance Normalization)은 딥러닝의 정규화 기법을 활용하여 스타일을 전송한다. 이 기법은 인스턴스 정규화(Instance Normalization) 레이어를 확장한 형태로, 스타일 전송에 효과적이다. Adaptive Instance Nomalization AdaIN은 각 채널의 평균과 분산 값을 정규화한다. 이 과정에서 각 채널의 특성을 표준화하여 스타일 전송에 적합한 형태로 만든다. 평균과 분산의 조정 평균과 분산은 0과 1로 표준화된 값으로 변환된다. 이후, 이 값들을 곱하고 더하는 과정을 통해 주어진 입력에 대한 활성화 맵(activation map)을 조정한다. 이는 각 채널 내..

DCGAN은 고해상도의 이미지를 생성하기 위해 제안되었지만, 그렇게 고해상도를 만들어내지 못했음 Progressive GAN 주요 기여 저해상도의 이미지부터 시작하여 위의 사진처럼 layer를 추가해가면서 고해상도에 도달하게 하는 구조 1024X1024 해상도의 고해상도 이미지를 생성가능하게 한 GAN 모델 PGGAN (Progressive Growing of GANs) 학습 과정 PGGAN의 학습 과정은 점진적으로 네트워크를 확장해가며 이미지의 해상도를 증가시키는 독특한 접근 방식을 취한다. 이 과정에서 중요한 역할을 하는 것은 'toRGB’와 ‘fromRGB’ 레이어이다. 제너레이터의 toRGB 레이어 제너레이터는 저해상도(예: 4x4)에서 시작하여 이미지를 생성한다. 각 단계에서, 제너레이터는 ‘t..

# [GAN] GAN 모델 안정화를 위한 기법 - DCGAN 인식 모델에서 주로 사용하는 CNN을 사용하면 이미지에서 사용되는 다양한 패턴들을 잘 추출하고 사용할 수 있다. DCGAN Main contributions 거의 대부분의 상황에서 안정적으로 학습이 가능한 GAN인 DCGAN을 제시한다. 학습이 된 판별기(이하 D)가 이미지 분류에서 다른 비지도 알고리즘들과 비교했을때 대등한 성능을 보인다. DCGAN이 학습한 filter들을 visualize하고, 특정 filter가 특정 object를 생성하는 역할을 한다는것을 알아냈다. DCGAN이 벡터 산술 연산이 가능한 성질을 갖는다. Semantic quality를 갖는다. 출처: https://memesoo99.tistory.com/32?catego..

GAN 모델 안정화를 위한 기법 -LSGAN LSGAN LSGAN의 손실함수 LSGAN(Least Squares Generative Adversarial Networks)의 핵심 요소 중 하나는 그것의 손실함수이다. LSGAN은 전통적인 GAN의 교차 엔트로피 손실함수(Cross-Entropy Loss) 대신 최소제곱 손실함수(Least Squares Loss)를 사용한다. 이 손실함수는 GAN의 학습 안정성을 향상시키고 mode-collapsing 문제를 줄이는 데 중요한 역할을 한다 LSGAN의 손실함수 정의 생성자(G)의 손실함수: 생성자는 판별자가 생성된 데이터를 진짜로 분류하도록 속이려고 한다. 생성자의 손실은 판별자의 출력이 실제 데이터와 얼마나 가까운지를 측정한다. 판별자(D)의 손실함수: ..