Tous Les Jours STUDY

오늘 글은 Energy-Based Model(EBM)이 무엇인지,왜 “에너지(Energy)”라는 개념을 통해 확률분포를 정의하면 강력한 생성 모델이 될 수 있는지,그리고 학습(Training) & 샘플링(Sampling) 단계에서 정규화 상수 $Z(\theta)$ 계산을 어떻게 우회하는지에 대한 내용을 정리해보았습니다. 에너지 기반 모델(EBM)의 핵심 수식과 개념, 역사, 학습·샘플링 방법, 확장 가능성 등을 추가적으로 정리해보았습니다.특히 Boltzmann 분포, MCMC(Langevin Dynamics, Metropolis–Hastings 등), 학습 시 발생하는 수식(Gradient) 등을 자세히 다룹니다.  시작합니다.  1. 개요 (Description)에너지 기반 모델(Energy-based..

아래 글은 Score Function이 무엇이며, 이를 이용해 Score Matching으로 어떻게 확률분포를 추정하는지, 그리고이 아이디어가 Diffusion Model(특히 SDE 기반 Score-based Generative Model)에서 왜 중요한 역할을 하는지를 다룹니다.가능한 한 기초적인 확률 개념부터 차근차근 설명하고,Yang Song님의 블로그(2019/ssm)을 참고하였습니다. 차근차근 봅시다. 1. 확률과 분포, 그리고 Score 개념 1-1. 확률분포 $p(x)$와 그 로그 $\log p(x)$ 확률분포 (probability distribution) 란?어떤 데이터(또는 변수) $x$가 가질 수 있는 값들에 대해, 얼마나 자주 (혹은 얼마나 가능성 높게) 나타나는지를 기술예$p(x..

아래 글은 Langevin Dynamics와 이를 이해하기 위한 배경 수학(특히 SDE, 확률분포, Fokker–Planck 방정식 등)를컴퓨터공학(CS) 전공자가 조금 더 직관적으로 이해할 수 있도록 풀어서 설명한 글입니다.갑자기 SDE가 뭐고, 확률분포 $p$ 는 무엇이며, 왜 이렇게 식이 복잡해지는지"에 대한 기본 개념 정리와 함께, Langevin Equation이 무엇이고 어떻게 샘플링에 사용되는지를 다룹니다. 앞서 설명드린 글들을 다시 한 번 짚고 넘어가기에, 더 자세한 설명이 필요하신 분은 앞 포스팅을 이용해주시면 감사하겠습니다.   Background1 : ODE to SDE1-1. ODE는 무엇인가? ODE (Ordinary Differential Equation)"시간에 따른 변화"를 ..

Euler’s method(오일러 기법) Euler’s method(오일러 기법)은 초기 조건(Initial Condition)을 알고 있는 상미분방정식(ODE)의 해를 근사하기 위한 가장 간단한 형태의 수치해석(Numerical Analysis) 기법입니다. 즉, ODE에 의해 결정되는 벡터장의 방향(미분의 정보)을 따라 아주 작은 스텝으로 이동함으로써, 전체 해(커브)를 단계적으로 근사해 나가는 방식입니다.Diffusion Model이나 Score-based Generative Model을 이해하기 위해서는, 역방향 과정(Reverse Process)을 해석할 때 ODE(또는 확률적 미분방정식 SDE)에 대한 수치해가 중요합니다. Euler’s method는 이러한 수치해 기법 중 가장 기초가 되는 ..

1. ODE(Ordinary Differential Equation)1-1. ODE란 무엇인가?ODE(Ordinary Differential Equation)는 어떤 변수(미지함수) $\mathbf{x}(t)$ 와 그 미분 $\frac{d\mathbf{x}(t)}{dt}$ 이 등장하는 미분방정식을 의미합니다. 가장 기본적인 형태는 다음과 같습니다. $\frac{d\mathbf{x}(t)}{dt}$ $ = f(\mathbf{x}(t), t)$$\mathbf{x}(t)$: 시간 $t$에서의 함수값$\frac{d\mathbf{x}(t)}{dt}$​: $\mathbf{x}(t)$ 가 $t$에 따라 변하는 비율즉, "ODE를 푼다"는 것은 "위 식을 만족하는 함수 $\mathbf{x}(t)$ 를 찾는 것"과 같습..

https://learning.oreilly.com/library/view/hands-on-generative-ai/9781098149239/cover.html Hands-On Generative AI with Transformers and Diffusion Models- Selection from Hands-On Generative AI with Transformers and Diffusion Models [Book]www.oreilly.com본 포스팅이 문제가 될 시 삭제하겠습니다. 본 Hands-On Generative AI with Transformers and Diffusion Models에 대한 Ebook을 hands-on 해보고 리뷰를 남기려합니다. 최근 diffusion models과 st..

🧑🏻‍💻용어 정리 Computer vision Quantization Pruning Quantization & Pruning 이 Quantization이 왜 필요할까요? 결국 나오게 된 이유는, computation과 memory를 조금만 사용하면서 비슷한 accuracy를 내고싶다는 것입니다. 이것이 가장 큰 욕망이죠. 한편, CNN이 MLP 보다 우수한 이유는, MLP는 edge 개수만큼의 parameter의 개수가 요구되지만, CNN은 일부의 parameter sharing 등의 성질로 인하여 memory를 조금 사용합니다. 그리고 spare connection을 통해 조금의 weighted summation을 한다는 것입니다. 있습니다. 따라서, 이러한 기법을 사용할 때는 항상 세심한 주의를 기울..

🧑🏻‍💻용어 정리 Computer vision Color image RGB fullcolor HSV YIQ YUV 지금까지 우리는 Gray Scale의 image들에 대해 다뤘습니다. 이제 Color image processing에 대해 다뤄보죠. Color image processing 실제로 color image가 많이 처리되죠. 지금까지 다룬 흑백은 밝기를 의미하는 것이라고 볼 수 있습니다. 사람은 밝기에 대해 색상처럼 민감하진 않습니다. 사람의 시각은 색상을 잘 구별합니다. 위 사진은 전자기파의 파장에 따른 선을 나타낸 것입니다. 그 중에 사람 눈에 보이는 것이 가시광선 구간입니다. 이렇게 파장에 따라 색이 위와 같이 구분됩니다. 이정도 교양으로 알고 넘어가시면 되겠습니다. 가로축은 파장입니다..

🧑🏻‍💻용어 정리 Deep Generative Models Generative Model Generative Adversarial Nets (GAN) 이번 시간에는 GAN에 대해 다루겠습니다. Generative Adversarial Nets (GAN) 이 GAN은 번역하면 적대적 생성 신경망 모델로 직역을 합니다. 2014년 정도에 나왔습니다. 우선 두 명의 플레이어가 있다고 봅시다. 탐정, 위조범. 그리고 2개의 데이터가 있습니다. 미술품과 모조품. 탐정은 미술품인지 모조품인지 분간해냅니다. 반대로 위조범은 탐정을 속입니다. 위조범은 모조품을 진품인 것처럼 평가받아야합니다. 처음에는 학습이 잘 되지 않아, 둘 다 멍청합니다. 그런데, 계속해서 모조품을 잘 찾아내기 위해, 더 잘 속이기 위해 둘 다 공..