[Diffusion Models] 확산 모델 이해하기 (1) - ODE, SDE and Markov process, Wiener process

1. ODE(Ordinary Differential Equation)

1-1. ODE란 무엇인가?

ODE(Ordinary Differential Equation)는 어떤 변수(미지함수) $\mathbf{x}(t)$ 와 그 미분 $\frac{d\mathbf{x}(t)}{dt}$ 이 등장하는 미분방정식을 의미합니다. 가장 기본적인 형태는 다음과 같습니다.

 

$\frac{d\mathbf{x}(t)}{dt}$ $ = f(\mathbf{x}(t), t)$

• $\mathbf{x}(t)$: 시간 $t$에서의 함수값
• $\frac{d\mathbf{x}(t)}{dt}$​: $\mathbf{x}(t)$ 가 $t$에 따라 변하는 비율

즉, "ODE를 푼다"는 것은 "위 식을 만족하는 함수 $\mathbf{x}(t)$ 를 찾는 것"과 같습니다.

 

 

1-2. ODE가 주는 이점 (Machine Learning 관점)

Machine Learning에서는 **모델의 자유도(Free Parameter)**가 적어지면, 그만큼 파라미터 학습에 필요한 비용이 절감되고, 학습이 간소화되는 장점이 있습니다.
예를 들어, 어떤 $\mathbf{x}(t)$와 $t$가 주어졌을 때, 다음 식을 만족하는 회귀(Regression) 문제를 생각해 보겠습니다.

 

$y \approx f(x) = ax + b$

이 경우, $a$와 $b$ 두 개의 파라미터를 학습해야 합니다. 그러나 ODE 형태로 접근한다면,

 

$\frac{dy}{dx} \approx f(x, y) = a$

 

라는 식으로 단순화할 수 있고, 자유 파라미터가 $a$ 하나만 남게 됩니다. 초기 조건(예: $x=0$에서 $y=0$과 같은 점)이 주어지면, 이 ODE를 만족하는 함수 집합을 통해 문제를 보다 간단하게 풀 수 있습니다.
즉, ODE를 사용하면 함수의 형태를 미분 방정식으로 설정함으로써 추가 파라미터 없이(또는 감소된 수의 파라미터로) 원하는 함수를 근사할 수 있는 이점이 존재합니다.

 

---

2. SDE(Stochastic Differential Equation)

2-1. SDE란 무엇인가?

SDE(Stochastic Differential Equation)는 **하나 이상의 항이 확률적 과정(Stochastic Process)**으로 이루어진 미분방정식입니다. 즉, 방정식에 무작위성(Randomness)이 포함되어 있는 형태입니다. 기본적인 형태는 다음과 같습니다.

 

$dX_t = \mu (X_t, t)\,dt + \sigma (X_t, t)\,dB_t$

• $\mu(X_t, t)$: 드리프트(Drift) 항
  • 확률적이지 않고, 결정론적(Deterministic)인 변화를 표현
• $\sigma (X_t, t)dB_t$​: 디퓨전(Diffusion) 항
  • BtB_tBt​가 주로 **Wiener Process(브라운 운동)**로 설정되며, 무작위성을 제공

만약 $\sigma (X_t, t)dB_t$ 항이 사라진다면 이는 ODE와 동일해집니다. 따라서 SDE는 "ODE + 노이즈(확률적 요소)"라고 이해할 수 있습니다.

 

 

2-2. Diffusion Model과 SDE

Diffusion Model에서 말하는 “Diffusion Process”는 사실상 SDE로 표현되곤 합니다. 예를 들어, Forward Process(데이터에 점진적으로 노이즈를 추가하는 과정)를 SDE로 나타내고, 이를 역방향(Reverse) 과정에서 풀어내는 방식이 Score-based Generative Model의 핵심 아이디어 중 하나이죠.

• $\sigma (X_t, t)dB_t$​에서 $B_t$​는 Wiener Process로, 시간이 지날수록 점진적으로 무작위성을 섞어주는 역할을 합니다.
• 이렇게 확률적 과정으로 정의된 SDE를 역으로 추적(Reverse SDE)하면 노이즈가 제거(De-noising)되는 방식으로 데이터를 생성할 수 있습니다.

 

 

---

 

3. Markov Process와 Master Equation

3-1. Markov Process

Markov Process는 Markov Property를 만족하는 확률적 과정(Stochastic Process)입니다.

• Stochastic Process: 시간 $t$에 따라 변하는 상태(state)를 확률분포의 형태로 기술
• Markov Property: “다음 상태”가 현재 상태에만 의존하며, 과거의 이력에는 의존하지 않는 성질

이를 수식으로 표현하면,

 

$p(x, t \mid x_n, t_n; \dots; x_1, t_1) = p(x, t \mid x_n, t_n)$

즉, 과거의 상태 $(x_1, x_2, \dots, x_{n-1})$가 어떠했든, “다음 상태 $x$”는 오직 현재 상태 $x_n$​에 의해서만 결정됩니다.

 

 

3-2. Master Equation

Master Equation은 Markov Process에서 확률 분포가 시간에 따라 어떻게 변하는지를 나타내는 방정식입니다. 각 상태로의 진입/이탈 흐름을 인플로우(Inflow), 아웃플로우(Outflow) 관점에서 표현하며, 다음과 같은 식을 가집니다.

 

$\frac{\delta p(x,t)}{\delta t} = \int_{-\infty}^{\infty} \bigl[\,W_t(x \mid x')\,p(x',t) \;-\; W_t(x' \mid x)\,p(x,t)\bigr]\,dx'$

• $W_t(x \mid x')$: 시각 $t$에서 상태 $x'$로부터 $x$로 전이(Transition)될 비율
• $p(x', t)$: 시각 $t$에 상태 $x'$일 확률

따라서

• $W_t(x \mid x')\,p(x',t)$: Inflow (다른 상태 x′x'x′에서 xxx로 들어오는 확률 흐름)
• $W_t(x' \mid x)\,p(x,t)$ : Outflow (상태 xxx에서 다른 상태 x′x'x′로 나가는 확률 흐름)

Master Equation은 결국 한 상태 $x$ 에 머무를(혹은 그 상태를 차지할) 확률이 시간에 따라 어떻게 변하는지를 Inflow - Outflow로 나타내어주는 핵심 방정식입니다.

 

---

 

 

4. Wiener Process

 

https://en.wikipedia.org/wiki/Wiener_process

 

 

4-1. Wiener Process란 무엇인가?

Wiener Process는 Brownian Motion을 나타내는 대표적인 확률적 과정입니다. 물리적으로는 액체나 기체 내의 입자가 무작위로 움직이는 현상을 모델링할 때 사용되고, 수학적으로는 SDE에서 노이즈(무작위성)를 부여하는 데 자주 활용됩니다.

Diffusion Model에서 흔히 볼 수 있는 “$\mathbf{w}(t)$” 또는 “$B_t$​”가 바로 Wiener Process를 가리킵니다. 시간에 따라 누적되는 무작위 이동량을 표현하기 좋기 때문에, **확률적 미분방정식(SDE)**에서 중추적인 역할을 합니다.

4-2. Wiener Process의 특성

Wiener Process $\mathbf{w}(t)$는 다음과 같은 주요 특성을 갖습니다.

1. 시작점이 0
   1. $\mathbf{w}(0) = 0$
2. 증분(Increment)은 정규분포를 따른다 (Gaussian Increment)
   1. $\mathbf{w}(t + \Delta t) - \mathbf{w}(t) = \Delta \mathbf{w} \sim \mathcal{N}(0, \Delta t \,\mathbf{I})$
   2. 일정 시간 간격 $\Delta t$ 동안의 변화량이 $\mathcal{N}(0, \Delta t)$ 분포를 가짐
3. 서로 다른 구간의 증분은 독립 (Independent Increment)
   1. $\mathbf{w}(t + \Delta t) - \mathbf{w}(t) \quad \text{과} \quad \mathbf{w}(t) - \mathbf{w}(t - \Delta t)$는 상호 독립입니다.
4. 경로가 연속적 (Almost Surely Continuous Path)
   • 불연속적인 도약(jump)이 일어나지 않고, 거의 확실하게 모든 경로가 연속적

---

5. 정리 및 마무리

정리하자면,

• ODE는 결정론적 미분방정식으로, $\frac{d\mathbf{x}(t)}{dt} = f(\mathbf{x}(t),t)$ 형태를 가지며 자유 파라미터를 줄이거나 특정 형태의 함수 집합을 모델링할 때 유용합니다.
• SDE는 ODE에 무작위성을 더해 확률적 현상을 표현하기 위한 미분방정식입니다.
• Markov Process는 미래 상태가 오직 현재 상태에만 의존하는 특성(Markov Property)을 갖는 확률과정이며, Master Equation을 통해 전체 확률 분포의 시간 변화를 추적할 수 있습니다.
• Wiener Process는 SDE에서 자주 쓰이는 기본 무작위 항으로, Brownian Motion을 수학적으로 모델링한 대표적 확률과정입니다.

이러한 개념들은 Diffusion Model 및 Score-based Generative Model에서 매우 중요합니다. 특히 Forward Diffusion 과정은 점진적으로 데이터에 노이즈를 섞는 과정으로 SDE로 표현할 수 있으며, 이를 거꾸로 되짚는 Reverse Diffusion 또는 Reverse SDE를 풀어내면서 “샘플링”이 이뤄집니다. 따라서 ODE/SDE, Markov Process, Wiener Process를 이해하는 것은 확률 기반 생성 모델을 심층적으로 이해하는 데 필수적이라 할 수 있습니다.

 

 

References

 

https://process-mining.tistory.com/207

https://en.wikipedia.org/wiki/Wiener_process

 

 

궁금한 점이나 보완해야 할 부분이 있다면 언제든지 댓글로 남겨주세요!