칼만 필터 예측의 기반이 되는 최소제곱법의 개념과 수학적 유도를 정리해 봅시다.
자율 주행 시스템에서 동적인 환경과 센서 데이터의 불확실성을 처리하기 위해 견고한 알고리즘을 구축할 필요성이 생긴다. 이 접근법은 경로 추종, 센서 융합, 파라미터 추정 의 세가지 메커니즘에서의 중요한 역할을 구현할때 필수적인 개념이다. 이를 위해 최소 제곱법에 대해 알아보고 어떻게 유도되는지에 대한 수학적 이해와 직관적인 이해를 위해 정리본다.
개념과 정의
Least Square(최소 제곱법)은 어떤 계의 해방정식을 근사적으로 구하는 방법으로, 근사적으로 구하려는 해와 실제 해의 오차의 제곱 합이 최소가 되는 해를 구하는 방식이다. 즉, 여러 포인트들 간의 격차의 제곱합이 최소가 되도록 모델을 조정하는 방식이다. 이 방법을 통해 값을 정확하게 측정할 수 없는 경우에 특히 유용하게 사용되며, 특히 데이터가 따르는 방정식의 형태를 알고 있을 때 방정식의 상수 값들을 추정하는 데 효과적이다. (자율 주행 자동차에 들어가는 센서의 오차가 있을 수 밖에 없기에 이러한 조건을 만족할 수 있고, 효과적으로 적용가능하다.)
설명
y = Hx + e 모델에서, 상태 변수 x에 대한 최소 제곱 추정값 $\hat{x}$는 다음과 같이 구할 수 있다.
(이때 H 는 Jacobian 행렬로)
측정 모델: \(y = Hx + e\)
여기서,
- $y$: 측정값 (관측된 데이터)
- $H$: 관측 행렬 (디자인 행렬)
- $x$: 추정하고자 하는 상태 변수 (미지수)
- $e$: 오차 (noise) → Linear model, 평균이 0, 정규분포이면서 공분산이 동일 하다고 가정
오차에 가정이 필요한 이유
- 오차의 평균이 0인 이유
- 오차의 평균이 0이 아니라면, 측정값은 항상 어떤 방향으로 치우친 추정이 된다는 것을 의미하게 된다.
- 이는 일관되게 실제값과 어긋나는 측정값을 가진다는 의미.
- 편향된 측정 또는 추정량은 신뢰 할 수 없다는 것을 의미한다.
- 정규 분포인 이유
- 중심극한 정리에 따르면, 여러 개의 독립된 작은 오차들이 모이면 결과적으로는 정규 분포를 따르게 된다. 참고) Central Limit Theorem
- 동일한 분산을 가지는 이유
- 동분산이 아니라는 의미는 일부 데이터에 가중치가 달라져야 한다는 것을 의미한다. Oridnary Least Square은 동일한 중요도로 간주(Weighted Least Squares)는 동일한 분산이 아니여도 괜찮음
수학적 유도 과정
- 목적 함수:
$y- Hx$는 벡터이므로 유클리드 거리 제곱은 자기 자신과의 내적이라고 할 수 있다. 그러므로 행렬로 나타내면, 벡터의 제곱 노름으로 표현 가능하므로 $||y - Hx||^ 2 = (y - Hx)^ T (y - Hx)$ 로 표현 가능하다.
이를 전개하면, 아래와 같다.
\[J(x) = (y - Hx)^T(y - Hx) = y^T y - 2x^T H^T y + x^T H^T H x\]- $J(x)$를 $x$에 대해 미분하고 변화량이 가장 작은 추정값 $\hat x$를 구하기 위해서 미분값이 0일때의 x 값을 구하면,
결과적으로 아래와 같은 추정값 $\hat x$ 가 나오게 된다.
\[\hat{x} = (H^T H)^{-1} H^T y\]요약
최소 제곱법과 자율주행 응용 최소 제곱법은 측정값 $y$와 모델 $H_x$ 사이의 오차 제곱합을 최소화하는 방법으로, 자율주행 시스템에서 다음과 같이 활용된다.
- 경로 추종: 원하는 궤적과 실제 센서 읽기의 차이를 최소화
- 센서 융합: 여러 센서의 데이터를 하나의 일관된 상태로 추정
- 파라미터 추정: 모델 내 상수 값들을 효율적으로 계산
References
Least Squares와 그 기하학적 의미
Central Limit Theorem
Least-Squares Regression
Least squares - Wikipedia
The Method of Least Squares
댓글남기기