앞 글의 주파수 도메인 결론, 즉 "업스케일은 image 제거, 다운스케일은 비율에 맞춘 anti-alias 필터"를 HW로 구현하는 표준 구조가 Polyphase FIR scaler입니다. 이 시리즈의 선택은 Separable 6탭 Lanczos3 polyphase(64 phase) + 다운스케일 커널 늘이기 + 큰 비율 다단 구성입니다.

1. 목적

  • 임의 비율(예: 4K → 1080p, 720p → 4K)의 해상도 변환
  • 다운스케일 aliasing과 업스케일 imaging·blur 최소화
  • Chroma 포맷(4:2:0)과 siting을 유지한 변환

2. 동작

출력 픽셀 위치를 입력 좌표계로 환산하면, 정수부는 필터 윈도우의 위치, 소수부는 커널을 얼마나 이동해 샘플링할지(phase)를 나타냅니다. 위상마다 커널을 미리 샘플링한 계수 세트를 LUT로 저장해 두면, 출력 픽셀 하나는 N탭 FIR 한 번으로 계산됩니다. 좌표는 DDA(누산기)로 매 출력마다 step을 더해 생성합니다.

3. 중요한 알고리즘 / HW

3.1 Separable 구조

2D 커널 대신 수직·수평 1D 필터를 직렬로 적용하면 곱셈 수가 N² → 2N으로 줄어듭니다. Lanczos 2D 커널은 엄밀히는 분리형이 아니지만(방사형 버전과 차이), 분리형 적용이 영상 스케일러의 표준이며 품질 차이는 작습니다.

3.2 다운스케일 필터

  • 비율 M만큼 커널을 늘려 차단 주파수를 0.5/M로 낮추고, 계수 LUT를 비율별로 FW가 재계산
  • 탭 수는 HW에 고정(예: 최대 12탭)이므로 그 이상은 2:1 half-band 데시메이션 단계를 앞에 둠

3.3 정밀도와 세부 사항

  • Phase 수: 64 phase면 위치 양자화 오차 1/128 픽셀 이하로 시각적으로 충분. 32 이하에서는 느린 줌에서 미세한 떨림이 보일 수 있음
  • 계수 정규화: 위상마다 양자화된 계수 합이 정확히 1.0(예: 256)이 되도록 가장 큰 탭에서 보정
  • Ringing 제어: 강한 에지에서 Lanczos 음수 lobe가 overshoot를 만듦 → 주변 2탭의 min/max로 출력 clamp (샤프닝과 같은 기법)
  • 경계 처리: 화면 가장자리는 픽셀 복제(edge replicate)로 윈도우를 채움
  • Chroma: 4:2:0 chroma는 별도 DDA를 쓰고 siting(4편) 오프셋을 시작 위상에 반영해야 색 경계가 어긋나지 않음
  • 업스케일 고급화: 에지 방향을 검출해 방향성 보간을 섞는 edge-directed 업스케일러는 대각선 계단을 더 줄일 수 있음. 면적이 허용되면 polyphase 결과와 블렌딩하는 구조로 추가

이것으로 ISP Pipeline과 Video Processing 시리즈를 마칩니다. Bayer 처리부터 Tone Mapping, YUV 노이즈 제거·샤프닝·색 처리, DIS, Warp, Scaler까지 파이프라인 순서로 정리했습니다.

반응형

해상도 변환(scaling)은 단순히 픽셀을 늘리거나 줄이는 일이 아니라 샘플링 주파수를 바꾸는 신호처리입니다. 이 관점으로 보면 다운스케일의 모아레(aliasing), 업스케일의 계단 현상(imaging), 보간 필터 선택 기준이 모두 하나의 원리로 설명됩니다. 이 글은 그림 위주로 주파수 도메인 개념을 정리하고, 다음 글에서 HW 구조를 다룹니다.

1. 목적

  • 해상도 변환에서 생기는 artifact의 원인을 주파수 영역에서 이해
  • 다운스케일/업스케일 필터의 요구 조건(차단 주파수, 통과대역, 저지대역) 정의
  • 보간 커널(bilinear, bicubic, Lanczos)의 품질 차이를 정량적으로 비교

2. 동작 — 샘플링과 스펙트럼

연속 영상을 간격 1로 샘플링하면 스펙트럼이 샘플링 주파수 fs = 1 간격으로 무한히 복제됩니다. 원 신호의 대역이 fs/2(Nyquist)보다 작으면 복제본이 겹치지 않고, 이상적인 저역 필터(sinc 보간)로 원 신호를 완벽히 복원할 수 있습니다(Nyquist–Shannon 정리).

2.1 Downscale = 샘플링 주파수 낮추기

2:1로 줄이면 새 샘플링 주파수는 0.5가 되어 복제 간격이 좁아집니다. 원 영상에 0.25 cycles/pixel 이상의 성분이 있으면 복제본끼리 겹치고, 그 성분이 저주파로 접혀 들어옵니다. 이것이 aliasing이며, 일단 생기면 원래 저주파와 구별할 수 없어 나중에 제거할 수 없습니다. 따라서 다운스케일 전에 새 Nyquist(0.5/M) 이상의 성분을 저역 필터로 제거해야 합니다.

2.2 Upscale = 샘플링 주파수 높이기

업스케일은 원 샘플 사이에 0을 넣은 뒤(새 fs = 2) 보간 필터를 거치는 것과 같습니다. 0 삽입 직후에는 원래의 복제본(±1 위치)이 새 Nyquist(1.0) 안에 그대로 남아 있는데, 이를 imaging 성분이라 합니다. 보간 필터가 이를 충분히 제거하지 못하면 계단·블록 무늬가 보이고, 통과대역을 깎으면 흐려집니다.

3. 중요한 알고리즘 — 커널 선택

위 그래프는 각 보간 커널의 연속 푸리에 변환을 수치 적분으로 계산한 것입니다. 이상적인 필터는 0.5까지 1, 이후 0인 직사각형(sinc 커널)이지만 무한 길이라 구현할 수 없습니다.

  • Nearest: 응답이 sinc 형태, 저지대역 누설이 커서 imaging(블록)이 심함
  • Bilinear: sinc² 형태, 저지대역은 좋아졌지만 통과대역이 일찍 떨어져 흐림
  • Bicubic (a = −0.5): 통과대역이 더 평평, 음수 lobe 덕분에 선명. 비용 대비 효율이 좋음
  • Lanczos3: 이상 필터에 가장 가까움. 6탭으로 늘지만 HW에서 면적보다 화질을 우선하면 최선의 선택. 단점은 강한 에지 주변의 약한 ringing

업스케일은 입력 기준 Nyquist(0.5)에서 차단하면 되지만, 다운스케일은 출력 기준 Nyquist가 기준이므로 커널을 비율만큼 늘려 차단 주파수를 낮춰야 합니다. 커널을 늘리지 않고 업스케일용 커널을 그대로 쓰는 것이 다운스케일 aliasing의 가장 흔한 원인입니다. 다음 글에서는 이를 polyphase 필터로 구현하는 HW 구조를 정리합니다.

반응형

DIS가 계산한 보정 변환, 렌즈 왜곡 보정(LDC), rolling shutter 보정은 모두 기하 변환(warp)으로 실행됩니다. Warp 엔진은 출력 픽셀마다 입력 좌표를 계산하고, 그 소수 좌표에서 보간해 픽셀값을 만듭니다.

1. 목적

  • Affine/Perspective 변환으로 영상 정렬(DIS 보정, 회전, 기울기 보정)
  • 광각 렌즈의 barrel/pincushion 왜곡 보정(LDC)
  • 여러 기하 보정을 하나로 합성해 한 번의 보간으로 처리

2. 동작

Affine은 좌표가 선형이므로 같은 행에서 다음 픽셀 좌표가 상수만큼 증가합니다(덧셈만 필요). Perspective는 x' = (h₀x + h₁y + h₂) / (h₆x + h₇y + 1)처럼 나눗셈이 필요해, 분모의 역수를 LUT로 근사하고 Newton-Raphson 1회로 정밀도를 높입니다.

3. 중요한 알고리즘

3.1 보간

회전·서브픽셀 이동에서는 모든 출력 픽셀이 입력 격자 사이를 샘플링하므로, 보간 커널의 주파수 특성이 그대로 화질이 됩니다. Bilinear는 소수 위상 0.5에서 고주파를 크게 감쇠시켜 흔들림 보정 영상이 프레임마다 선명도가 바뀌는 "breathing"을 만듭니다. 따라서 최소 bicubic(4×4), 고품질은 6×6 Lanczos를 선택합니다. 주파수 관점은 다음 글에서 자세히 다룹니다.

3.2 Mesh 기반 통합

LDC 왜곡 모델(r_d = r(1 + k₁r² + k₂r⁴)), DIS 보정 행렬, rolling shutter strip 보정을 FW에서 합성해 출력 블록 격자마다 입력 좌표를 미리 계산합니다. HW는 격자 사이를 bilinear로 좌표 보간만 하면 되므로 어떤 조합의 기하 변환도 같은 엔진으로 처리하고, 보간 열화도 한 번으로 끝납니다.

3.3 HW 고려사항

  • 메모리 접근: 출력 블록에 대응하는 입력 영역은 회전·왜곡으로 기울어진 사각형 → bounding box tile을 DRAM에서 읽어 캐시. 회전각·왜곡이 클수록 tile이 커지고 대역폭 증가
  • 좌표 정밀도: 정수부 13 bit(8K) + 소수부 최소 1/64 → 누적 오차 방지를 위해 블록마다 좌표 재계산
  • Chroma: 4:2:0은 chroma 좌표를 1/2 스케일 + siting 오프셋으로 별도 계산
반응형

손떨림 보정(DIS/EIS)은 카메라의 실제 움직임을 추정해서, 의도된 움직임(pan, tilt)은 남기고 고주파 떨림만 제거하도록 프레임마다 보정 warp를 계산합니다. 앞의 두 글(Feature, RANSAC)이 움직임 측정이라면, 이 글은 무엇을 얼마나 보정할지 결정하는 단계입니다.

1. 목적

  • 프레임 간 카메라 움직임에서 원치 않는 떨림 성분 제거
  • 의도된 카메라 움직임은 지연 없이 자연스럽게 따라감
  • Crop 마진 안에서 보정, rolling shutter 왜곡 보정

2. 동작

프레임 간 변환 H_t(similarity 또는 homography)를 누적해 카메라 경로 C_t를 만들고, 이를 평활한 경로 S_t를 구합니다. 출력 프레임은 B_t = S_t · C_t⁻¹로 warp해 "부드러운 경로에서 찍은 것처럼" 만듭니다.

3. 중요한 알고리즘

3.1 경로 평활 방법

  • 저역 필터 / Kalman (causal): 지연 없는 실시간 처리가 가능하지만, 의도된 pan의 시작·끝에서 경로가 늦게 따라가 출렁임(lag)이 생김
  • Lookahead 평활: 출력을 N 프레임 지연시키고(프레임 버퍼) 미래 경로까지 보고 평활 → 지연 없는 부드러운 경로. 녹화(인코딩)에서는 수 프레임 지연이 허용되므로 품질 최적 선택
  • L1 경로 최적화(Grundmann et al.): 경로를 "정지 / 등속 / 등가속" 구간으로 만들도록 L1 노름 최소화 + crop 제약 → 전문 촬영 같은 결과, 연산은 FW(선형계획)에서 처리하고 HW는 warp만 담당

3.2 신뢰도와 예외 처리

  • RANSAC inlier 비율이 낮으면(큰 전경 물체가 화면을 지나감) 측정 대신 이전 속도로 외삽하거나 gyro 값을 사용
  • 장면 전환·급격한 pan은 보정 강도를 줄여 경로를 빠르게 따라감

3.3 HW 분담

  • HW: Feature 검출/매칭, RANSAC 평가 엔진, Warp 엔진
  • FW: 경로 누적·평활·마진 제약, gyro 융합 (프레임당 연산량이 작음)
  • Lookahead를 쓰면 프레임 버퍼 N장 필요 → 4K YUV420 10 bit 1장 ≈ 15 MB
반응형

특징점 대응쌍에는 오매칭과 움직이는 물체 위의 점이 섞여 있습니다. 이런 이상치(outlier)가 하나만 있어도 최소제곱 추정은 크게 틀어집니다. RANSAC(RANdom SAmple Consensus)은 "가장 많은 데이터가 동의하는 모델"을 찾아 이상치에 강건한 추정을 합니다.

1. 목적

  • 대응쌍에서 카메라 전역 움직임 모델(similarity/affine/homography) 추정
  • Outlier(오매칭, 전경 물체) 자동 제거
  • 추정 결과의 신뢰도(inlier 수/비율) 제공 → DIS가 보정 강도 조절에 사용

2. 동작

모델을 정의하는 최소 개수(s)의 대응쌍을 무작위로 골라 모델을 계산하고, 전체 대응쌍 중 오차가 임계값 이하인 개수(inlier 수)로 점수를 매깁니다. 이를 N번 반복해 최고 점수 모델을 고른 뒤, 그 inlier 전체로 최소제곱 재적합을 합니다.

3. 중요한 알고리즘

3.1 반복 횟수

모든 샘플이 inlier일 확률이 wˢ이므로, 필요한 반복 횟수는 s에 대해 지수적으로 늘어납니다. 그래서 DIS에서는 꼭 필요한 자유도의 모델만 씁니다. 대부분 similarity(4 자유도) 또는 affine(6)으로 충분하고, 원근 변화가 큰 경우에만 homography(8)를 씁니다.

3.2 성능 좋은 변형들

  • MSAC: inlier 개수 대신 inlier 오차의 합(임계 이하에서는 오차, 이상에서는 상수)으로 점수 → 같은 비용으로 정확도 향상
  • PROSAC: 매칭 품질(기술자 거리) 순으로 정렬해 좋은 쌍부터 샘플링 → 반복 횟수 대폭 감소
  • LO-RANSAC: 최고 가설이 갱신될 때 그 inlier로 국소 최적화(재적합 반복) → 결과 안정성 향상
  • Preemptive RANSAC: 가설을 한꺼번에 만들고 데이터 일부로 평가해 하위 가설을 단계적으로 버림 → 고정 시간 실행, 실시간 HW에 적합
  • MAGSAC++ 같은 최신 방법은 임계값 없이 더 정확하지만 연산 구조가 복잡해, PROSAC + MSAC + LO 조합을 HW 최적점으로 선택

3.3 HW 고려사항

  • 가설 계산(2~4점 연립방정식)은 작은 고정소수점 solver 또는 마이크로코드로 처리, 비용의 대부분은 평가 단계 → 평가 엔진 병렬화
  • Homography 평가에는 나눗셈(원근)이 들어가므로 역수 LUT + Newton 1회 보정
  • 좌표 정규화(중심 이동, 스케일)로 고정소수점 수치 안정성 확보
반응형

여기부터는 손떨림 보정(DIS)을 위한 기하 처리 구간입니다. 첫 단계는 프레임 간 카메라 움직임을 추정하기 위해 특징점(feature)을 찾고 이전 프레임과 대응시키는 것입니다. 이 시리즈의 선택은 FAST 후보 + Harris 점수 + Grid bucketing + rBRIEF 이진 기술자(ORB 구조)이며, 정밀도가 더 필요하면 KLT 추적을 병행합니다.

1. 목적

  • 프레임마다 반복적으로 찾을 수 있는 안정적인 점(코너) 추출
  • 연속 프레임 사이 같은 점끼리 대응쌍 생성
  • 화면 전체에 고르게 분포된 대응쌍으로 전역 움직임 추정(다음 글 RANSAC) 입력 생성

2. 동작

FAST는 비교 연산만으로 빠르게 코너 후보를 골라내지만 점수가 부정확하고 에지에도 반응합니다. 후보 위치에서만 Harris 응답을 계산해 순위를 매기고 Non-Maximum Suppression(NMS)으로 국소 최대값만 남깁니다.

Harris 행렬 M의 두 고유값이 모두 크면 코너, 하나만 크면 에지입니다. R = det − k·trace²는 고유값을 직접 구하지 않고 이를 판별하는 식으로, 곱셈·덧셈만으로 계산됩니다. Shi-Tomasi(min 고유값)는 약간 더 안정적이지만 제곱근이 필요합니다.

3. 중요한 알고리즘

3.1 기술자와 매칭

  • SIFT/SURF: 정확도는 높지만 부동소수점 히스토그램·스케일 공간 연산이 커 실시간 HW에 부담
  • ORB(rBRIEF): 이진 기술자, 매칭은 XOR + popcount. 연속 프레임 간 매칭(작은 변화)에서는 SIFT와 차이가 작음 → DIS 용도의 최적점
  • KLT: 기술자 없이 패치 정렬로 서브픽셀 추적. 정밀도는 가장 좋지만 반복 연산(Gauss-Newton)과 피라미드가 필요. 고급 DIS는 ORB로 초기 대응 → KLT로 정밀화

3.2 HW 고려사항

  • 1/2 또는 1/4 다운샘플 영상에서 검출해도 전역 움직임 추정에는 충분 → 라인버퍼·연산량 감소
  • 움직이는 물체 위의 특징점은 이상치(outlier)가 되므로, 수를 넉넉히(수백 개) 확보하고 RANSAC에서 제거
  • Gyro가 있으면 예측 위치 주변만 매칭해 탐색 범위와 오매칭을 동시에 줄일 수 있음
반응형

CCM이 "정확한" 색을 만든다면, Color Enhancement는 "보기 좋은" 색과 제품 고유의 색감(look)을 만듭니다. 하늘·잎·피부처럼 기억색(memory color)을 개별 조정하고, 필요하면 임의의 비선형 색 변환을 적용합니다. 이 시리즈의 선택은 Hue/Saturation 구간 조정 + Tetrahedral 3D LUT입니다.

1. 목적

  • 전체 및 hue 구간별 채도·색상·밝기 조정
  • 피부색 등 기억색 보호와 선호색 강조
  • Look 적용(3D LUT), 색역 변환(BT.709 ↔ BT.2020) 같은 임의 비선형 색 매핑

2. 동작

YCbCr에서 (Cb, Cr)을 극좌표로 바꾸면 각도가 hue, 반지름이 채도에 해당합니다. Hue 구간마다 hue 회전량, 채도 gain, 밝기 offset을 테이블로 두고 구간 사이를 보간합니다. 채도가 작은(회색에 가까운) 픽셀은 hue 추정이 노이즈에 민감하므로 gain을 줄여 색 노이즈 증폭을 막습니다.

3. 중요한 알고리즘

3.1 Tetrahedral 보간

3D LUT의 정확도는 격자 수와 보간 방식으로 결정됩니다. Tetrahedral 보간은 셀을 6개 사면체로 나눠 4개 꼭짓점만 사용하므로 trilinear(8개)보다 곱셈이 적고, 회색축이 사면체 모서리에 놓여 무채색이 정확히 보존됩니다. 동일 격자에서 trilinear보다 보간 오차가 작아 방송·시네마 색 변환 장비의 표준 방식입니다.

3.2 HW 고려사항

  • 격자 크기: 17³(4,913점)은 대부분의 look에 충분, 강한 비선형(색역 압축, HDR↔SDR)은 33³ 권장
  • 입력 공간: 선형보다 감마/log 인코딩된 RGB에서 LUT를 적용해야 격자가 지각적으로 균일
  • Hue/Sat와 3D LUT 관계: 3D LUT 하나로 모든 조정을 표현할 수 있지만, 튜닝 편의를 위해 파라메트릭 Hue/Sat 블록을 앞에 두고 LUT는 look 전용으로 쓰는 구성이 일반적
반응형

렌즈 MTF 한계, demosaic, 노이즈 제거를 거치며 영상의 고주파 성분은 줄어듭니다. Sharpening(Edge Enhancement)은 고주파를 선택적으로 증폭해 선명도를 회복하는 블록이며, 동시에 노이즈 증폭과 halo를 막는 것이 핵심입니다. 이 시리즈의 선택은 Multi-band 적응 USM + 방향성 필터 + local min/max clamp입니다.

1. 목적

  • 광학·처리 과정에서 잃은 고주파(MTF) 보상
  • 노이즈와 평탄 영역은 강조하지 않음
  • Overshoot/undershoot(halo, 흰 테두리) 억제

2. 동작

기본형은 Unsharp Mask(USM): 입력에서 저역 통과 결과를 빼 고주파를 얻고, gain을 곱해 다시 더합니다. 그대로 쓰면 에지 양쪽에 overshoot가 생겨 halo가 되고, 노이즈도 같은 비율로 증폭됩니다. 그래서 고주파 성분의 크기에 따라 gain을 바꾸고(gain LUT), 결과를 주변 최소·최대값 범위로 제한합니다.

3. 중요한 알고리즘

3.1 Multi-band

세밀한 텍스처(1~2 픽셀 주기)와 굵은 윤곽(4~8 픽셀)은 최적 gain이 다릅니다. 고주파·중주파 대역을 따로 추출해 각각 gain LUT를 적용하면 "선명하지만 거칠지 않은" 결과를 얻습니다. 대역 분리는 SNR의 multi-scale 구조와 공유할 수도 있습니다.

3.2 방향성 처리

  • 4~8 방향 에지 검출 후 에지와 수직 방향으로만 high-pass를 적용하고, 에지 방향으로는 평활 → 노이즈 증폭 없이 에지 선명화
  • 평탄 영역 판정(local variance < k·σ²)에서는 샤프닝 off

3.3 Overshoot 제어

  • 3×3~5×5 윈도우의 min/max로 출력 제한, 허용 마진을 overshoot/undershoot 별도로 설정 (흰 halo가 더 눈에 띄므로 overshoot를 더 강하게 제한)
  • Luma에만 적용, chroma는 샤프닝하지 않음 (색 번짐 방지)

3.4 HW 고려사항

  • 라인버퍼 5~9 lines, 곱셈은 필터 계수가 고정이면 shift-add로 대체 가능
  • 인코더 입력용이면 과도한 샤프닝은 비트레이트를 늘리므로, 출력 용도(표시/인코딩)별 프리셋을 분리
반응형

+ Recent posts