영상을 좀 더 부드럽게 만들어 줄 새로운 기술

안녕하세요! 미디어영상광고학과 21학번 손정민입니다. 

 

저희 학과는 아무래도 영상과 관련된 학과이다 보니,

영상에 대한 이론과 실습에 많은 시간을 사용하는데요.

여러분이 영상에서 제일 중요하게 생각하는 요소는 무엇이 있으신가요? 

 

연출, 음향, 주제 등등 많은 분들이 중요하게 생각하는 요소가 다르지만

저는 개인적으로 영상에서 제일 중요한 것은 ‘프레임율’ 이라고 생각합니다.  

---

프레임율(Frame Rate)은 디지털 비디오의 필수 구성 요소 중 하나로

초당 몇 장의 장면이 보이는지를 가리키는 단어입니다.

프레임율이 높을수록 동영상의 품질이 좋아지는데요,

이는 아래의 동영상으로도 확실히 체감할 수 있습니다. 

동일한 화질의 영상이라면, 당연히 프레임율이 높은 영상의 퀄리티가 높겠죠? 

 

그래서 사람들은 기술을 활용해 영상의 프레임율을 높이기도 합니다.

바로 오늘 설명드릴 비디오 프레임 보간 기술입니다. 

---

비디오 프레임 보간(Video Frame Interpolation, 이하 VFI) 기술은

연속되어 있는 두 개의 프레임 사이에 중간 프레임을 생성하는 기술입니다.

이 기술은 비디오의 프레임율을 증가시키거나,

슬로우 모션(Slow Motion) 영상을 생성하는 데 사용됩니다. 

기존에도 이런 비디오 프레임 보간 기술은 예전에도 있었지만,

최근에는 ai와 딥러닝을 활용하여 보다 발전된

비디오 프레임 보간 기술이 나왔습니다.

플로우 기반 비디오 프레임 보간 방식

플로우 기반 비디오 프레임 보간 방식은

두 개의 연속적인 입력 프레임(I0, I1) 사이의 움직임을 분석하여

중간 프레임(It)을 생성하는 방식입니다. 

이 과정에서 객체의 움직임을 수치적으로 표현한 '플로우'라는 개념이 사용됩니다.  

플로우는 각 픽셀이 시간에 따라 어떻게 이동하는지를 나타내며,

이를 통해 중간 프레임을 보다 정교하게 생성할 수 있습니다.  

 

이러한 플로우 기반 방식은 객체의 움직임을 보다 정밀하게 추정할 수 있어,

중간 프레임의 품질을 높이는 데 유리합니다.

특히, 움직임이 빠르거나 복잡한 장면에서도

기존 방식보다 상대적으로 더 나은 성능을 발휘할 수 있습니다.  

---

오늘은 비디오 프레임 보간 기술에 대해 알아보았습니다. 

딥러닝을 활용해 기술이 발전하고 완성도가 높아졌지만, 아직 부족한 부분도 많이 있습니다.

복잡하고 고해상도인 영상에서 사용할 때는 품질 면에서 아쉬운 부분을 보여주고 있는 점이

대표적인 예시입니다. 

 

하지만 기술이 좀 더 발전한다면,

이러한 문제점을 개선한 좋은 기술이 머지않아 나올 것이고,

앞으로 발전하여 일상생활에서도 관련 프로그램을 많이 쓰지 않을까요?

이상 글을 마치겠습니다!

---

출처

딥러닝 기반 비디오 프레임 보간 기술 연구 동향 | DBpia