글로벌 테크 기업들이 업스케일링에 주목하는 이유

IT동아 · 2024.07.08 17:01:45

[IT동아 권명관 기자] 정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났다. 지난 2023년 5월부터 2024년 4월까지 IT 뉴스매체 대상으로 키워드를 분석한 결과 업스케일링은 100% 성장했다. 최근 업계에서 높아진 업스케일링 기술에 대한 관심을 수치로 보여준 셈이다.

출처=정보통신산업진흥원

업스케일링은 이미지와 영상의 ‘크기를 키우는’ 기술이다. 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소(픽셀)는 깨지고, 경계 부분은 계단처럼 보이는 ‘계단현상(Aliasing)’ 등이 나타난다. 이러한 문제를 해결하기 위해 대상 픽셀과 가장 가까이 있는 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣었는데(일명 보간법), 업스케일링의 기본 원리에 해당한다. 다만, 이러한 방식은 이미지 크기를 키우더라도 이미지 품질 자체는 높이기 어려웠다.

이 같은 단점을 보완하기 위해 최근 인공지능(AI)를 활용한 업스케일링이 등장했다. 컨볼루션 신경망(CNN), 생성형 적대 신경망(GAN. Generative Adversarial Network) 등 AI 모델을 활용해 더욱 정교하게 화질을 끌어올리고 있다.

특히, AI 업스케일링은 이미지 품질을 높이는데 국한되지 않는다. 패널의 화면 구현 성능을 높여 주기도 하며, 영상 처리 순서를 어떻게 적용하느냐에 따라 게임 렌더링 효율성을 극대화하는데도 쓰인다. 이처럼 다양한 쓰임새 때문에 여러 기업이 각자의 사업과 제품에 맞춰 업스케일링 기술을 조금씩 다르게 변형, 개발해 적용하는 추세다.

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

업스케일링 기술에 가장 힘을 쏟고 있는 업계는 단연 TV 시장이다. 삼성전자, LG전자 등은 이미 제품에 화질을 개선할 수 있는 AI 칩을 ‘온디바이스’ 형태로 적용해 출시하고 있다.

AI 칩을 기기에 직접 장착했다는 뜻의 ‘‘온디바이스AI’ TV다. 보통 생성형 AI 모델은 사용자가 원하는 요청을 이해하고 분석한 뒤, 그에 따른 대답, 반응, 피드백, 생성 결과물을 돌려주는 방식으로 동작하는데, 이를 위해 대용량 컴퓨팅파워를 필요로 한다. 따라서 연산, 생성 등의 과정은 성능이 제한적인 개인 컴퓨터, 모바일 기기에서는 거의 구현하기 어려웠다. 보통 원 서버(Origin Server)인 데이터센터를 활용하기 때문에 촘촘하게 연결된 온라인망, 인터넷 환경을 반드시 필요로 한다.

하지만, 대규모 연산을 필요로 하지 않는 단순한 기능을 구현한다거나, 폐쇄적인 개인정보만을 활용하는 AI 모델은 기기에 직접 AI 칩을 장착해 활용하는 사례가 늘고 있다. TV에 장착되어 있는 업스케일링 AI 칩이 대표적인 사례다.

삼성전자는 ‘8K AI 업스케일링 프로’ 기능에 대해 “저해상도 영상도 8K 급으로 업스케일링해 더욱 선명한 화질을 제공하고, 명암비를 강화해 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능까지 지원한다”라고 설명했다.

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

게임 업계도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있다. 게임은 높은 화질을 바탕으로 몰입감을 극대화하는 대표적인 디지털 콘텐츠인만큼 게임 관련 업체들은 ‘어떻게 게임의 화질을 높일 수 있을지’ 늘 고민한다.

게임을 만드는 게임 제작사뿐만 아니라 고사양 게임의 필수 요소인 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있다. 대표적인 것이 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’이다.

엔비디아 DLSS(Deep Learning Super Sampling) 단계별 화질 개선효과 소개 모습, 출처=엔비디아

업스케일링은 보통 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많지만 게임 업계, 특히 그래픽카드 업체들은 연산 효율을 높이기 위해 활용한다. 실시간 반응성을 우선하기 때문이다. 이에 게임 그래픽을 구성하는 디지털 정보들을 패널 표시 영상으로 변환(렌더링)하는 과정을 최대한 빠르게 처리하기 위해 일부러 해상도를 떨어뜨려 신속하게 연산하고, 마지막에 고해상도로 영상을 업스케일링하는 방식을 채택하고 있다. 처음부터 고화질 영상을 렌더링하는 것이 더 확실한 화질을 얻을 수 있지만, 연산 작업 시간이 길어져 게임 이용자의 몰입감을 헤칠 수 있기 때문이다.

엔비디아의 DLSS는 해상도를 키우는 ‘SR(Super Resolution)’, 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 ‘FG(Frame Generation)’, 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 ‘RR(Ray Reconstruction)’ 등의 기능을 갖췄다.

다만, 이러한 기술은 특정 게임에 제한적으로 적용된다는 단점이 있다. 언리얼엔진(게임 제작에 사용되는 대표적인 도구)을 통해 게임 개발 단계부터 엔비디아 DLSS 적용을 설정할 수 있긴 하지만, 해당 게임의 그래픽 정보들을 사전에 엔비디아 GPU가 학습해 둬야 하기 때문이다.

콘텐츠 자체를 고도화하는 업스케일링

가장 효과적인 업스케일링 방법은 콘텐츠 파일 자체를 AI 모델로 분석하고 업스케일링(SR, Super Resolution), 복원(Restoration), 개선(Enhancement) 등의 과정을 처리하는 것이다. 이는 출력 화면을 개선하는 방식(온디바이스 AI)이나 특정 게임 데이터를 사전에 학습한 그래픽카드 내 AI 칩을 활용하는 방식보다 더 확실하고 효과적이다. 화질 개선 AI 모델을 개발하는 대표적인 글로벌 기업으로는 ‘토파즈(Topaz)’가 있으며, 국내에는 SKT의 ‘수퍼노바 AI’, 포바이포(4BY4)의 ‘픽셀’ 등이 있다.

포바이포는 초고화질 영상을 제작하는 업체로 시작해 자체 화질 개선 AI 모델을 개발하면서 콘텐츠 AI 솔루션 업체로 전환했다. 픽셀 솔루션의 가장 큰 장점은 해상도와 이미지의 크기를 업스케일링하면서 채도, 명암비, 디노이즈(De-noise), 선예도 등 화질을 결정짓는 4가지 요소를 동시에 개선한다는 점이다. 포바이포는 이러한 결과에 대해 AI 도입 이전부터 화질 전문 인력이 화질을 개선해왔던 노하우와 기존에 확보하고 있던 초고화질 콘텐츠를 AI 학습용 데이터로 활용했기 때문이라고 설명한다.

CES 2024에서 2개 부분 혁신상을 수상한 포바이포의 화질 개선 AI 솔루션 ‘픽셀’ / 출처=포바이포

윤준호 포바이포 대표는 “화질 개선 AI 모델의 쓰임은 단순히 콘텐츠 화질 개선에 그치지 않는다”라며, “기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리속도를 빠르게 하는 방식으로 활용될 가능성이 높은 기술”이라고 설명했다.

한 디지털 콘텐츠 업계 관계자는 “최근 오픈AI의 소라(Sora)를 필두로 루마AI의 드림머신(Dream Machine), 런웨이의 젠-3 알파(Gen-3 Alpha)' 등 다양한 업체들이 텍스트 투 비디오(TTV) 기능을 제공하는 영상 생성형 AI를 속속 선보이고 있지만 제작 가능한 영상들은 대부분 4초 가량으로 제한되어 있다”라며 “1분 이상 영상을 빠르고 완성도 있게 만들기 위해서는 막대한 컴퓨팅 파워와 장시간 렌더링을 필요로 하기 때문”이라고 말했다. 이어서 “이 문제는 저화질로 빠르게 영상을 생성해 렌더링 하고, 화질 개선 AI 모델을 연달아 사용하는 방식으로 해결할 수 있을 것”이라고 업스케일링 기술의 가능성을 제시했다.

글 / IT동아 권명관(tornadosn@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
4055	[월간자동차] 24년 6월, 신차·중고차 거래량 모두 하락	IT동아	07.15	216	0
4054	[정구태의 디지털자산 리터러시] 디지털자산 규제 샌드박스가 필요한 이유	IT동아	07.15	190	0
4053	[이럴땐 이렇게!] 스마트폰 느릴 때 ‘최적화’ 하는 방법 [20]	IT동아	07.15	8575	10
4052	[서평] 스티브 잡스도 예상 못한 '크리에이터 이코노미' [23]	IT동아	07.15	6887	1
4051	'외국인 취업자 역대 최대'…눈 돌리는 채용 플랫폼	IT동아	07.15	164	0
4050	그래프코어, 소프트뱅크에 인수·· 왜 왕년의 기대주는 추락했나	IT동아	07.15	191	0
4049	[칼럼] 책임감 있는 AI 기반을 구축하는 방법	IT동아	07.15	156	0
4048	국내 AI 스타트업 인포플라, 싱가포르 시장에서 ‘눈길’	IT동아	07.15	131	0
4047	[주간투자동향] 노타, 300억 원 규모 시리즈C 투자 유치	IT동아	07.15	111	0
4046	'아직도 올해가 2023년?' 기본기 개선 시급한 네이버 CUE:	IT동아	07.12	241	0
4045	펀샵, 원엑스플레이어로 국내 게이밍 UMPC 시장 공략	IT동아	07.12	233	0
4044	고려대 “기술사업화 지원사업 브릿지, 일경험 수주...KU2030 디딤돌로”	IT동아	07.12	236	0
4043	[생성 AI 길라잡이] 생성형 AI로 효과 좋은 숏폼 제작, 샵라이브 AI클립	IT동아	07.12	884	1
4042	[농업이IT(잇)다] 에너지 솔루션 기업이 설계한 스마트팜, '허브밈'	IT동아	07.12	229	0
4041	제도권에 들어선 웹3 산업 조명, 어돕션 2024	IT동아	07.12	185	0
4040	앱으로 충돌 위험 알리는 기술 출시 임박	IT동아	07.12	195	0
4039	[스타트업-ing] 이유씨엔씨 “철도 친환경 단차열도료, 세계 ESG 선도”	IT동아	07.12	181	0
4038	[인터뷰] 자율주행기술연구소 “SW로 미래 모빌리티 기술 고도화 연구”	IT동아	07.11	244	0
4037	서울복합물류 “상징성 큰 도심형 물류단지, 디지털 관리 솔루션으로 업무혁신”	IT동아	07.11	182	0
4036	젠하이저의 첫 화상회의 솔루션 TC 바 ’4K 카메라·AI 기능 지원’	IT동아	07.11	194	0
4035	삼성전자, ‘폴드/플립6’에 ‘워치 울트라/7’, ‘버즈3’, ‘링’까지, ‘갤럭시 보따리’ 풀었다 [2]	IT동아	07.11	748	0
4034	[스타트업-ing] 디지포레·베이넥스, 국내 산업용 메타버스 시장 함께 키운다	IT동아	07.11	4673	0
4033	[스타트업 첫걸음] 나에게 필요한 지원사업 찾기	IT동아	07.11	218	0
4032	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 19 [1]	IT동아	07.11	852	0
4031	한국후지필름BI, “종이 한계 넘은 DX 지원할 것, 한국 내 후지필름 법인 통합도 고려”	IT동아	07.10	208	0
4030	[시승기] PHEV 모델 ‘BMW 뉴 530e’ 1000km 주행해 보니	IT동아	07.10	283	0
4029	[IT애정남] PC에서 넷플릭스 4K 재생, 어떻게 해도 안 되면?	IT동아	07.10	869	1
4028	[자동차와 法] 미래자동차부품산업법 도입배경과 향후 전망	IT동아	07.09	223	1
4027	'디자인 재해석에서 기치를 찾다'···서울과기대 '리디자인 톤' 가보니 [1]	IT동아	07.09	372	0
4026	[신차공개] 포르쉐 ‘마칸 일렉트릭’ 공개·MINI ’뉴 MINI 쿠퍼 S’ 출시	IT동아	07.09	620	0
4025	가상자산 이상거래 감시 체계 구축 “불공정거래, 엄중 조치”	IT동아	07.09	181	0
4024	[혁신스타트업 in 홍릉] 네오스헬스케어 “의료·산업 분야 활용도 높은 저온 감응형 점착제”	IT동아	07.09	4599	1
4023	홍수·침수 위험 정보 확인할 땐 이렇게![이럴땐 이렇게!]	IT동아	07.08	207	0
4022	[르포] 車 사고 및 관련 범죄 규명·보안 기술 연구하는 ‘단국대 리빙랩’ [2]	IT동아	07.08	254	2
4021	LG전자, 가정용 ‘프리미엄 환기’ 구독 상품 출시 [13]	IT동아	07.08	2706	1
	글로벌 테크 기업들이 업스케일링에 주목하는 이유	IT동아	07.08	270	0
4019	가상자산 사업자 영업 종료 가이드 개정 ‘이용자 보호 준수’	IT동아	07.08	183	0
4018	[정구태의 디지털자산 리터러시] 한국형 비트코인 현물 ETF 출시를 위한 선결 조건	IT동아	07.08	986	0
4017	다가오는 AI PC 시대, AI PC로는 무엇을 할 수 있을까? [6]	IT동아	07.08	2430	0
4016	[뉴스줌인] 'ETA' 인증 파워서플라이 속속 등장, 80 Plus와의 차이는?	IT동아	07.08	183	0
4015	[리뷰] 인텔 코어 울트라 5 품은 갤럭시 북4 프로로 경험한 ‘인공지능(AI) PC’ [1]	IT동아	07.08	849	0
4014	갤럭시+아이폰 점유율 99% 상황, 분투하는 ‘마이너리거’들은? [45]	IT동아	07.05	9755	0
4013	[크립토 퀵서치] 가상자산은 왜 만들었나요? [1]	IT동아	07.05	991	0
4012	BMW 차량 실내 소음 감소·엔지니어링 설계 돕는 다쏘시스템 ‘버추얼 트윈’ [14]	IT동아	07.05	9209	6
4011	셀바스찬 “NK 세포와 고분자 복합소재로 암 치료 선택지 넓힐 것” [동국대학교 캠퍼스타운] [1]	IT동아	07.05	399	0
4010	가상자산 거래소, 거래지원 자율규제 마련···7월 19일 시행	IT동아	07.05	844	0
4009	[농업이 IT(잇)다] 리필리 “우유 담는 종이팩? 무엇이든 담는 친환경 포장재입니다”	IT동아	07.05	212	0
4008	[생성 AI 길라잡이] 3세대로 업그레이드된 인공지능 콘텐츠 생성 ‘런웨이ML’ [2]	IT동아	07.04	762	0
4007	[르포] ‘연간 70만 명 이상 방문’…伊 명소 ‘페라리 박물관’ 살펴보니 [2]	IT동아	07.04	695	4
4006	[리뷰] M4 칩 기반으로 더 얇고 강력해진 아이패드 프로 7세대	IT동아	07.04	2566	2
뉴스	데이식스, 12월 고척돔 콘서트 3만8천석 전석 매진	디시트렌드	14:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

콘텐츠 자체를 고도화하는 업스케일링

▶ 다가오는 AI PC 시대, AI PC로는 무엇을 할 수 있을까?▶ [리뷰] 인텔 코어 울트라 5 품은 갤럭시 북4 프로로 경험한 ‘인공지능(AI) PC’▶ [생성 AI 길라잡이] 3세대로 업그레이드된 인공지능 콘텐츠 생성 ‘런웨이ML’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결