글로벌 테크 기업들이 업스케일링에 주목하는 이유

IT동아 · 2024.07.08 17:01:45

[IT동아 권명관 기자] 정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났다. 지난 2023년 5월부터 2024년 4월까지 IT 뉴스매체 대상으로 키워드를 분석한 결과 업스케일링은 100% 성장했다. 최근 업계에서 높아진 업스케일링 기술에 대한 관심을 수치로 보여준 셈이다.

출처=정보통신산업진흥원

업스케일링은 이미지와 영상의 ‘크기를 키우는’ 기술이다. 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소(픽셀)는 깨지고, 경계 부분은 계단처럼 보이는 ‘계단현상(Aliasing)’ 등이 나타난다. 이러한 문제를 해결하기 위해 대상 픽셀과 가장 가까이 있는 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣었는데(일명 보간법), 업스케일링의 기본 원리에 해당한다. 다만, 이러한 방식은 이미지 크기를 키우더라도 이미지 품질 자체는 높이기 어려웠다.

이 같은 단점을 보완하기 위해 최근 인공지능(AI)를 활용한 업스케일링이 등장했다. 컨볼루션 신경망(CNN), 생성형 적대 신경망(GAN. Generative Adversarial Network) 등 AI 모델을 활용해 더욱 정교하게 화질을 끌어올리고 있다.

특히, AI 업스케일링은 이미지 품질을 높이는데 국한되지 않는다. 패널의 화면 구현 성능을 높여 주기도 하며, 영상 처리 순서를 어떻게 적용하느냐에 따라 게임 렌더링 효율성을 극대화하는데도 쓰인다. 이처럼 다양한 쓰임새 때문에 여러 기업이 각자의 사업과 제품에 맞춰 업스케일링 기술을 조금씩 다르게 변형, 개발해 적용하는 추세다.

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

업스케일링 기술에 가장 힘을 쏟고 있는 업계는 단연 TV 시장이다. 삼성전자, LG전자 등은 이미 제품에 화질을 개선할 수 있는 AI 칩을 ‘온디바이스’ 형태로 적용해 출시하고 있다.

AI 칩을 기기에 직접 장착했다는 뜻의 ‘‘온디바이스AI’ TV다. 보통 생성형 AI 모델은 사용자가 원하는 요청을 이해하고 분석한 뒤, 그에 따른 대답, 반응, 피드백, 생성 결과물을 돌려주는 방식으로 동작하는데, 이를 위해 대용량 컴퓨팅파워를 필요로 한다. 따라서 연산, 생성 등의 과정은 성능이 제한적인 개인 컴퓨터, 모바일 기기에서는 거의 구현하기 어려웠다. 보통 원 서버(Origin Server)인 데이터센터를 활용하기 때문에 촘촘하게 연결된 온라인망, 인터넷 환경을 반드시 필요로 한다.

하지만, 대규모 연산을 필요로 하지 않는 단순한 기능을 구현한다거나, 폐쇄적인 개인정보만을 활용하는 AI 모델은 기기에 직접 AI 칩을 장착해 활용하는 사례가 늘고 있다. TV에 장착되어 있는 업스케일링 AI 칩이 대표적인 사례다.

삼성전자는 ‘8K AI 업스케일링 프로’ 기능에 대해 “저해상도 영상도 8K 급으로 업스케일링해 더욱 선명한 화질을 제공하고, 명암비를 강화해 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능까지 지원한다”라고 설명했다.

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

게임 업계도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있다. 게임은 높은 화질을 바탕으로 몰입감을 극대화하는 대표적인 디지털 콘텐츠인만큼 게임 관련 업체들은 ‘어떻게 게임의 화질을 높일 수 있을지’ 늘 고민한다.

게임을 만드는 게임 제작사뿐만 아니라 고사양 게임의 필수 요소인 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있다. 대표적인 것이 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’이다.

엔비디아 DLSS(Deep Learning Super Sampling) 단계별 화질 개선효과 소개 모습, 출처=엔비디아

업스케일링은 보통 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많지만 게임 업계, 특히 그래픽카드 업체들은 연산 효율을 높이기 위해 활용한다. 실시간 반응성을 우선하기 때문이다. 이에 게임 그래픽을 구성하는 디지털 정보들을 패널 표시 영상으로 변환(렌더링)하는 과정을 최대한 빠르게 처리하기 위해 일부러 해상도를 떨어뜨려 신속하게 연산하고, 마지막에 고해상도로 영상을 업스케일링하는 방식을 채택하고 있다. 처음부터 고화질 영상을 렌더링하는 것이 더 확실한 화질을 얻을 수 있지만, 연산 작업 시간이 길어져 게임 이용자의 몰입감을 헤칠 수 있기 때문이다.

엔비디아의 DLSS는 해상도를 키우는 ‘SR(Super Resolution)’, 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 ‘FG(Frame Generation)’, 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 ‘RR(Ray Reconstruction)’ 등의 기능을 갖췄다.

다만, 이러한 기술은 특정 게임에 제한적으로 적용된다는 단점이 있다. 언리얼엔진(게임 제작에 사용되는 대표적인 도구)을 통해 게임 개발 단계부터 엔비디아 DLSS 적용을 설정할 수 있긴 하지만, 해당 게임의 그래픽 정보들을 사전에 엔비디아 GPU가 학습해 둬야 하기 때문이다.

콘텐츠 자체를 고도화하는 업스케일링

가장 효과적인 업스케일링 방법은 콘텐츠 파일 자체를 AI 모델로 분석하고 업스케일링(SR, Super Resolution), 복원(Restoration), 개선(Enhancement) 등의 과정을 처리하는 것이다. 이는 출력 화면을 개선하는 방식(온디바이스 AI)이나 특정 게임 데이터를 사전에 학습한 그래픽카드 내 AI 칩을 활용하는 방식보다 더 확실하고 효과적이다. 화질 개선 AI 모델을 개발하는 대표적인 글로벌 기업으로는 ‘토파즈(Topaz)’가 있으며, 국내에는 SKT의 ‘수퍼노바 AI’, 포바이포(4BY4)의 ‘픽셀’ 등이 있다.

포바이포는 초고화질 영상을 제작하는 업체로 시작해 자체 화질 개선 AI 모델을 개발하면서 콘텐츠 AI 솔루션 업체로 전환했다. 픽셀 솔루션의 가장 큰 장점은 해상도와 이미지의 크기를 업스케일링하면서 채도, 명암비, 디노이즈(De-noise), 선예도 등 화질을 결정짓는 4가지 요소를 동시에 개선한다는 점이다. 포바이포는 이러한 결과에 대해 AI 도입 이전부터 화질 전문 인력이 화질을 개선해왔던 노하우와 기존에 확보하고 있던 초고화질 콘텐츠를 AI 학습용 데이터로 활용했기 때문이라고 설명한다.

CES 2024에서 2개 부분 혁신상을 수상한 포바이포의 화질 개선 AI 솔루션 ‘픽셀’ / 출처=포바이포

윤준호 포바이포 대표는 “화질 개선 AI 모델의 쓰임은 단순히 콘텐츠 화질 개선에 그치지 않는다”라며, “기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리속도를 빠르게 하는 방식으로 활용될 가능성이 높은 기술”이라고 설명했다.

한 디지털 콘텐츠 업계 관계자는 “최근 오픈AI의 소라(Sora)를 필두로 루마AI의 드림머신(Dream Machine), 런웨이의 젠-3 알파(Gen-3 Alpha)' 등 다양한 업체들이 텍스트 투 비디오(TTV) 기능을 제공하는 영상 생성형 AI를 속속 선보이고 있지만 제작 가능한 영상들은 대부분 4초 가량으로 제한되어 있다”라며 “1분 이상 영상을 빠르고 완성도 있게 만들기 위해서는 막대한 컴퓨팅 파워와 장시간 렌더링을 필요로 하기 때문”이라고 말했다. 이어서 “이 문제는 저화질로 빠르게 영상을 생성해 렌더링 하고, 화질 개선 AI 모델을 연달아 사용하는 방식으로 해결할 수 있을 것”이라고 업스케일링 기술의 가능성을 제시했다.

글 / IT동아 권명관(tornadosn@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
4556	전문가가 제시하는 스타트업 ESG 경영 전략…’2024 서울 스타트업 ESG 포럼’	IT동아	19:51	11	0
4555	수원대학교 'WoW 스타트업 브랜치 오픈이노베이션' 개최	IT동아	17:01	16	0
4554	[스타트업리뷰] 로닉 “인공지능 맞춤형 음식 도우미, AI 로봇셰프 큐브”	IT동아	16:33	1220	0
4553	[IT기획자의 탄생] 3. IT기획자에게 필요한 상상력과 글로벌 전략	IT동아	10:43	32	0
4552	[IT’s 가성비] 삼성 크리스탈 UHD TV, 2024년형/85인치 모델에 눈길?	IT동아	09:07	1775	0
4551	[스케일업] 클리카 [3] 피터 노빅과의 대담으로 살펴본 'AI 스타트업'의 방향성	IT동아	09:06	31	0
4550	[생활 속 IT] LG 가전 활용도 넓히는 'LG ThinQ' 연결 및 사용법	IT동아	08:21	25	0
4549	[생활 속 IT] 소프트웨어 활용 습관 바꿔줄 윈도 11 ‘가상 데스크톱’ [1]	IT동아	11.20	74	0
4548	[부산창경 BEF 2024] 기술로 문제 풀이와 오답 노트 작성 효율 높인 ‘프라이머스’	IT동아	11.20	46	0
4547	IBM-연세대, 슈퍼컴 능가하는 127 큐비트 양자컴퓨터 국내 첫 도입 [3]	IT동아	11.20	4756	4
4546	[주간스타트업동향] 휴머닉스, 위플로 CES 2025 혁신상 수상 外	IT동아	11.20	93	0
4545	[부산창경 BEF 2024] 만만한녀석들 “모듈형 집기로 친환경 MICE 산업 선도한다”	IT동아	11.20	45	0
4544	[부산창경 BEF 2024] 나누기월드 “외국인 유학생, 장애인 문제 해결에 기여” [3]	IT동아	11.20	247	0
4543	선박 제조업의 디지털 전환 이끄는 ‘버추얼 트윈’ 기술	IT동아	11.19	74	0
4542	에릭슨엘지 “네트워크도 API로 제공…개발자 참여 독려해야”	IT동아	11.19	74	0
4541	[IT애정남] 노트북 SSD의 OEM 파티션, 삭제해도 되나요?	IT동아	11.19	78	0
4540	[부산창경 BEF 2024] 그린에너지(주) “산업 현장 악취·유해물질 플라즈마로 해결”	IT동아	11.19	78	0
4539	[자동차와 法] 행락철 교통사고 책임과 법적 대처 방안	IT동아	11.19	667	0
4538	아이작 컨셉츠 김태영 대표, "반도체·열유체 공학의 산학협력 교두보 만들겠다"	IT동아	11.19	75	0
4537	[시승기] 돋보이는 디자인과 안전 사양 ‘KGM 액티언’ [1]	IT동아	11.18	351	0
4536	+불필요한 PC 앱, 지우려면 이렇게! [이럴땐 이렇게!] [1]	IT동아	11.18	5089	5
4535	[스케일업] 반프 [3] 정예솔 전략총괄 “반프의 가치, 글로벌 시장에서도 매력적”	IT동아	11.18	107	0
4534	[주간투자동향] 숨빗AI, 50억 원 규모 시드 투자 유치 外	IT동아	11.18	99	0
4533	[투자를IT다] 2024년 11월 2주차 IT기업 주요 소식과 주가 흐름	IT동아	11.16	199	0
4532	[스케일업] 보라웨어 [2] 전영복ㆍ이효주 “구성원 복지ㆍ기업 성장이 공존하는 곳”	IT동아	11.15	193	0
4531	[생성 AI 길라잡이] 8종의 AI 모델 골라 쓰는 ‘SKT 에이닷’ 웹 버전	IT동아	11.15	181	0
4530	디지포레, “제조산업의 디지털 전환, ‘팩토리얼 프로’로 앞당길 것"	IT동아	11.15	174	0
4529	[리뷰] 모니터링 헤드폰의 새로운 기준점 제시, 소니 MDR-M1 [5]	IT동아	11.15	6191	1
4528	[2024 고려대] 스페이스점프 “자영업·소상공인 기자재의 모든 것, 소상공간”	IT동아	11.15	166	0
4527	퀄컴, 온디바이스 AI·차량 전동화에 초점 맞춘 최신 솔루션 선보여	IT동아	11.15	186	0
4526	[창업도약+경북대] 비빔블 “비커스ㆍ버튜디오로 상상 이상의 가상경험 제공할 것”	IT동아	11.15	143	0
4525	[AI와 미래] 기존 저작물은 AI 학습에 어디까지 활용할 수 있을까?	IT동아	11.15	1363	0
4524	[월간자동차] 24년 10월, 신차 등록 두 달 연속 증가…싼타페 판매 1위	IT동아	11.15	138	0
4523	[리뷰] 10G 업링크 지원 네트워크 스위치, 넷기어 GS108MX	IT동아	11.14	166	0
4522	데이터 주권 강조하는 소버린 AI, 진정한 의미는? [1]	IT동아	11.14	698	0
4521	[스케일업] 스쿨버스 [3] 통학버스 전문 플랫폼 개발자 인터뷰	IT동아	11.14	168	0
4520	[UDC 2024] 다양한 산업을 변화시키는 블록체인의 힘	IT동아	11.14	161	0
4519	로봇과 문화예술의 만남, 브이디컴퍼니x장 줄리앙의 종이세상	IT동아	11.14	317	0
4518	[IT애정남] 갤럭시워치를 아이폰과 연결해서 쓸 수 있나요?	IT동아	11.13	4653	0
4517	[신차공개] BMW ‘뉴 4시리즈 그란 쿠페’·로터스 ‘에메야’ 공식 출시 [3]	IT동아	11.13	4755	1
4516	[스타트업-ing] 오아시스 스튜디오 “OVP·오닉스·디보틀로 콘텐츠 에코시스템 구축”	IT동아	11.13	172	0
4515	[생활 속 IT] 취업 서류, 정부24에서 내려받는 법	IT동아	11.12	206	0
4514	기한 지나면 과태료…운전면허 적성검사 및 갱신 방법 살펴보니	IT동아	11.12	2385	3
4513	[창업도약+경북대] 준컴퍼니 “자동차 구매부터 판매까지 아우르는 모빌리티 통합 플랫폼 꿈꾼다”	IT동아	11.12	196	0
4512	[스케일업] 모넷코리아 [2] HDC랩스와 협업 통해 AIoT 기반 부동산 관리 플랫폼 고도화	IT동아	11.12	229	0
4511	[2024 고려대] R2C컴퍼니 “데이터 수요·공급자 만족 이끄는 플랫폼”	IT동아	11.12	647	0
4510	갤럭시 스마트폰의 위젯 기능, 제대로 쓰려면?	IT동아	11.12	255	1
4509	[AWS 인더스트리 위크 2024] 국내 금융/핀테크 기업에 AWS 솔루션은 이렇게 적용됐다 [1]	IT동아	11.11	2038	1
4508	'제조 스타트업 대상으로 소싱디렉팅·제품 제작까지'··· 서울과기대의 실질적 지원 들여다보니	IT동아	11.11	217	0
4507	[AWS 인더스트리 위크 2024] AWS가 실현하고 있는 인공지능 기술의 현재	IT동아	11.11	275	0
뉴스	김장훈, 12월 AI 콘서트 '토닥토닥' 개최....신비한 영상체험 '커밍순'	디시트렌드	14:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

콘텐츠 자체를 고도화하는 업스케일링

▶ 다가오는 AI PC 시대, AI PC로는 무엇을 할 수 있을까?▶ [리뷰] 인텔 코어 울트라 5 품은 갤럭시 북4 프로로 경험한 ‘인공지능(AI) PC’▶ [생성 AI 길라잡이] 3세대로 업그레이드된 인공지능 콘텐츠 생성 ‘런웨이ML’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결