GPU 넘어 NPU가 주목받는 이유 ··· '관건은 와트당 성능, 그리고 효율성'

IT동아 · 2023.05.12 11:14:27

[IT동아 남시현 기자] 글로벌 반도체 기업 엔비디아(Nvidia)의 주가가 5월 9일 기준 291달러를 돌파해 52주 최고가를 기록했다. 엔비디아 주가는 2021년 1월 경신한 최고가(355달러)에 다가섰고, 1년 상승률도 53.57%를 기록 중이다. 주가가 21년 1월 최고가를 경신한 이후 22년 1월에 122.08달러까지 추락했었는데, 1년 만에 다시 최고가에 근접한 것이다. 21년 엔비디아의 주가는 암호화폐 채굴로 인한 그래픽 카드 가격 상승이 견인했는데, GPU를 활용한 채굴이 막을 내리며 GPU 가격이 폭락하면서 주가도 함께 추락했다. 하지만 이번의 상승 동력은 그래픽 카드 가격이 아닌 전 세계적인 인공지능 개발 경쟁 덕분이다.

GPU, 왜 인공지능 개발의 핵심으로 떠올랐나

인공지능 개발은 반도체를 바탕으로 진행된다. 출처=셔터스톡

엔비디아가 인공지능 관련 산업의 주축으로 떠오른 이유는 그래픽 처리에 쓰이던 GPU(Graphics Processing Unit)가 인공지능 개발에 쓰이기 시작해서다. GPU는 연산을 처리하는 수천 개의 코어로 구성된 반도체로, 병렬 방식으로 연산을 처리해 그래픽 데이터를 산출한다. 2010년 초까지만 해도 GPU는 컴퓨터 그래픽 처리를 위한 용도로만 쓰였는데 , 2006년 처음으로 CPU의 응용 프로그램 계산에 GPU의 연산 처리 성능을 사용하는 GPGPU(General-Purpose computing on Graphics Processing Units, GPU 상의 범용 계산) 개념이 등장하면서 활용도가 확장하기 시작했다.

GPU가 연산 처리 용도로 쓰이면서 기존에 CPU로 진행하던 과학, 의학 등의 분야는 물론, 서버나 미디어 등 대규모 데이터 처리와 인공지능 개발을 위한 기계학습, 심화 학습(딥 러닝) 분야 등에서까지 그래픽 카드가 쓰이기 시작했다. 엔비디아가 그래픽 카드 기업에서 인공지능 기술 기업으로 거듭난 이유가 바로 GPGPU의 활용성 덕분이다.

엔비디아 A2 텐서 코어 GPU. 출처=엔비디아

엔비디아가 GPGPU의 개념을 제시한 지 17년이 지난 만큼 GPU가 인공지능 개발에 핵심 요소로 자리 잡았지만, 지난해 11월 오픈 AI가 챗GPT를 공개하면서 또 한 번 전기를 맞이한다. 그간 구글, 메타 등의 기업들은 기술적 완성도와 안정성을 이유로 인공지능 기술을 점진적으로 공개해 왔으나, 후발 주자였던 오픈AI에서 활용이 쉽고 대중성까지 갖춘 챗GPT로 인공지능 시장 선점에 나서면서 인공지능에 대한 대중의 관심이 대단히 높아졌다.

오픈AI가 시장 선점에 나서자 인공지능에 투자해 온 기업들 역시 경쟁적으로 인공지능 기술을 공개하기 시작했고, 인공지능 개발의 핵심인 GPU가 전략 자산으로 떠올랐다. 미국 정부가 엔비디아와 AMD에 중국, 러시아에 대한 GPU 수출을 제한하는 명령을 내릴 정도다. 그만큼 GPU가 향후 미래산업에 미치는 영향력이 큰 상황이다.

범용성 좋은 GPU, 성능 좋으나 최적의 효율은 못내

GPU가 인공지능 개발에 사용되는 이유는 단순 연산을 처리하는 데 최적의 반도체라서다. 인공지능 개발은 기본적으로 많은 양의 단순 사칙 연산을 필요로 한다. CPU는 복잡한 단일 연산 처리에는 뛰어난 반면 다중 처리에는 비효율적이다. 반대로 GPU는 단순 연산을 다중으로 처리하는 데 적합한 구조라서 인공지능 개발에 쓰이는 것이다. 그렇다면 GPU는 어떤 곳에 쓰이고 있을까. 지난 3일 엔비디아가 발표한 8열 GPU 시스템인 DGX H100를 살펴봤다.

보스턴 다이내믹스의 로봇 자율주행 및 행동 개발에도 GPU가 사용되고 있다. 출처=애커BP

엔비디아 DGX H100은 보스턴 다이내믹스 산하 연구기관에서 로봇의 자율 주행 및 행동에 대한 연구에 활용되며, 존스홉킨스 대학교 응용물리학 연구소에서도 대규모 언어 모델 훈련에도 쓰인다. 영국 스타트업 ‘시세로(Scissero)’는 법률 처리용 GPT 기반 챗봇 구현을 위해 쓰고, 독일의 번역기술 기업 딥엘(DeepL)은 다수의 DGX H100를 도입해 번역 기능을 고도화할 방침이다. 이외에도 슈퍼컴퓨터 제어나 언어 분석, 의료 및 학술 기관에서도 DGX H100 시스템을 도입할 예정이다.

이처럼 GPU는 연산 처리의 최적화를 통해 대용량 데이터 처리가 필요한 다양한 산업군에서 범용성 있게 활용되며, 기술력도 생산성 모두 검증됐다는 장점이 있다. 하지만 GPU가 단순 연산 처리에 최적화된 구조인 까닭에 특정 인공지능 개발 환경에 부적합하다는 한계가 있고, 또 전력 소모량과 비용이 높다는 게 단점이다. 범용성과 성능은 좋으나, 투자 대비 효율이 떨어진다.

NPU, 인공지능 개발에 초점 맞춘 전용 반도체

퓨리오사 AI의 인공지능 처리용 반도체, 워보이(Warboy). 출처=퓨리오사 AI

그래서 등장한 게 인공지능 처리에 특화된 반도체, 신경 처리 장치(Neural Processing Unit, 이하 NPU)다. NPU는 GPU와 마찬가지로 병렬 처리에 최적화된 구조로 되어있으나, 인공지능을 개발하는데 필요한 제어 및 산술 논리 구성 요소를 갖춰 인공 신경망과 같은 예측 모델에서 기계 학습, 심화 학습 알고리즘을 실행하는데 최적화돼 있다. 덕분에 GPU와 동일한 인공지능 작업이 주어질 때, GPU 대비 전력 소모는 적고 더 많은 결과물을 산출한다.

퓨리오사 AI의 워보이는 동급 열설계 전력의 엔비디아 A2 텐서 코어 GPU와 비교해 특정 테스트에서 앞선 모습을 보여준다. 출처=퓨리오사 AI

올해 1분기 양산을 시작한 퓨리오사 AI의 NPU, ‘워보이(Warboy)’와 동급의 열 설계 전력을 갖춘 ‘엔비디아 A2 텐서 코어 GPU’를 비교한 자료를 살펴봤다. AI 가속기의 성능을 변별력 있게 시험하는 MLPerf v2.0 테스트 중 ‘오프라인 상태에서의 물체 처리 감지율’ 항목을 살펴보면, 엔비디아 A2가 4천856점을 획득할 때 워보이는 8천762점을 획득한다. 제품 가격 대비 객체 감지 성능을 고려하면 워보이의 투자 대비 성능이 세 배 가량 높다.

퓨리오사 AI 관계자는 "엔비디아 A2로 만 대 규모의 서버를 구축했을 때, 워보이는 5천542대의 서버로 동일한 데이터를 처리할 수 있다. 전력 소비량은 매달 8.9MWh (서버당 2KW 전력 소모 기준)를 줄일 수 있고, 전력량에 비례해 총 운영비용은 매달 1천700만원을 줄일 수 있다”고 설명했다.

이미지 처리에 대한 최적화를 통해 다른 엔비디아 GPU와 비교해 와트당 이미지 처리량이 많다. 출처=퓨리오사 AI

인공지능 처리에 투입되는 와트당 성능도 NPU가 우세하다. 몇 년 전부터 인공지능 업계는 학습에 필요한 데이터를 압축해서 처리하거나, 여러 채널 중 중복 데이터만 처리하는 등의 기법을 사용하고 있다. 학습 및 추론 속도를 높이기 위한 목적도 있으나, 데이터 처리 자체가 곧 시간과 자본이기 때문이다. 하지만 GPU는 설계 구조상 새로운 모델을 효율적으로 운용하기 어려운 반면, NPU는 알고리즘을 반영해 효율적으로 구동된다. 엔비디아 A100이 1와트당 2.1매, 엔비디아 A2가 5.8매의 이미지를 처리할 때, 워보이는 1와트당 8.5매의 이미지를 처리할 수 있다.

‘투자 대비 효율’ 중요해질수록 NPU 도입 대세 될 것

엔비디아의 DGX H100 시스템, 범용적인 용도를 제공하지만 그만큼 비용 부담이 커지는 상황이다. 출처=엔비디아

GPU가 다각적으로 활용할 수 있는 인공지능 개발 도구인 건 맞지만, 다양한 활용도 자체가 역으로 발목을 잡고 있다. 엔비디아 DGX H100 등 GPU 기반 도구의 성능 상한선은 높으나, 매달 임대 비용이 3만 7천 달러(한화 약 4천900만 원대) 수준에 이른다. 이베이에서 판매되고 있는 엔비디아 H100 의 가격도 지난해까지 3만 6천 달러(약 4천700만 원대) 선이었지만 현재 4만 5천달러(약 6천만 원대)까지 상승했다. 생성형 인공지능 용도로 GPU 수요가 증가하는 데다가, 다양한 분야에서 GPU를 필요로 하는 만큼 가격은 꾸준히 오를 수밖에 없을 것이다.

반대로 NPU는 인공지능 개발에 최적화된 설계를 갖추고 있으며, 동급의 GPU보다 처리 속도도 높고, 전력 소모대 성능비도 우수하다. 다목적이라는 이유로 수요가 몰려 가격이 오르는 GPU와 달리, 목적에 맞게 제품을 구매하면 되니 가격경쟁력도 충분하다. 물론 수십 년 간 개발되어 온 GPU와 다르게 이제 막 발돋움한 분야라 갈 길은 멀지만, 앞으로 많은 부분에서 GPU의 역할을 대신할 것이라는 의견은 우세하다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
2660	[농업+IT=스마트팜] 6. 나만의 스마트팜 본격 구축하기 (1)	IT동아	23.05.24	186	0
2659	콘텐츠 소비자, 몰입감 위해 지갑 연다 [3]	IT동아	23.05.24	3087	0
2658	종합소득세 신고, 국세청 모두채움으로 간편하게 [7]	IT동아	23.05.24	4904	6
2657	노스노비 “리울프 플랫폼과 친환경 종이 화병으로 화훼업계 ‘배민’ 노린다” [스타트업-ing]	IT동아	23.05.23	171	0
2656	구글, 인공지능으로 장애인 접근성 높인다	IT동아	23.05.23	227	0
2655	중국, 美 반도체 기업 '마이크론' 제재··· '기로에 선 한·미 반도체 기업들' [2]	IT동아	23.05.22	370	0
2654	서울과기대, 예비창업자 돕는 '2023년 메이커스페이스 제조창업교육' 실시	IT동아	23.05.22	208	0
2653	다른 노트북 충전 어댑터를 사용하고 싶을 땐 이렇게![이럴땐 이렇게!] [63]	IT동아	23.05.22	4507	3
2652	[IT신상공개] 비행 편의와 내후성 좋아진 산업용 드론 DJI M350 RTK [1]	IT동아	23.05.22	1065	1
2651	[주간투자동향] 콜게이트, 100억 원 규모 투자 유치	IT동아	23.05.22	241	0
2650	가상자산 첫 거래 기념하는 ‘비트코인 피자데이’ [14]	IT동아	23.05.22	2817	0
2649	아웃스쿨 “날 것 그대로의 영어 수업, ‘직구’하듯 골라 배운다” [6]	IT동아	23.05.19	5863	1
2648	킨스미디어, “물류센터 디지털화, 시설관리부터 시작해야” [스타트업-ing]	IT동아	23.05.19	213	0
2647	엔비디아 RTX 4060·4060 Ti 공개··· '2년 기다렸는데 실망스러워' [29]	IT동아	23.05.19	3355	3
2646	보안 업계 “챗GPT 탈 쓴 불량 앱 주의해야”	IT동아	23.05.19	1451	4
2645	[농업이 IT(잇)다] 에이트테크 “AI·로봇 기술로 폐기물 선별 효율 개선한다”	IT동아	23.05.19	170	0
2644	[IT강의실] 노이즈 캔슬링이 모든 소리를 차단하지 못하는 이유 [8]	IT동아	23.05.18	2995	12
2643	[리뷰] ‘스마트보드’로 진화한 전자칠판, 현대아이티 스마트보드 알파 3.0	IT동아	23.05.18	196	0
2642	日 스마트폰 출하량 감소…삼성 내려가고 구글 올라오고 [57]	IT동아	23.05.18	5238	18
2641	구글 ‘About this image’로 인공지능 사진 악용 줄인다 [2]	IT동아	23.05.17	1881	5
2640	[KOBA 2023] 미디어 산업을 위한 스토리지 솔루션 '방대한 데이터에 초점'	IT동아	23.05.17	169	0
2639	게이밍 능력에 얇은 두께까지, ‘HP 오멘 16 슬림’ 노트북 발표 [10]	IT동아	23.05.16	2451	2
2638	웹3.0 시대의 필수 조직, 'DAO'가 움직인다	IT동아	23.05.16	229	0
2637	황혼기 디카 시장, 전통 미디어 연이어 폐간 [1]	IT동아	23.05.16	285	0
2636	실검 부활하나? 네이버·카카오 “실검과 다르다” [27]	IT동아	23.05.16	3347	8
2635	[스타트업人] 산업용 메타버스를 향한 도전, 디지포레 개발팀 이야기	IT동아	23.05.16	141	0
2634	[뉴스줌인] 청축, 적축, 갈축 키보드는 들어봤는데 황축 키보드는 무엇?	IT동아	23.05.16	210	0
2633	스마트폰을 잃어버렸을 땐 이렇게[이럴땐 이렇게!] [2]	IT동아	23.05.15	5219	7
2632	[주간투자동향] 휴먼스케이프, 200억 원 규모 시리즈C 투자 유치	IT동아	23.05.15	151	0
2631	발뮤다 스마트폰 사업 철수 “본업에 집중” [16]	IT동아	23.05.15	2329	4
2630	에이수스 ‘ROG 앨라이’ 가격 공개, 진짜 ‘스팀덱 저격수’ 등장?	IT동아	23.05.12	226	0
2629	“초진 허용해야 생존 가능하다”… 불안에 떠는 비대면진료 업계 [4]	IT동아	23.05.12	351	0
2628	쇼핑몰 상품 이미지의 글자를 읽어준다, 인포플라의 U See NOW [스타트업리뷰]	IT동아	23.05.12	235	0
2627	바드 실패 만회하자 주가 4% 상승··· '구글 I/O 키노트' 톺아보니	IT동아	23.05.12	246	0
2626	투자 혹한기에도 액셀러레이터 투자 지속 증가···ICT·바이오에 주목	IT동아	23.05.12	166	0
2625	[농업이 IT(잇)다] 씨위드 “바다의 보물 해조류로 배양육 시대 연다” [29]	IT동아	23.05.12	1535	7
	GPU 넘어 NPU가 주목받는 이유 ··· '관건은 와트당 성능, 그리고 효율성' [11]	IT동아	23.05.12	2745	8
2623	‘인도>중국’이라는 새로운 상식, 아십니까?[K비즈니스 가이드] [30]	IT동아	23.05.11	2138	19
2622	벤처기업확인제도, 업종·업력 반영 ‘벤처기업 확인 문턱 낮춘다’	IT동아	23.05.11	155	0
2621	구글 I/O서 등장, 픽셀 폴드·픽셀 7a·픽셀 태블릿 성능은? [6]	IT동아	23.05.11	1471	0
2620	[IT신상공개] 고급 사진·동영상 기능에 소형 경량 ‘니콘 Z8’ [5]	IT동아	23.05.11	1251	2
2619	이병철 서울시 창업정책과장 “세계 스타트업 TOP 5 도시로”	IT동아	23.05.10	132	0
2618	3년 만에 새 단장 들어가는 네이버 PC 메인, '첫인상 깔끔하네?' [9]	IT동아	23.05.10	1768	4
2617	[동국대학교 캠퍼스타운] 내일의쓰임 “탄소중립 달성 지원해 저탄소 세상 만든다”	IT동아	23.05.10	109	0
2616	[리뷰] 2.5기가급 5포트 스위칭 허브, 넷기어 MS105 [3]	IT동아	23.05.09	187	0
2615	‘GPT 정보 유출’ 경고… 안전한 보안환경 필요해	IT동아	23.05.09	213	0
2614	에어컨 청소·관리해야 할 땐 이렇게[이럴땐 이렇게!] [2]	IT동아	23.05.08	2248	3
2613	[뉴스줌인] 워크데이와 손잡은 메타넷사스, ‘페이롤’이 뭐길래?	IT동아	23.05.08	110	0
2612	팩스 없이 팩스 보내야 할 땐 이렇게![이럴땐 이렇게!] [1]	IT동아	23.05.08	2074	2
2611	[주간투자동향] 알에프시스템즈, 40억 원 규모 투자 유치	IT동아	23.05.08	103	0
뉴스	임영웅, 트로트 가수 브랜드평판 2024년 11월 빅데이터 1위 차지	디시트렌드	14:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

GPU, 왜 인공지능 개발의 핵심으로 떠올랐나

범용성 좋은 GPU, 성능 좋으나 최적의 효율은 못내

NPU, 인공지능 개발에 초점 맞춘 전용 반도체

‘투자 대비 효율’ 중요해질수록 NPU 도입 대세 될 것

▶ '일을 위한 일'에 발목 잡힌 직장인들…"AI 우려보다 기대가 커"▶ 놀이에서 첨단기술 요람으로…게임 뒤에 숨은 ‘기술력’이 혁신 이끈다▶ "이름도, 가격표도 부적절"…지포스 RTX 4070에 냉담한 시장 반응

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ '일을 위한 일'에 발목 잡힌 직장인들…"AI 우려보다 기대가 커"▶ 놀이에서 첨단기술 요람으로…게임 뒤에 숨은 ‘기술력’이 혁신 이끈다 ▶ "이름도, 가격표도 부적절"…지포스 RTX 4070에 냉담한 시장 반응