전략 자산으로 떠오른 GPU, 해법은 NPU에서 찾아야

IT동아 · 2024.10.25 17:22:35

[IT동아 남시현 기자] 현지 시간으로 10월 24일, 백악관이 「인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하고, 인공지능의 안전성과 보안성, 신뢰성을 강화하기 위한 각서 」를 발표했다. 각서의 주제는 ▲ 인공지능의 활용 ▲ 국가 안보를 위한 정보 ▲ 안정성 및 보안 강화 ▲신뢰성이며, 미국 정부 전체에서 활용하는 AI 모델과 기반 기술에 대한 활용 원칙, 그리고 미국의 국가 안보에 위험을 초래하는 적대적 AI 사용에 대한 대응을 담고 있다.

백악관이 지난 10월 24일(현지 시각) ‘인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하며, 인공지능의 안전성 및 보안성, 신뢰성을 강화하기 위한 각서’를 발표했다 / 출처=백악관

성명은 ‘기술적 변화의 예측은 불가능하나, 최근 AI의 발전은 약화될 조짐이 거의 없다. 여기에는 지속적인 알고리즘 개선, 더 효율적으로 발전하는 컴퓨팅 하드웨어, 산업계의 연구개발 및 투자 증가, 학습 데이터 셋 확장이 포함된다. 현재 상황에서 AI는 더 강력하고 범용적으로 발전할 것이고, 앞으로는 과거에 필요했던 것 이상의 자원, 인프라, 역량, 작업이 필요해질 것’이라는 내용을 담고 있다. 업계에서는 미 정부가 공식적으로 인공지능을 국가 안보의 중대 사항으로 인정했다고 본다.

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

미국은 지금도 AI 생태계를 주도하는데, 완전히 미국 중심의 패권주의를 추구하겠다는 의지를 내비쳤다. 앞으로는 연방 정부 차원에서 AI 관련법 제도 정비와 기술적 표준화, 유관 기관의 협력 및 지원, 인적 자원 확보 및 보호 등을 진행하게 된다. 또한 최첨단 기술을 보호하고, 인프라의 해외 유출을 방지해야 한다며, 사실상 GPU 등 최신 AI 반도체를 관리하겠다는 내용도 담았다.

제이크 설리번 미 국가안보보좌관이 24일 워싱턴DC 국방대학에서 각서 내용을 소개했다 / 출처=포브스

지금까지 미국이 AI 산업을 주도한 배경은 구글, 메타, 마이크로소프트 등의 빅테크 기업들 덕분이었다. 하지만 이 기업들이 모두 AI 기술을 개발할 수 있었던 배경에는 엔비디아의 공이 절대적이다. 업계에서는 ‘구글, 메타가 광산을 개척하는 사업을 한다면, 엔비디아는 삽과 곡괭이를 팔고 있다’고 말한다. 삽과 곡괭이가 없다면 광산을 개척할 수도, 밭을 개간할 수도 없으니 이를 가능하게 돕는 엔비디아의 역할이 그만큼 크다는 말이 된다.

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

시장조사기관 테크인사이츠가 집계한 2023년 글로벌 데이터센터용 GPU 출하량은 385만 개다. 2022년 267만 개에서 약 44% 증가했다. 이중 엔비디아가 출하한 데이터센터용 GPU는 376만 개로 시장 수요의 전체에 가깝다. AMD는 1월 초 인스팅트 MI300 시리즈를 내놨고, 인텔은 이제 막 가우디 가속기를 내놓은 시점이지만 두 기업의 판매량을 합쳐도 9만 개에 불과하다. 시장 규모는 2029년까지 3550억 달러(약 490조 원)까지 성장할 전망인데, 이변이 없다면 엔비디아의 점유율은 계속 높게 유지될 것이다.

젠슨 황 엔비디아 최고경영자가 현지시간으로 10월 24일 뭄바이에서 열린 엔비디아 AI 서밋에서 발표 중이다 / 출처=엔비디아

엔비디아가 AI 반도체 점유율을 독점하는 이유는 이 시장 자체를 엔비디아가 만들었기 때문이다. 엔비디아는 2006년 게이밍 그래픽 생성 등에 쓰이던 부동소수점 연산 처리 성능을 범용 계산 용도로 쓰는 GPGPU(General-Purpose computing on Graphics Processing Units) 개념을 제안했고, 20여 년 간 GPGPU를 고연산 작업에 활용할 수 있도록 쿠다 플랫폼 및 API 생태계를 만들어왔다.

이후 시간이 지나 인공지능과 컴퓨터 기술이 발전했고, AI 모델을 대중적으로 쓸 수 있게 되며 엔비디아의 영향력은 더욱 커졌다. 엔비디아는 사전 훈련된 딥러닝 프레임워크가 엔비디아 GPU에서 구동될 수 있도록 돕는 텐서RT 소프트웨어 개발 도구, 쿠다 기반으로 딥러닝 네트워크를 구동하는 cuDNN 등의 생태계 등을 구성해 시장에 제공했고, 시장에서는 엔비디아 GPU로 AI를 개발하는 것이 표준으로 자리 잡았다.

GPU, AI 개발에서 어떤 역할 하나?

현재 AI 개발 환경에서 GPU가 쓰이지 않는 분야는 거의 없다. 인공지능 모델은 대규모 데이터셋을 가공해 특정 기능을 하도록 만든 것이다. 이 과정을 ‘학습(Training)’이라 하며, 연산 처리에 GPU의 부동소수점 처리 성능이 동원된다. 이미지를 인식하거나 자연어를 처리하고, 목소리 등을 분석하는 AI 모델이 모두 GPU 하드웨어로 만들어진다. 연산 처리가 가능하다면 어떤 하드웨어든 가능하지만, 지금으로는 엔비디아 GPU가 가장 효과적이다.

엔비디아 NVIDIA GB200 NVL72 기반 서버, 36개의 엔비디아 그레이스 CPU와 72개의 블랙웰 GPU가 NV링크로 연결된다 / 출처=엔비디아

게다가 엔비디아 GPU는 NV링크라는 GPU 연결 기술을 토대로 수십에서 수만 대의 GPU를 가속 컴퓨팅으로 연결할 수 있다. 이를 통해 기상, 유통, 생물학, 화학, 천문학 등 대규모 데이터를 분석하고 시각화하는 작업에도 활용한다. 3D 모델링이나 물리 시뮬레이션 등을 활용해 영상 제작, 게임, 건축 등의 분야에서도 쓰인다.

한편 엔비디아 GPU의 품귀 현상으로 인해 갈수록 제품의 단가는 올라가고, 수급은 어려워지고 있다. 특히나 간단한 AI 모델 구축에도 GPU를 활용해야 하는데, 제품 단가나 높은 전력 소비량이 발목을 잡고 있다. 이 때문에 엔비디아 GPU를 대체하기 위해 AMD 인스팅트 MI 300 시리즈나 인텔 가우디 3 AI 가속기 같은 GPU나 퓨리오사AI, 세레브라스, 시마.ai 등의 NPU가 대체제로 떠오르는 것이다.

NPU, GPU로 진행하는 AI 추론의 대체제

이 내용까지가 2024년 10월까지의 일이고, 앞으로는 미국 정부가 나서서 AI 하드웨어를 관리하기 시작한다. AI 가속기 수급에 어려움을 겪는 국가는 노선을 전면 수정해야 할 수 있고, AI 동맹국가 역시 자생력을 확보해야 하는 상황이 됐다. 곡괭이를 안 팔면 광산도 개척할 수 없다.

퓨리오사AI의 2세대 NPU 레니게이드(RNGD)의 시스템 온 칩(SoC) / 출처=퓨리오사AI

앞으로도 AI 훈련이나 대규모 데이터 처리에 GPU 이외의 대안은 마땅치 않지만, AI 전용 반도체인 NPU가 성능을 높이면서 대안으로 산업적 대체제로 쓰이기 시작했다. GPU의 경우 부동 소수점 연산에 최적화돼 있고, 텍스처 및 그래픽 렌더링에 강하다. 그래서 AI 가속기로 활용하면 전력 효율이 크게 떨어진다. 반면 NPU는 신경망 연산에 최적화된 설계고, 정수 연산이나 저정밀 부동 소수점 연산 처리에 특화됐다. AI 가속기로의 피크 성능(최대치)은 다소 떨어지지만, 전력 효율은 훨씬 뛰어나다.

메모리 측면에서도 GPU는 대량의 데이터를 다루기 위해 캐시 구조가 복잡하고, 빠른 대역폭이 더 중요하므로 고성능 메모리를 높은 용량으로 써야 한다. 반면 NPU는 데이터 접근 패턴을 예측할 수 있고, 필요한 데이터만 가져올 수 있어서 상대적으로 용량이 적어도 효율이 좋다.

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

NPU가 GPU의 대체제로 떠오르면서 국산 NPU 기업들의 행보도 중요해졌다. 퓨리오사AI가 지난 21년 공개한 1세대 칩 워보이(WARBOY)는 64TOPS(초당 64조 회 연산)의 성능을 제공했고, 비전인식이나 음성 분석, 엣지 컴퓨팅 등 저성능 GPU의 추론 작업을 일부 대체하는 용도로 사용됐다.

퓨리오사AI RNGD와 엔비디아 H100, L40S GPU간의 주요 성능 비교 / 출처=퓨리오사AI

올해 출시된 2세대 반도체 ‘레니게이드(RNGD) NPU부터는 수준이 한층 올랐다. RNGD는 총 48GB의 HBM3 메모리와 400억 개의 트랜지스터가 내장된 5nm 시스템 온 칩(SoC)로 구성됐다. SoC는 메모리 내 데이터를 재사용하는 텐서 축약 프로세서(TCP) 기술이 적용돼 전력 효율을 최적화했고, 작업 속도도 더 끌어올렸다. 열 설계 전력도 150W 수준으로 낮아 데이터 서버의 냉각 소비전력을 줄이는 데 일조한다.

사우디아라비아 리야드에서 열린 글로벌 AI 서밋(GAIN)에서 아마드 알코웨이터 아람코 기술혁신 담당 수석 부사장이 연설 중이다 / 출처=아람코

AI 업계에서는 발 빠르게 도입하는 추세다. 퓨리오사AI는 지난 21일, RNGD 소프트웨어 스택을 활용해 메타 Llama 3.1 70B 등 중간 규모의 LLM 모델 구동을 시연했고, 인공지능 산업 클러스터 기관(AICA)와 국가정보통신산업진흥원(NIPA)의 데이터센터에도 제품을 설치했다. 또한 사우디 아람코와 양해각서를 체결하고 슈퍼컴퓨팅 및 AI 분야의 협업을 모색한다. GPU의 높은 단가와 낮은 전력 소모 환경에 대한 한계를 NPU에서 찾기 시작한 것이다.

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

최근 퓨리오사AI는 2세대 RNGD 기반 서버를 고객사에 제공하기 시작했다 / 출처=퓨리오사AI

백악관의 발표에는 ‘AI 개발의 현재 추세는 계산 리소스에 크게 의존한다. AI에서 선두를 유지하려면 미국은 세계에서 가장 정교한 AI 반도체를 계속 개발하고, 가장 진보된 AI 전용 계산 인프라를 구축해야 한다’라는 내용이 있다. 따라서 미국은 앞으로 고성능 AI 반도체 개발을 우선순위로 둘 것이고, 후발 주자인 우리나라 기업과 정부도 미국의 반도체 우선 주의를 꾸준히 염두에 두고 시장을 형성해야 한다.

특히나 2022년 발효된 미국 반도체 및 과학법을 통해, 우리는 미국이 자국의 이익을 위해 주요 동맹국도 압박한다는 점을 확인했다. 앞으로 엔비디아를 비롯한 미국산 AI 반도체의 활용 가치가 커질수록, 수급이 어렵거나 제품 등급에 차등을 두는 일 등이 벌어질 가능성이 크다. 이런 경우에 대비해서라도 퓨리오사AI를 비롯한 NPU 기업의 성장 가능성을 지원하고, 더 나아가 NPU 산업이 AI 시장의 새로운 가능성으로 자리 잡도록 생태계가 구축되어야 할 것이다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
4456	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 29	IT동아	10.30	240	0
4455	다쏘시스템 “가상세계와 현실을 연결하는 도구 ‘3D익스피리언스 플랫폼’”	IT동아	10.30	300	0
4454	[KIDP 울산] 서브루나바이크 “접이식 자전거, 쉽고 즐겁고 가볍게” [1]	IT동아	10.30	2129	0
4453	[SBA x IT동아] 피부와 자연 지키는 선크림 브랜드 ‘부쉬맨’	IT동아	10.30	196	0
4452	[기술영업人] AI 교육 넘어 클라우드로··· '엘리스그룹'의 영업과 접근법	IT동아	10.30	4697	1
4451	성북구 1인 창조기업 지원센터 스타트업을 만나다 [1]	IT동아	10.30	234	0
4450	[AI와 미래] AI 창작 콘텐츠, 보호받을 수 있을까?	IT동아	10.30	1650	0
4449	[신차공개] BMW ‘뉴 X3’ 사전예약·JLR ‘뉴 디스커버리 스포츠 25년형’ 출시	IT동아	10.29	186	0
4448	라온시큐어 “토종 웹3 디지털 ID 세계로”	IT동아	10.29	186	0
4447	포킷츠 “오직 반려견 발바닥만 생각합니다” [동국대학교 캠퍼스타운] [11]	IT동아	10.29	5695	2
4446	[IT기획자의 탄생] 2. 정부 연구개발 분야에 기획자가 필요한 이유	IT동아	10.29	1858	0
4445	SBA, 응급실국물떡볶이와 선보인 ‘스바 세트 3종’···”참신하고 의미 있는 시도”	IT동아	10.29	195	0
4444	애플 ‘M4 프로세서’ 품은 2024년형 아이맥 공개 [6]	IT동아	10.29	2232	0
4443	[리뷰] 라데온 RX 7800 XT가 AFMF 2 기술을 만났을 때	IT동아	10.28	179	0
4442	[SBA x IT동아] 자기 이해를 바탕으로 커리어 설계 돕는 ‘매치워크’	IT동아	10.28	185	0
4441	인텔, AI PC를 위한 차세대 인텔 코어 울트라 제품군 국내 출시	IT동아	10.28	218	0
4440	[KIDP 울산] 모토웨이, "투박한 산업용 카메라, 디자인 개선으로 재탄생"	IT동아	10.28	172	0
4439	내 정보 지키는 시크릿 모드, PC·모바일서 쓰는 법 [이럴땐 이렇게!] [1]	IT동아	10.28	930	1
4438	[생성 AI 길라잡이] 갤럭시 AI 활용하기 – 브라우징 어시스트	IT동아	10.26	254	0
4437	[투자를IT다] 2024년 10월 4주차 IT기업 주요 소식과 주가 흐름	IT동아	10.26	240	0
4436	[리뷰] 손쉽게 ‘다큐’ 찍는 여행용 드론, DJI 에어 3S	IT동아	10.25	242	0
	전략 자산으로 떠오른 GPU, 해법은 NPU에서 찾아야	IT동아	10.25	228	0
4434	[SBA x IT동아] 스텝하우 “3일 걸리던 매뉴얼 제작, 30초만에 완성”	IT동아	10.25	225	0
4433	[창업도약+경북대] 글라우드 “저스트스캔 익스프레스로 디지털 덴티스트리 전환 가속화할 것”	IT동아	10.25	213	0
4432	월드코인, 새로운 솔루션·플랫폼 발표···키워드는 보안	IT동아	10.25	208	0
4431	[르포] AI 기반 업무혁신 향한 100일간의 대장정…‘동원GPT 경진대회’ 살펴보니	IT동아	10.24	261	0
4430	[SBA x IT동아] 이해라이프스타일 “인생 가구 찾아주는 구독 플랫폼, 살구”	IT동아	10.24	259	0
4429	사진 속 지우고 싶은 부분 있다면? 네이버 ‘AI 지우개’ 유용할까 [9]	IT동아	10.24	5674	0
4428	캠터 “캠핑용품으로 공유 경제를 실현합니다” [동국대학교 캠퍼스타운]	IT동아	10.24	2124	0
4427	[SBA x IT동아] 친숙했던 놀이시설에 특허 기술 더해 차별화…‘캘리클럽’	IT동아	10.23	215	0
4426	딥엑스 김녹원 대표, "버터 벤치마크로 1세대 칩 안정성 증명··· 내년엔 2세대 샘플링"	IT동아	10.23	281	0
4425	‘최대 규모’ 2024 로보월드, 국내 중소기업 실력에 ‘깜짝’	IT동아	10.23	193	0
4424	[스케일업] [1] 클리카, "원천 기술로 만든 모델 경량화 AI, 전 세계서 쓰일 것"	IT동아	10.23	271	0
4423	[리뷰] 각종 편의 기능과 고음질로 완성도 높였다 ‘JBL 투어 프로 3’ [8]	IT동아	10.23	5657	1
4422	세계 미래 밝힐 혁신 기술의 장, 대구 FIX 2024	IT동아	10.23	230	0
4421	[자동차와 法] 자동차관리법의 자동차 교환·환불 중재제도에 관하여	IT동아	10.22	232	0
4420	[SBA x IT동아] ‘디지털 트윈’ 기술로 산업 현장 DX 돕는 ‘스탠스’	IT동아	10.22	179	0
4419	대구시 “FIX 이노베이션 어워즈, 세계 혁신 기술 기업의 요람으로”	IT동아	10.22	181	0
4418	블루포인트 “지방 소멸, 스타트업과 함께 모색한다”	IT동아	10.22	175	0
4417	동원·KT·MS...세계 기업, 인공지능 역량 강화 경진대회 매진 [2]	IT동아	10.22	5162	1
4416	[스케일업] 보라웨어 [2] 황현철 인사이터스 대표 “채널 영업을 위한 특별한 포지션을 구축하라”	IT동아	10.22	162	0
4415	이팝소프트 “600만 AI 영어학습 앱 말해보카, 게임처럼 재미있게 공부한다”	IT동아	10.22	166	0
4414	페라리가 11년 만에 선보인 신형 슈퍼카 ‘F80’ 살펴보니 [7]	IT동아	10.21	2433	2
4413	[뉴스줌인] 갤럭시 Z 폴드 스페셜 에디션 출시, 폴드6와의 차이점은? [3]	IT동아	10.21	1173	0
4412	해외 미술관·박물관에서 우리 말로 설명이 필요할 때! [이럴땐 이렇게!]	IT동아	10.21	194	0
4411	[주간투자동향] 메이크스타, 300억 원 규모 시리즈D 투자 유치 外	IT동아	10.21	184	0
4410	[투자를IT다] 2024년 10월 3주차 IT기업 주요 소식과 주가 흐름	IT동아	10.18	265	0
4409	첨단기술 기반 화재안전관리 일반화, 보험업계도 움직인다	IT동아	10.18	266	0
4408	[생성 AI 길라잡이] 생성 AI 부작용과 주요국의 대응책	IT동아	10.18	248	0
4407	[스케일업] 비투랩 [2] 이마고웍스 “세계 치과 시장, 성과·파트너와 공략”	IT동아	10.18	239	0
뉴스	김장훈, 12월 AI 콘서트 '토닥토닥' 개최....신비한 영상체험 '커밍순'	디시트렌드	14:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

GPU, AI 개발에서 어떤 역할 하나?

NPU, GPU로 진행하는 AI 추론의 대체제

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

▶ 딥엑스 김녹원 대표, "버터 벤치마크로 1세대 칩 안정성 증명··· 내년엔 2세대 샘플링"▶ AMD의 목적은 '경쟁 아닌 자립'··· 인스팅트 MI325X의 출시 의의는?▶ RTX 40 시리즈 단종 초읽기, 앞으로의 그래픽 카드 선택지는?

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결