디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

퓨리오사AI, TCP(텐서 축약 프로세서)로 AI 반도체 시장 전환 노린다

IT동아갤로그로 이동합니다. 2024.06.28 09:53:20
조회 196 추천 0 댓글 0
[IT동아 남시현 기자] 지난 2006년, 엔비디아는 새로운 G80 시리즈 그래픽 카드를 공개하며 게이밍 그래픽 카드를 범용 연산 카드로 사용할 수 있는 GPGPU라는 기술을 소개했다. GPGPU(General-Purpose computing on Graphics Processing Units)는 GPU 상의 범용 계산이라는 뜻의 기술로, 기존에 CPU가 맡았던 응용 프로그램 계산을 GPU가 진행하도록 그래픽 파이프라인을 연결한다. 그리고 이를 지원하는 프로그래밍 언어 ‘쿠다(CUDA)’를 통해 개발자들이 다양한 수학 연산을 GPU로 할 수 있는 환경을 만들었다.


GPGPU 기술 덕분에 엔비디아 그래픽 카드의 활용도와 가치는 세상을 바꿔놓았다 / 출처=엔비디아



당시 젠슨 황 엔비디아 최고경영자는 미래에는 그래픽 카드가 게임이 아닌 연산 전용 장치로 쓰일 것이라는 비전을 제시했고, 엔비디아 GPU 상의 부동소수점 구현이 IEEE(전기전자공학자협회) 표준에 가깝도록 구성했다. 엔비디아 그래픽 카드로 처리할 수 있는 작업의 궤가 넓어지자 많은 프로그램들이 엔비디아 쿠다를 기반으로 구축되기 시작했고, 엔비디아의 GPGPU 기술은 관련 연산이 필요한 거의 모든 작업에 표준처럼 쓰이게 됐다.

10여 년이 지난 지금, GPU는 모든 고성능 컴퓨팅 작업에 쓰인다. 대규모로 데이터를 병렬 처리할 수 있어서 데이터 서버 같은 가속 컴퓨팅 체계로 만들고, 과학이나 금융, 인공지능, 시뮬레이션, 데이터 분석 등 모든 분야의 연산 처리에 사용한다. 엔비디아 그래픽 카드가 품귀인 이유도 대규모 가속 컴퓨팅을 구축하기 위한 기반 장치이기 때문이다.

범용 목적으로 쓰이는 GPU··· 전력 효율은 나빠



GPU의 가장 큰 장점은 뛰어난 범용성이다. 하지만 그만큼 소비전력과 단가가 높다 / 출처=엔비디아



GPGPU의 가장 큰 장점은 연산 처리가 필요한 어떤 작업에든 대응한다는 점이다. 지금도 AI와 기계학습은 물론 과학 연구와 시뮬레이션, 게임 및 그래픽, 클라우드 컴퓨팅 등 쓰이지 않는 분야가 없다. 하지만 여기에는 대가가 따른다. 엔비디아 GPU의 처리 성능이 우수한 건 맞지만, 전력 효율성보다는 최고 성능을 높이는 쪽에 초점을 맞추고 있다.

GPU는 원래 그래픽 연산 처리를 위해 설계된 반도체라서 인공지능 등을 처리할 때 데이터의 병목 현상과 처리 방식, 다양한 형태의 텐서 처리 시의 효율성 저하, 메모리 대역폭으로 인한 한계 등이 발생한다. 현재 개발된 AI 가속기 중 가장 성능이 높지만, 효율성보다는 더 많은 전력을 인가하고 더 발전된 설계와 큰 칩을 사용한 결과다. 이 때문에 마이크로소프트는 인공지능 개발에 필요한 전력을 조달하기 위해 소형모듈원전(SMR)을 개발할 정도다.


퓨리오사AI의 2세대 반도체, 레니게이드가 8월 출시된다. 레니게이드는 기존 NPU 방식에서 TCP(텐서 축약 프로세서)라는 새로운 개념을 도입했다 / 출처=퓨리오사AI



대안으로 떠오르는 것이 바로 신경망 처리 장치, NPU다. NPU는 두뇌의 동작 방식을 모방해 만든 반도체로, 심화학습(딥러닝) 같은 특정 인공지능 처리에 특화돼 있다. GPU처럼 다목적으로 쓰기는 어렵지만, 행렬곱이나 합성곱 등에 최적화한 아키텍처로 특정 AI 작업에 최적화된 전력 효율성을 발휘하며, 같은 전력을 인가했을 때 성능이 더 높다. 국내에서는 퓨리오사AI 워보이, 리벨리온 아톰이 대표적이며, 해외에서도 세레브라스나 텐스토렌트 등이 시장을 개척하고 있다.

퓨리오사AI, 텐서 축약 프로세서(TCP)로 새로운 가능성 제시


하지만 NPU의 가장 큰 한계는 제한된 활용 방식이다. 퓨리오사AI의 1세대 반도체인 워보이는 비전인식 추론에 최적화된 제품이고, 리벨리온 아톰도 비전인식, 자연어 처리 등 추론에 최적화돼있다. 텐스토렌트의 NPU도 비전인식, 자연어 처리, 로봇 제어 등에 초점을 맞추고 있고, 한계를 해결하고자 프로그래밍이 가능한 RISC-V도 함께 만들고 있다. 이런 상황 속에서 퓨리오사AI는 텐서 축약 프로세서(Tensor Contraction Processor, TCP) 방식을 채택해 시장에 새로운 가능성을 제시하고 나선다.


실제 공개된 논문 서두, ISCA 발표는 7월 2일(현지시각)이다 / 출처=퓨리오사AI



퓨리오사AI는 현지시간으로 6월 29일에서 7월 3일 개최되는 국제 컴퓨터 아키텍처 심포지엄(ISCA)에서 2세대 반도체 ‘레니게이드’의 핵심 처리 방식과 기술 이력을 담은 ‘TCP : AI용 텐서 축약 프로세서 워크로드’ 논문을 발표한다. ISCA는 미국 전기전자공학회(IEEE), 전산공학회(ACM)가 주최하는 세계 최고 권위의 컴퓨터 기술 심포지엄이다.

해당 논문은 김한준 퓨리오사AI CTO 외 47명이 참여했으며, 앞서 6월 10일 서울대학교 컴퓨터공학부에서 발표됐다. 소속기관은 퓨리오사AI와 포르투갈 고급 연구 개발 비영리 단체 INESC‑ID, 리스본 공과대학, 서울대학교가 기재됐다.


논문에 기재된 TCP 시스템 온 칩 (SoC)의 기본 구조 및 스펙 / 출처=퓨리오사AI



퓨리오사AI가 제안하는 TCP는 텐서 축약을 기본 단위로 처리하고, 데이터를 재사용해 인공지능 처리 성능을 끌어올린다. 텐서는 데이터를 여러 차원으로 나눠서 담고 있는 구성이고, 차원 일부를 줄여 더 작은 차원으로 만드는 게 텐서 축약이다. GPU는 텐서를 축약할 때 행렬 곱셈으로 매핑하는데, 이는 텐서 축약 자체의 병렬성과 데이터 지역성을 완전히 살리지 못하고, 또 가속기의 처리 단위 크기가 작으면 데이터 재사용 범위가 제한되고, 다양한 유형과 모양의 텐서를 처리할 수 없어 효율이 떨어진다.


텐서 축약은 여러 차원으로 이루어진 텐서에서 특정 축을 따라 데이터를 합산하여 차원을 줄이는 연산이다 / 출처=깃헙



TCP는 텐서 축약 자체를 처리한다. 덕분에 대규모 병렬 작업도 가능하고, 슬라이스라는 더 작은 단위로 분할해 텐서 처리의 유연성을 끌어올린다. 또한 소규모 작업과 고성능 컴퓨팅 등 다양한 규모의 텐서 처리를 위해 프로세싱 엘리먼트(PE)인 연산 소자를 다양한 규모로 8개를 배치했다. 또한 기존의 GPU는 데이터를 재사용하는데 한계가 있고, 반복 사용 시 병목을 일으키지만 TCP는 그 자체로 데이터를 재사용하고, 효율적으로 전달하는 구조로 설계됐다.

아울러 고급 컴파일러를 통해 활용 환경에 맞춰 텐서 연산을 최적화한다. 처리 모델은 큰 계산을 작은 계산으로 나누는 등으로 연산자를 변환하고, 이를 다시 모아 큰 연산 규모로 구성해 효율성을 끌어올린다. 그다음 규모에 맞춰 하드웨어 명령을 선택하고, 실행 가능한 파일로 변환한다.

처리 과정을 요리에 빗대어 설명하면, 레시피를 먼저 방법에 따라 큰 덩어리의 작업인 채소 썰기, 고기 굽기 등으로 나누고, 채소를 다듬는 과정은 한 번에 다루는 식이다. 또 여기에 적절한 칼과 냄비 등을 고르고, 구체적으로 어떻게 썰지 등을 조작한다. 마지막으로 이를 실행하는 식으로 AI 모델 처리를 효율화한다.

150W TDP 칩으로 TDP 700W 대비 최대 2.7배 와트당 성능



논문에 기재된 엔비디아 L40s, H100, TCP(레니게이드)의 성능 비교 / 출처=퓨리오사AI



논문에는 직접적으로 제품 성능과 엔비디아 L40s, H100 GPU와의 라마-2(Llama) 7B 데이터 시간 및 처리량 비교가 있다. 스펙상 TCP의 열설계전력(TDP)은 150W고, L40은 350W, H100은 700W에 달한다. TDP가 곧 소비전력을 의미하진 않지만, 그만큼 방열 처리를 갖추고 소비 전력도 높다는 말은 된다. 메모리는 TCP가 48GB HBM3, L40s가 48GB GDDR6, H100이 HBM3 80GB다.

이때 TCP의 성능은 FP8 기준 512 TFLOPS(초당 부동소수점 연산), L40s는 362, H100은 989다. AI 처리에 쓰이는 INT8 및 INT4 기준 TOPS(초당 1조 회 연산)는 TCP가 각각 512 및 1024, L40s가 733 및 733, H100은 1979로 표기돼있다. 이중 L40s의 INT4가 1466이 아닌 733, H100의 INT4가 3958이 아니라 미기재인 이유는 희소성(Sparsity) 최적화를 통해 성능을 최고 수준으로 다듬었을 때 제한적으로 낼 수 있는 수준이라서다.


Energy Efficiency는 레니게이드와 엔비디아 H100 및 L40S의 와트당 성능 비교, Throughput은 처리 성능 비교다 / 출처=퓨리오사AI



종합적으로 TCP는 동일한 라마-2 LLM(대형 언어 모델)을 처리했을 때 한번에 처리하는 데이터의 개수인 배치(Batch) 1개, 시퀀스 길이 128일 때의 지연시간은 TCP가 8ms, L40s가 14ms, H100이 7ms로 거의 비슷했고, 처리량은 16배치, 2000 입력/출력 길이일 때 TCP가 935 토큰, L40s가 531토큰을 처리했다. 32배치에서는 TCP가 1293토큰, H100이 2230토큰을 처리했다. 와트당 성능은 TCP가 16배치에서 1와트당 6.24TOPS, L40s가 1.52TOPS를 발휘했으며, 32배치에서 TCP가 8.62TOPS, H100이 3.19TOPS를 발휘했다.

종합적으로 TCP는 와트당 성능면에서 L40s 대비 4.1배, H100 대비 2.7배 높은 성능을 보인다. 엔비디아 DGX 플랫폼처럼 8개의 장치를 꽂는다면 최적화된 AI 처리에서는 GPU 대비 2~4배에 가까운 전력 효율성과 2배에 가까운 전력 소모대 성능을 제공한다. 물론 최고 성능은 엔비디아 최신 GPU를 많이 꽂는 기존 방식에 밀리지만, RE100 등 신재생에너지 기반의 데이터센터 혹은 추론 기반의 작업에 최적화된 경우라면 압도적인 효율성이다.

TCP, 다목적 NPU라는 새로운 지평 열어


기존의 NPU는 고정된 연산 유닛으로 지정된 작업을 수행하는데 최적이었지만, TCP는 8개의 프로세싱 엘리멘트(PE)와 아키텍처에서 데이터를 효율적으로 전달하기 위해 설계된 시스템인 페치 네트워크(Fetch Network) 구성을 통해 텐서를 효율적으로 처리한다. 덕분에 TCP는 GPU 만큼은 아니더라도 다른 NPU보다는 훨씬 더 다양한 작업에 동원할 수 있다.


퓨리오사AI의 2세대 반도체 레니게이드의 기판 / 출처=퓨리오사AI



이는 기존 NPU 시장의 판도가 바뀔 수 있다는 점을 시사한다. 시장에서 GPU를 고집하는 이유는 결국 범용성 때문이다. 최고 성능이 높다는 장점도 있지만, 전력 효율이 떨어지고 가격대가 높다. 대안으로 등장한 NPU는 일부 AI 모델들을 대상으로 한 추론 기능에만 국한되니 대체재가 아닌 일부 작업의 차선책 정도 입지였다.

TCP로 다양한 작업에 대응한다면 인공지능 작업에서는 GPU의 대체제로 쓰일 수 있다. 물론 기존 GPU 사용자가 TCP를 채택하기란 쉽지 않겠지만, 퓨리오사AI는 자체적으로 모델을 최적화해 배포하는 등으로 진입을 도울 예정이다. TCP는 오는 8월부터 2세대 NPU인 ‘레니게이드(RNGD)’라는 이름으로 시장에 첫선을 보인다.

RNGD는 금번 7월 MLPerf에 LLM 부문에 대해 우선 결과를 제출할 예정이고, 9월부터 글로벌 시장에 판매될 예정이다. 기존 NPU의 한계를 넘어 텐서 축약 처리 기반이라는 새로운 방향성을 제시한 RNGD가 AI 반도체 시장의 패러다임을 바꿀 수 있을지 주목된다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ ‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은?▶ ‘인공지능’ 처리하는 AI PC 시대 개막, PC 시장이 움직인다▶ 딥엑스, 엣지 AI용 NPU 'DX-M1'으로 중국·대만 시장에서 두각



추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는? 운영자 24/11/18 - -
4564 [생활 속 IT] 카카오톡 팀채팅, 입력코드로 한꺼번에 친구 추가한다 [1] IT동아갤로그로 이동합니다. 11.23 100 0
4563 [투자를IT다] 2024년 11월 3주차 IT기업 주요 소식과 주가 흐름 IT동아갤로그로 이동합니다. 11.23 6306 0
4562 [창업도약+경북대] 허드슨에이아이 “팀버(Timbr)로 크리에이터 글로벌 진출 가교 역할할 것” IT동아갤로그로 이동합니다. 11.22 86 0
4561 [ENSL 2024] 누구나 쉽게 버튜버 만들어주는 동영상 서비스 ‘에이플라’ [7] IT동아갤로그로 이동합니다. 11.22 5156 2
4560 [리뷰] AI PC로 거듭난 비즈니스 노트북, 에이수스 엑스퍼트북 P5(P5405) [2] IT동아갤로그로 이동합니다. 11.22 809 0
4559 [부산창경 BEF 2024] 바다플랫폼 “블록체인 세이피안, 식품 생산·유통 안전 지킨다” IT동아갤로그로 이동합니다. 11.22 102 0
4558 [부산창경 BEF 2024] 엘리코퍼레이션 “인도 여성 인권 신장하는 콘택트렌즈 전문 브랜드” IT동아갤로그로 이동합니다. 11.22 87 0
4557 [창업도약+경북대] 에이스에듀 “버추얼 아이돌로 전 세계에 K-콘텐츠의 매력 알릴 것” IT동아갤로그로 이동합니다. 11.22 82 0
4556 전문가가 제시하는 스타트업 ESG 경영 전략…’2024 서울 스타트업 ESG 포럼’ [1] IT동아갤로그로 이동합니다. 11.21 1770 0
4555 수원대학교 'WoW 스타트업 브랜치 오픈이노베이션' 개최 IT동아갤로그로 이동합니다. 11.21 115 0
4554 [스타트업리뷰] 로닉 “인공지능 맞춤형 음식 도우미, AI 로봇셰프 큐브” IT동아갤로그로 이동합니다. 11.21 4841 0
4553 [IT기획자의 탄생] 3. IT기획자에게 필요한 상상력과 글로벌 전략 IT동아갤로그로 이동합니다. 11.21 122 0
4552 [IT’s 가성비] 삼성 크리스탈 UHD TV, 2024년형/85인치 모델에 눈길? IT동아갤로그로 이동합니다. 11.21 1926 0
4551 [스케일업] 클리카 [3] 피터 노빅과의 대담으로 살펴본 'AI 스타트업'의 방향성 IT동아갤로그로 이동합니다. 11.21 120 0
4550 [생활 속 IT] LG 가전 활용도 넓히는 'LG ThinQ' 연결 및 사용법 IT동아갤로그로 이동합니다. 11.21 111 0
4549 [생활 속 IT] 소프트웨어 활용 습관 바꿔줄 윈도 11 ‘가상 데스크톱’ [1] IT동아갤로그로 이동합니다. 11.20 233 0
4548 [부산창경 BEF 2024] 기술로 문제 풀이와 오답 노트 작성 효율 높인 ‘프라이머스’ IT동아갤로그로 이동합니다. 11.20 129 0
4547 IBM-연세대, 슈퍼컴 능가하는 127 큐비트 양자컴퓨터 국내 첫 도입 [3] IT동아갤로그로 이동합니다. 11.20 4934 4
4546 [주간스타트업동향] 휴머닉스, 위플로 CES 2025 혁신상 수상 外 IT동아갤로그로 이동합니다. 11.20 200 0
4545 [부산창경 BEF 2024] 만만한녀석들 “모듈형 집기로 친환경 MICE 산업 선도한다” IT동아갤로그로 이동합니다. 11.20 121 0
4544 [부산창경 BEF 2024] 나누기월드 “외국인 유학생, 장애인 문제 해결에 기여” [4] IT동아갤로그로 이동합니다. 11.20 382 0
4543 선박 제조업의 디지털 전환 이끄는 ‘버추얼 트윈’ 기술 IT동아갤로그로 이동합니다. 11.19 147 0
4542 에릭슨엘지 “네트워크도 API로 제공…개발자 참여 독려해야” IT동아갤로그로 이동합니다. 11.19 144 0
4541 [IT애정남] 노트북 SSD의 OEM 파티션, 삭제해도 되나요? IT동아갤로그로 이동합니다. 11.19 142 0
4540 [부산창경 BEF 2024] 그린에너지(주) “산업 현장 악취·유해물질 플라즈마로 해결” IT동아갤로그로 이동합니다. 11.19 141 0
4539 [자동차와 法] 행락철 교통사고 책임과 법적 대처 방안 IT동아갤로그로 이동합니다. 11.19 732 0
4538 아이작 컨셉츠 김태영 대표, "반도체·열유체 공학의 산학협력 교두보 만들겠다" IT동아갤로그로 이동합니다. 11.19 137 0
4537 [시승기] 돋보이는 디자인과 안전 사양 ‘KGM 액티언’ [1] IT동아갤로그로 이동합니다. 11.18 466 0
4536 +불필요한 PC 앱, 지우려면 이렇게! [이럴땐 이렇게!] [1] IT동아갤로그로 이동합니다. 11.18 5209 5
4535 [스케일업] 반프 [3] 정예솔 전략총괄 “반프의 가치, 글로벌 시장에서도 매력적” IT동아갤로그로 이동합니다. 11.18 165 0
4534 [주간투자동향] 숨빗AI, 50억 원 규모 시드 투자 유치 外 IT동아갤로그로 이동합니다. 11.18 155 0
4533 [투자를IT다] 2024년 11월 2주차 IT기업 주요 소식과 주가 흐름 IT동아갤로그로 이동합니다. 11.16 251 0
4532 [스케일업] 보라웨어 [2] 전영복ㆍ이효주 “구성원 복지ㆍ기업 성장이 공존하는 곳” IT동아갤로그로 이동합니다. 11.15 244 0
4531 [생성 AI 길라잡이] 8종의 AI 모델 골라 쓰는 ‘SKT 에이닷’ 웹 버전 IT동아갤로그로 이동합니다. 11.15 235 0
4530 디지포레, “제조산업의 디지털 전환, ‘팩토리얼 프로’로 앞당길 것" IT동아갤로그로 이동합니다. 11.15 227 0
4529 [리뷰] 모니터링 헤드폰의 새로운 기준점 제시, 소니 MDR-M1 [5] IT동아갤로그로 이동합니다. 11.15 6326 1
4528 [2024 고려대] 스페이스점프 “자영업·소상공인 기자재의 모든 것, 소상공간” IT동아갤로그로 이동합니다. 11.15 214 0
4527 퀄컴, 온디바이스 AI·차량 전동화에 초점 맞춘 최신 솔루션 선보여 IT동아갤로그로 이동합니다. 11.15 233 0
4526 [창업도약+경북대] 비빔블 “비커스ㆍ버튜디오로 상상 이상의 가상경험 제공할 것” IT동아갤로그로 이동합니다. 11.15 193 0
4525 [AI와 미래] 기존 저작물은 AI 학습에 어디까지 활용할 수 있을까? IT동아갤로그로 이동합니다. 11.15 1414 0
4524 [월간자동차] 24년 10월, 신차 등록 두 달 연속 증가…싼타페 판매 1위 IT동아갤로그로 이동합니다. 11.15 189 0
4523 [리뷰] 10G 업링크 지원 네트워크 스위치, 넷기어 GS108MX IT동아갤로그로 이동합니다. 11.14 213 0
4522 데이터 주권 강조하는 소버린 AI, 진정한 의미는? [1] IT동아갤로그로 이동합니다. 11.14 790 0
4521 [스케일업] 스쿨버스 [3] 통학버스 전문 플랫폼 개발자 인터뷰 IT동아갤로그로 이동합니다. 11.14 215 0
4520 [UDC 2024] 다양한 산업을 변화시키는 블록체인의 힘 IT동아갤로그로 이동합니다. 11.14 208 0
4519 로봇과 문화예술의 만남, 브이디컴퍼니x장 줄리앙의 종이세상 IT동아갤로그로 이동합니다. 11.14 366 0
4518 [IT애정남] 갤럭시워치를 아이폰과 연결해서 쓸 수 있나요? IT동아갤로그로 이동합니다. 11.13 4700 0
4517 [신차공개] BMW ‘뉴 4시리즈 그란 쿠페’·로터스 ‘에메야’ 공식 출시 [3] IT동아갤로그로 이동합니다. 11.13 4847 1
4516 [스타트업-ing] 오아시스 스튜디오 “OVP·오닉스·디보틀로 콘텐츠 에코시스템 구축” IT동아갤로그로 이동합니다. 11.13 222 0
4515 [생활 속 IT] 취업 서류, 정부24에서 내려받는 법 IT동아갤로그로 이동합니다. 11.12 253 0
뉴스 [왓IS] “관계자 손가락 열정+정성” 하이브 저격했나…(여자)아이들 소연, 작심 비판 디시트렌드 14:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2