딥시크 671b 모델을 gpu없이 로컬로 돌려보는 시연

컴갤러(175.197) 2025.02.05 16:39:04

조회 50 추천 0 댓글 0

2aa8c36be3c031a869f1dca511f11a39c03e93b2102392f4be

$2K EPYC LOCAL AI SERVER

512GB DDR4 RAM https://geni.us/512GB_DDR4_RAM

MZ32-AR0 motherboard https://geni.us/mz32-ar0_motherboard

64 core EPYC CPU

7702 https://geni.us/EPYC_7702

7C13 https://geni.us/7C13_EPYC_CPU

7V13 https://geni.us/EPYC_7V13_CPU

Rack Frame https://geni.us/GPU_Rack_Frame

CPU cooler h170i elite capellix xt https://geni.us/Corsair_Elite_Cappelix

1TB NVMe - Samsung 980 Pro https://geni.us/Samsung_980_PRO

850W PSU https://geni.us/850W_PSU

671b 모델이 320gb가 넘기 떄문에 그냥 VRAM을 포기하고
512GB 시스템 메모리와 CPU만으로 구동하는 시연임

PC 총 가격은 300만원이라고 함

초당 3.42토큰을 달성했다고 함. 딥시크 서버에 비하면 대충 10배 정도는 느린듯?

위 설정을 정상적인 속도로 구동하려면
A100 4개 이상 4천
H200 2개 8천
Project digits 3개 = 1500이상 예상

이 정도선에서 구동가능함.
RTX 5090이하에선 사실상 구동불가임 이론상 5090 10대이상 있어야함 6천이상

아무튼 현실적으로 아예 못돌리거나
아니면 너무 비싸거나 이것밖에 선택지가 없었기 때문에

새로 출시되는것이 FP4를 강화한 Project Digits임

https://youtu.be/Tq_cmN4j2yY

고정닉 0

원본 첨부파일 1

gus-fring.jpg

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	예능 출연 한방으로 인생 바뀐 스타는?	운영자	25/02/03	-	-
5339552	인장연들의 마지막 희망 146k의 현실	ㅇㅇ(211.235)	02.05	28	0
5339550	한국에 파는 삼성 갤럭시a시리즈 중국이 설계했다 ㅋㅋ	ㅇㅇ(118.235)	02.05	36	0
5339549	편의점 200 300 반박하는 수준 봐라	ㅇㅇ(121.182)	02.05	41	0
5339547	저 기가바이트 하급가지고 호들갑을떠네 [6]	ㅇㅇ(106.102)	02.05	86	0
5339546	사기몰에서 카드결제했다가 환불하고 한도묶였노 [2]	ㅇㅇ(112.171)	02.05	74	0
5339545	애들아! 형은? 대출 10억이상도 되드라! [3]	ㅇㅇ(223.39)	02.05	72	1
5339544	사기몰 조심해라 ㅇㅇ	ㅇㅇ(112.171)	02.05	39	0
5339543	요즘 군대만 나와도 5090 본체 뚝딱임 [7]	컴갤러(175.112)	02.05	69	1
5339542	지금 4090 쥐고있는 애들은 [2]	ㅇㅇ(59.30)	02.05	80	1
5339541	5090 얼마에 되팔면 되냐 이새끼들아 [7]	컴갤러(222.116)	02.05	89	0
5339540	이건 ㅅㅂ 어떤증상임? [8]	ㅇㅇ	02.05	64	0
5339539	5090 벽돌결함, 5080 안정성 불안정 기사 뜸 2월4일	ㅇㅇ	02.05	68	0
5339538	이거 93만원 폐기물임???? [2]	ㅇㅇ(211.235)	02.05	72	0
5339537	5090을 중국사람들이 800만원에도 사간대잖냐 중국완전부자나라아냐 [2]	컴갤러(211.216)	02.05	55	0
5339535	5080 물량 정보 풀림 [8]	컴갤러(121.137)	02.05	180	3
5339534	3070ti라도 하나사서 잠깐쓸까	ㅇㅇ(175.123)	02.05	21	0
5339533	듀얼GPU+lsfg 인풋렉 지연 관련정리	ㅇㅇ	02.05	56	1
5339532	4k 몬헌 5080 vs 4090 dlss 품질 벤치마크 30프램차이?	ㅇㅇ	02.05	66	0
5339531	5080은 150에 아가리 벌리고있어라... [1]	ㅇㅇ	02.05	82	0
5339530	인공지능 돌릴건데, 둘중에 머사까 ? [5]	머스크멜론(218.234)	02.05	72	0
5339529	ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1]	컴갤러(119.197)	02.05	47	0
5339528	컴잘알 형님들 롤 프레임 해결법좀.. [7]	ㅇㅇ	02.05	53	0
5339526	5090 아스트랄 최종 타스 & 타스 익스트림 점수 [7]	오디오파일	02.05	120	0
5339525	할부 왜 하지말라하냐면 [14]	풀발기	02.05	87	2
5339524	5090을 왜 사냐고 [2]	ㅇㅇ(59.30)	02.05	110	2
5339523	늦네에...	ㅇㅇ	02.05	31	0
5339522	형들 x570 사려는데	컴갤러(211.209)	02.05	23	0
5339521	도와주세요.. [1]	가붕신(222.238)	02.05	42	0
5339520	몬헌 드라이버 차이 존나 크네	컴갤러(39.125)	02.05	48	0
5339519	양자컴퓨터 상용화되면 5090산새끼들 개병신되겠네 ㅋㅋㅋㅋ [7]	ㅇㅇ(211.36)	02.05	89	0
5339518	엔비디아 행보가 인텔이랑 비슷하다보면되냐 [2]	컴갤러(211.216)	02.05	58	0
5339517	할부든 리볼빙이든 5090은 걍 사는순간 이득이다 [3]	ㅇㅇ(39.7)	02.05	58	0
5339516	9970xt 사도좋지만 참고해라 ㅋ	ㅇㅇ(106.102)	02.05	36	0
5339515	형님들 백업용 외장하드 추천 좀 해주세요 ㅠㅠ	컴갤러(116.121)	02.05	17	0
5339514	5080 사지 말라했제 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [10]	GNR	02.05	173	0
5339513	야! 내가 정리해줄게! 현찰이 옳은거다ㆍ 할부는 돈 없는데 무리해서 [2]	ㅇㅇ(223.39)	02.05	53	3
5339512	5070ti 뜨면 5080 재평가된다 [3]	ㅇㅇ(182.218)	02.05	136	0
5339511	편의점 알바로 200 못버는데 뭔 헛소리임 [14]	ㅇㅇ(119.206)	02.05	93	2
5339510	할부충이 글카만 할부하고 다른 건 안 하니? 넌센스ㅋㅋㅋㅋ [2]	컴갤러(211.104)	02.05	33	0
5339509	9800X3D 역대가 얼마였음? [12]	ㅇㅇ(1.245)	02.05	130	0
5339508	에어로 마스터 이 씨발련 언제 재고 뜸	컴갤러(123.213)	02.05	25	0
5339507	팩트) 노력하기 싫은 거지가 맞다 [2]	ㅇㅇ(211.235)	02.05	30	0
5339506	조립했는데 모니터 불이 왜 안들어오는지 모르겠어요 [16]	컴갤러(118.235)	02.05	54	0
5339505	9070xt 사면 되는거냐 [3]	컴갤러(211.216)	02.05	79	0
5339504	윈도우 절전모드 시 모니터 최고주사율 바뀜 [1]	컴갤러(210.221)	02.05	25	0
5339503	근데 니들 거지라는 말에 왜 긁히냐 [10]	ㅇㅇ(121.182)	02.05	71	1
5339502	조만간 올라올 글 예언	ㅇㅇ(59.30)	02.05	36	0
5339501	5070ti 나올쯤 가격 팩트 [3]	ㅇㅇ(106.102)	02.05	146	0
5339500	알리 사기당했다 [4]	ㅇㅇ(211.210)	02.05	165	0
5339499	결국 마음속으론 5천번대 사야지 하는놈 존내 많을듯 [2]	ㅇㅇ	02.05	43	0
뉴스	조진세, '숏박스' 성공과 열애 소식으로 주목받는 이유는?	디시트렌드	02.05