요즘 인공지능은 MoE 모델이라는거구나

ㅆㅇㅆ(124.216) 2024.09.30 13:29:47

조회 64 추천 0 댓글 0

Mixture of Experts

이고.

27b6c368f5dc3f8650bbd58b36837765fb7325

Expert 계층을 만든 후에,

일반적으로 8의 expert에게 라우팅되고, 출력 가중치에 따라서 한다는데 생각보다 신기한 개념이네

그래서 세분화된 expert

공유 expert를 구분하고

여기서 expert는 FFN이고, 라우팅 레이어는 expert에게 가중치 제공, 가중치 제공 후, expert 레이어의 출력과 합산해서 MoE의 아웃풋을 얻는다는데

AI 하는 애들은 천재인가봄

나는 봐도 이해가 잘 안가는데 말이지

고정닉 0

원본 첨부파일 1

jks.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
2775073	[단독] 김건희, 명리학자에 ‘저 감옥 가요?’	발명도둑잡기	11.17	23	0
2775072	코딩유튜버들 단체로 커서한테 지원 받았냐?	프갤러(211.234)	11.17	50	0
2775071	[국제 뉴스] 중국 외교부, 미국 NED의 '위험한 공작'	발명도둑잡기	11.17	14	0
2775066	백색 테러	발명도둑잡기	11.17	13	0
2775063	나씻주준✨	♥냥덩이가좋아하는눈치게임♥	11.17	21	0
2775062	모두가 탄핵을 원한다. 임이자도 사퇴를 원한다. 의원실앞에서가서똥 [3]	도리사(119.195)	11.17	21	0
2775061	우리나라 대통령은 왜 무사하지못한데스? [4]	멍청한유라ㅋ	11.17	35	0
2775060	이 시간 할걸찾아 헤매이는 우리 [2]	멍청한유라ㅋ	11.17	28	0
2775059	피곤한데 버스에서 자고 있을 때 옆자리 미녀가 독침이라도 쏘면 [1]	발명도둑잡기	11.17	25	0
2775053	탄핵의 계절이 왔다	발명도둑잡기	11.17	20	0
2775052	일본애니, 일본음악 추천사이트	프로외노자	11.17	26	0
2775048	깃허브 하는 프붕이만 와보셈.. [3]	모사개	11.17	68	0
2775043	나님 음부 노출 최초공개	♥냥덩이가좋아하는눈치게임♥	11.17	62	0
2775040	고속배스 옆자리에 미녀가 탔는데 말 걸어볼까요? [1]	발명도둑잡기	11.17	37	0
2775039	아래 젠더 갈등 글 내용 뭐였죠	발명도둑잡기	11.17	16	0
2775038	프린이 혼자 프로젝트 하는 중인데 css를 잘 모르니까 너무 힘들다 [5]	ㅇㅇ	11.17	63	0
2775035	여기 갤에 이렇게 생긴사람 있냐? [1]	프갤러(5.180)	11.17	75	1
2775033	오늘은 이만 퇴근해야켓군-	프갤러(121.172)	11.17	41	0
2775031	여친이 최근 해준 요리 사진들 [2]	프로외노자	11.17	82	0
2775030	보통 프론트엔드 프리 어디서 구해?	프갤러(119.194)	11.17	39	0
2775026	대전역에 성심당 있어서 빵 샀다	발명도둑잡기	11.17	32	0
2775025	Rx Recording System에서 카테고리로- 소설을 넣으려고 하는	프갤러(121.172)	11.17	44	1
2775021	ITX 없어서 무궁화호 타고 옥천 지나는 중 [2]	발명도둑잡기	11.17	58	0
2775011	[CSS + JAVASCRIPT] Rx PocketMon Card Eff [3]	프갤러(121.172)	11.17	56	1
2775010	개쩌는 음악 찾음	쇼요롤	11.17	23	0
2775008	요새 동네 스팸가격이 700엔대로 떨어졌습니다 [10]	프로외노자	11.17	101	0
2775007	너네는 건강 잘 챙겨라 [4]	주아	11.17	45	0
2775004	js의 유일한 단점은 GC 언어라는거야 [1]	재현	11.17	73	0
2775003	저는 일뽕을 보먼 거리를 두는 편입니다	프로외노자	11.17	32	0
2775000	미래의 어느 역사학자들의 대화라는데 (에필로그)	아갤러(121.129)	11.17	39	0
2774999	냉정하게 메이플 재획보다 현실 노가다가 훨씬 나음 ㅅㅂㅋㅋ	ㅇㅇ(123.213)	11.17	22	0
2774997	미래의 어느 역사학자들의 대화라는데 (요약편)	아갤러(121.129)	11.17	43	0
2774994	뇌 mri찍어야될듯 [4]	주아	11.17	60	0
2774993	미래의 어느 역사학자들의 대화라는데	아갤러(121.129)	11.17	35	0
2774985	동아시아 이곳저곳 여행을 다녀본 결과 [1]	아스카영원히사랑해	11.17	47	0
2774983	여기서 은닉층 설계가능한사람? [9]	ㅇㅇ(223.38)	11.17	68	0
2774980	여기 링크드 리스트 c로 구현 할 수 있는 사람??? [6]	40대프린이(118.235)	11.17	100	0
2774979	씨밯 방통대 기말과제 좆 같네	아스카영원히사랑해	11.17	55	0
2774977	너네가 만약 압도적인 기술력이있는데 [1]	ㅇㅇ(223.38)	11.17	49	0
2774975	파이썬이 AI 에 강자라고???? 에라이 [1]	프갤러(59.16)	11.17	69	0
2774974	오늘의 영광은 부모님께 바치겠습니다 ㅇㅅㅇ [1]	ㅇㅇ(123.213)	11.17	42	0
2774973	의미있는 일요일 저녁을 보내려면 뭘해야할까 [6]	아스카영원히사랑해	11.17	42	0
2774970	여기서 솔리드웍스 api로 도면 자동화할수있는사람? [4]	ㅇㅇ(223.38)	11.17	50	0
2774965	사피 본 사람 있냐 [3]	ㅇㅇ	11.17	54	0
2774961	물경력이니 하는 얘들 말 들을 필요 없는게-	프갤러(121.172)	11.17	62	2
2774959	자바 재네릭이 뭐임 ? [1]	프갤러(211.33)	11.17	60	0
2774955	증권사 금융권 개발자 하려면 [1]	프갤러(222.109)	11.17	70	0
2774951	빡대가리 사가패턴 질문점...	ㅇㅇ(211.234)	11.17	31	0
2774950	개발자중 90%회사는 물경력 되는 회사임 [1]	프갤러(211.33)	11.17	84	0
2774947	부하테스트 같은거 포폴에서 쓸모가 있나	ㅇㅇ(211.234)	11.17	31	0