제가 갤에 잘안오면 줜나게 따고있는겁니다 예아

대출 갤러리

1/3

GPT 환각 방지 프롬프트, 정말 효과가 있을까? 일단 이 글을 적기 위해서 11,046원을 지출하였음.후원 좀 받을 수 없나..?ㅋㅋㅋ환각(Hallucination)이란?챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.간단히 말하면,LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.예를 들어,그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,유저들도 나름대로 대응책을 공유하고 있음.여러 프롬프트 사이트들 보면,여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.SimpleQASimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.주요 모델들 simpleQA 벤치마크베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.https://github.com/openai/simple-evals GitHub - openai/simple-evalsContribute to openai/simple-evals development by creating an account on GitHub.github.comOpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임 실험 세팅벤치마크: OpenAI SimpleQA테스트케이스 갯수: 500개방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)파라미터- Temperature: 0.7- max_tokens: 150- 그 외에는 default채점자 모델: GPT-4.1.mini파라미터- Temperature: 0.1- max_tokens: 10상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.Node.js로 벤치마크 프로그램을 만들어서 진행하였음.프롬프트별 테스트 결과OpenAI 기본 프롬프트(You are a helpful assistent)아주 기본적인 시스템 프롬프트만 포함하고 있음.정확도 39.6%공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.하나빛 환각 방지 프롬프트정확도 38.6%오히려 기본 프롬프트에 비해 정확도가 떨어짐.ㅇㅇ(221.150) 환각 방지 프롬프트정확도 38.3%마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.(DLC)모노로그 환각 방지 프롬프트딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.정확도 0%그만 알아보자.결과 비교프롬프트 종류정확도비고OpenAI 기본 프롬프트39.6%공식 벤치마크(38.2%)보다 약간 높음하나빛 프롬프트38.6%효과 미미ㅇㅇ(221.150) 프롬프트38.3%오히려 떨어짐모노로그 프롬프트(예능용)0%결론적으로,커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임. 작성자 : 구름냥이

제가 갤에 잘안오면 줜나게 따고있는겁니다 예아모바일에서 작성

근우(106.102) 2025.02.02 03:41:28

조회 126 추천 2 댓글 5

7cea837eb1806af73dea98bf06d604036afa7c792f10ca08d3

7cea837eb1806af73dea83f8479f2e2d9e7327ed2d2f5a4accd8512af2

오늘은 줜나 따기도 했고

따(먹)기도 했습니다

예아 치알스 일리네아

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	소속 연예인 논란에 잘 대응하지 못하는 것 같은 소속사는?	운영자	25/04/21	-	-
AD	보험상담은 디시공식설계사에게 받으세요!	운영자	24/08/28	-	-
12855429	엔씨선수 팬들 구장 전부 좆장애 자폐아련들 [2]	준구	20:18	18	0
12855428	수용소업뎃ㄷㄷㄷㄷㄷㄷㄷ [2]	토붕ss1	20:18	34	1
12855426	아카애미 대가리잡고 질질끌고다니던게 추억이네 ㅋㅋㅋㅋㅋ	대갤러(223.39)	20:18	7	0
12855423	버섯이새기는찐이네....외로워서애미도따묵는새기라디코보빨	아카[ね]	20:17	15	0
12855421	ㅈ같은보플달지말고 면상함몰된새끼야	나도버섯나고싶어유22	20:17	10	1
12855420	안녕하세요? [8]	척추요정	20:17	59	0
12855418	아카애미 납골당에서 빼와서 갖다뿌려버리고싶네 ㅋㅋㅋㅋㅋㅋ	대갤러(223.39)	20:17	8	0
12855416	오늘 분빤이 왔었다매	Happ1Ari	20:17	14	0
12855414	성기야 나한테진짜 성기는	토붕ss1	20:16	16	0
12855413	이정도욕쳐먹는거면 니가좆장애인거 인지좀해라 왐마.. [1/1]	나도버섯나고싶어유22	20:16	34	2
12855412	버섯인지뭔지말자보지빨다가1콩받고신낫네 애미뒤진년	아카[ね]	20:16	12	0
12855407	롤체하러간다 임마 고생해라	찜방입니다만	20:16	14	0
12855406	니딴새기한테 머하러 유동으로욕함 이거로하믄대는디 ㅋㅋㅋㅋㅋㅋ	찜방입니다만	20:16	15	0
12855405	장애인패는거지그냥 아카병신아 ㅋㅋ 니같은장애를 누가좋아함	대갤러(223.39)	20:16	14	1
12855404	죽고싶네요 정말 [1]	준구	20:16	14	0
12855400	응 나맞어 ㅅㅅㅅㅅㅅ	찜방입니다만	20:16	15	0
12855399	파티면 해피콜좀..	오비토7	20:15	7	0
12855398	223.39는 난 써본적이업다 먼아이핀지도모르고..	찜방입니다만	20:15	11	0
12855397	불금입니다.치킨한마리만 부탁드려요..하 [1]	마린러쉬@.	20:15	29	0
12855396	븅신새기가예전에도유동질하다쳐걸려놓고발뺌하네 ㅋㅋ	아카[ね]	20:15	9	0
12855394	마넌만주십쇼	은둔고졸	20:15	8	0
12855393	면상은 레알 갈아버리고싶게생겨서 하.. [2]	나도버섯나고싶어유22	20:15	21	0
12855392	내가왜찜방이여 ㅋㅋ 니같은고아새끼 싫어하는애가 한둘이냐	대갤러(223.39)	20:15	9	0
12855389	성기야 성기야.. 붕이여 [2]	토붕ss1	20:15	22	0
12855388	그래 카네야 나맞어 나라고 생각혀 걍	찜방입니다만	20:15	11	0
12855386	ㅋㅋㅋㅋㅋ아 개쳐웃기네 ㅋㅋㅋㅋㅋ	찜방입니다만	20:15	11	0
12855381	찜방이는입갤부터유동질하던습관못버렷네 애미뒤져가지고	아카[ね]	20:14	10	1
12855380	아카애미뒤진년 꼴보기싫으면 개추 ㅇㅇ 좆병신년	대갤러(223.39)	20:14	12	4
12855379	님들 아카네좆목 토붕밖에없음 토붕공격 ㄱㄱ뒷톡하는사이	대갤러(223.38)	20:14	13	2
12855377	왜이렇게 되는게없지	네입	20:14	9	0
12855376	민성기이좆같은자지년아어딨어 [3]	믐시횬(121.65)	20:14	19	0
12855375	버섯이가노숙드립이라길래 나산노숙글보고내욕하는줄ㅠ	핑핑	20:14	9	0
12855374	롤체하고왔는데 염병을하고있네 븅신새기 ㅋㅋㅋ	찜방입니다만	20:14	14	0
12855372	아카네야 너따위가 머라고 내가 유동질함..	찜방입니다만	20:14	15	3
12855371	버섯아생각을해봐라 느그애미입장에서너한티돈주고싶나	아카[ね]	20:14	15	1
12855370	아카 엄마 뒤진년아 니네애미따라가라좀 엄마창년아 [1]	대갤러(223.39)	20:14	25	3
12855369	마넌만주실분 ㅜㅜ	은둔고졸	20:13	9	0
12855368	성기야 민건이 저거사칭이다 민건이빵잉	토붕ss1	20:13	9	0
12855367	그러면서 뭔시발 하지도않는 노숙드립은 애미 쳐뒤진년이 ㅋㅋ	나도버섯나고싶어유22	20:13	17	3
12855366	뭐 팔거없냐 하ㅡㅡ	대갤러(203.243)	20:13	9	0
12855365	아카네 얼음~~	냥냥쿠	20:13	20	0
12855364	버섯 = 콧구멍 동급인듯개씹블랙홀론서리범	아카[ね]	20:13	10	3
12855363	민성기이쥐새끼어딨냐내가꼭너만은죽여줄게	믐시횬(121.65)	20:13	8	0
12855362	저녁을사주고먹으라고하죠?씨발?	토몽이	20:13	7	0
12855359	갤에지돈 일도안뿌리노 시발 ㅋㅋㅋ	나도버섯나고싶어유22	20:13	13	2
12855357	아카네애미 꿀매라그런가 사리분별못하노와	대갤러(223.39)	20:13	8	1
12855356	빨래방서야동보다주인이찾아왓다와공연음란어쩌고라네 [2]	믐시횬(121.65)	20:13	20	0
12855355	악어민성기형 저 부산행 기차잡을까요	토붕ss1	20:13	9	0
12855352	라스씨발 짱개련 아직도 살아있네 [4]	오비토7	20:13	20	0
12855351	아카네십년은 받아쳐먹은게얼만데 배식빼면 몇십년동안	나도버섯나고싶어유22	20:13	23	4
뉴스	한가인, 청순 던지고 힙걸 변신…“별걸 다 해봐”	디시트렌드	18:00