갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
시설관리 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
추가한 갤러리가 없습니다.
0/0
타 갤러리 시설관리 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- 결혼이 너무 하고 싶어서 바람난 남친도 용서해준 블라녀 ㄷㄷ 갓럭키
- 국내 최초 1,800억 원 상당 코카인 압수, 사상 최대 마약 카르텔 ㅇㅇ
- SKT 털린거 심각하다고 함 ㅇㅇㅇ
- 다시 보는 윤통 국회 개원 불참 이유 ㅇㅇ
- 오싹오싹 미국을 '좌지우지'해서 트럼프조차 못 건드는 존재 ㅇㅇ
- 다시보는 마블 ㅂㅅ 국가 ㄹㅇ..... 최철귀
- [0425] 오늘이 무슨 날인지 알고 갤질하냐??? slmmom
- [소개] 지옥행 직전인 노인네들의 레트로 지옥 크롤링 NeonNoroshi
- 알아도 쓸모없는 초콜릿 상식 (2) 우주쓰레기
- 내가 노력하는 걸 누군가는 보고 있으니 열심히 살아야된다 ㅇㅇ
- 고등어·오징어 대신 뭐 먹나…가격 급등에 밥상 물가 '비상' ㅇㅇ
- 블라) 이혼 고민 관심종자
- 나거한)아이 안낳으면 감옥가야 발언 경찰조사....jpg ㅇㅇ
- 요즘 애들 피지컬을 본 롤 프로게이머 ㅇㅇ
- 훌쩍훌쩍 우러전같은 현대전 보고 느끼는점-1 최철귀
GPT 환각 방지 프롬프트, 정말 효과가 있을까?
일단 이 글을 적기 위해서 11,046원을 지출하였음.후원 좀 받을 수 없나..?ㅋㅋㅋ환각(Hallucination)이란?챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.간단히 말하면,LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.예를 들어,그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,유저들도 나름대로 대응책을 공유하고 있음.여러 프롬프트 사이트들 보면,여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.SimpleQASimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.주요 모델들 simpleQA 벤치마크베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.https://github.com/openai/simple-evals GitHub - openai/simple-evalsContribute to openai/simple-evals development by creating an account on GitHub.github.comOpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임
실험 세팅벤치마크: OpenAI SimpleQA테스트케이스 갯수: 500개방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)파라미터- Temperature: 0.7- max_tokens: 150- 그 외에는 default채점자 모델: GPT-4.1.mini파라미터- Temperature: 0.1- max_tokens: 10상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.Node.js로 벤치마크 프로그램을 만들어서 진행하였음.프롬프트별 테스트 결과OpenAI 기본 프롬프트(You are a helpful assistent)아주 기본적인 시스템 프롬프트만 포함하고 있음.정확도 39.6%공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.하나빛 환각 방지 프롬프트정확도 38.6%오히려 기본 프롬프트에 비해 정확도가 떨어짐.ㅇㅇ(221.150) 환각 방지 프롬프트정확도 38.3%마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.(DLC)모노로그 환각 방지 프롬프트딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.정확도 0%그만 알아보자.결과 비교프롬프트 종류정확도비고OpenAI 기본 프롬프트39.6%공식 벤치마크(38.2%)보다 약간 높음하나빛 프롬프트38.6%효과 미미ㅇㅇ(221.150) 프롬프트38.3%오히려 떨어짐모노로그 프롬프트(예능용)0%결론적으로,커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임.
작성자 : 구름냥이고정닉
(상처주의) 두타산 갔다가 죽을뻔한 썰
동네 뒷산만 일년에 한두번갈까말까하는데 유튭에 두타산 풍경보고 급꼴려서 바로 강원도 동해시로 옴. 초입부터 풍경이 말이 안나옴 한국의 장가계라 하는데 장가계는 안가봐서 모르겠지만 진짜 아름답더라 실제로보면 눈호강함 미륵바위 다람쥐 이때까지만 해도 힘들긴했지만 뭔가 힐링되고 좋았음ㅎㅎ 근데 이 시냇물을 기점으로 이중인격마냥 산 분위기가 바뀌더라 여기서부터 산 분위기가 갑자기 ㅈㄴ 달라짐. 뭔가 쎄해지더라 갑자기 바람도 ㅈㄴ게 불고 새소리가 점점 줄어듬. 그래도 온게 아까워서 계속 감 경사보고 이게 맞나 싶었음ㅅㅂ 뒷산이랑은 그냥 차원이 다른 산이더라 ㅈㄴ힘들어서 사진찍는 주기가 급격히 줄어듬 ㅈㄴ 힘들었던 기억뿐이라 이건 왜찍었는지도 기억안남 이거 경사 보고 절망함ㅋㅋㅋㅋㅋ 그냥 실성만 나옴ㅋㅋㅋㅋ 이 정도는 되야 산이 풍경이 이쁜건가 가도가도 정상이 안나옴 슈발 옆산에 눈이 아직도 안녹음 5월이 다되가는데..ㄷㄷ 신기해서 찌금 밑에랑은 산의 분위기가 같은 산이 맞나 싶을정도로 다른게 바람 ㅈㄴ 쎄게 불어서 살짝 겁나는데 새소리도 안들리고 소나무들도 뭔가 기괴하게 생김. 사람도 한명도 못마주쳐서 더 그렇게 느낀듯 능선 탈때말고는 경사가 아주 흉악함. 그냥 계속 오르막길임. 이때 물도 다 마셔서 그냥 무아상태였음ㅋㅋ 이중인격 산답게 산 색깔도 앞뒤가 다름 앞에는 푸릇푸릇한데 뒤에는 시꺼멓누(산불난거 아님) 토토로 오솔길같아서 찌금 풍경은 정말 좋더라 진짜 산이 나를 압도하는 느낌임. 힘들어서 사진은 안찍었지만 정말 죽을거같을때 정상을 옴정상비석이 두개라서 둘다 찍음 정상찍고 긴장 풀려서 그런가 내려가다가 바로 자빠짐 왼쪽 손가락이랑 오른쪽 팔뚝이 나뭇가진지 돌인지 하여튼 뭐에 쓸림. 경사도 꽤 있는데서 넘어져서 넘어질때 옆에 나무안 붙잡았으면 진짜 뒤질뻔했음. 이때부터 잘못하다간 진짜 굴러떨어져서 뒤질까봐 빡집중하면서 내려가서 사진 한개도 못찍음 경사도가 이런 산은 처음 타봐서 한걸음 한걸음 내려갈때 마다 목숨에 위협이 느껴졌었음. 그 와중에 바람까지 개쎄게 불어서 더 무섭더라. 이때 내려가면서 다시는 안온다 생각만 수백번한듯. 이중인격같은 윗동네에서 내려오니깐 반겨주는 아랫동네 이 경치보고 넘어져서 부정적인 생각만 들던게 다 사라짐ㅋㅋ 그래서 이때부터 다시 사진도 찍음. 무릉도원같은 풍경임 ㄹㅇ 풍경 지리구요 캬 실제로 보면 진짜 황홀함 사진에 안담기네 이거 다음에 폭포도 진짜 멋졌는데 영상으러만 찍어서 못올리네. 두타산 후기: 아래에는 풍경도 미쳤고 상냥한 느낌에 폭포도 크고 재미, 풍경, 계곡, 폭포, 분위기 뭐하나 빠지지 않는 미친산. 근데 중간에 시냇물을 기점으로 갑자기 산의 분위기가 180도 달라져서 적응하기 너무 힘들었음. 넘어져서 샤워할때 개같이 아프고 서글펐지만 풍경이 너무 예뻐서 다음에 한번더 오고싶은 산(정상은 죽어도 안감). 뒷산만 다니다가 이런 산 가보니깐 등갤러들 존경스러워짐. 고통을 즐기는 ㅂㅌ들인가? 쨌든 좋은 경험이었음다. - dc official App
작성자 : 푸끼몬고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.