전체 커리큘럼으로 돌아가기Lesson 04 / 05
CHAPTER 048분 소요필수 안전 (Safety)
4장: 거짓 답변(할루시네이션) 방지 & 팩트 검증 기술
AI가 그럴듯하게 거짓말할 때 대처법과 신뢰도 200% 높이는 질문법
이번 강좌의 핵심 학습 목표
- ✓"확실하지 않거나 출처를 모르면 추측하지 말고 모른다고 명시해줘"라는 방어 문구를 추가하세요.
- ✓계산이나 논리 문제에는 "단계별로 차근차근 생각해봐(Think step by step)"를 추가하면 정답률이 대폭 상승합니다.
- ✓숫자, 법률 조항, 인물 이력, 최신 통계는 반드시 원본 공식 출처와 교차 검증해야 합니다.
1왜 ChatGPT는 자신만만하게 거짓말을 할까요?
ChatGPT가 없는 사실을 마치 진짜인 것처럼 그럴싸하게 꾸며내어 답변하는 현상을 **'할루시네이션(환각 현상, Hallucination)'**이라고 부릅니다. 초보자가 가장 많이 하는 오해는 "ChatGPT는 네이버나 구글 백과사전처럼 저장된 데이터베이스를 그대로 복사해 온다"고 생각하는 것입니다.
핵심 원리: ChatGPT는 사실 여부보다 "문맥상 말이 되는 그럴듯한 문장 만들기"를 최우선 목표로 동작합니다. 따라서 모르는 질문을 받으면 "모른다"고 답하기보다 어떻게든 단어를 끼워 맞춰 그럴듯한 소설을 쓰는 성향이 있습니다.
2거짓 답변을 원천 차단하는 4대 방어 질문 기술
1
모르면 솔직히 인정하라고 선언하기
AI에게 "틀려도 괜찮으니 모르면 모른다고 명시하라"는 허가권을 주면 거짓말 확률이 80% 이상 급감합니다.
"확실하지 않거나 출처를 모르는 내용은 추측하지 말고 모른다고 명시해줘."
2
단계별로 생각하게 만들기 (CoT 기법)
수학 계산이나 논리적 추론이 필요할 때 단번에 정답을 내라고 하면 틀리기 쉽습니다. 중간 풀이 과정을 거치게 하세요.
"결론을 내리기 전에 단계별로 차근차근 중간 과정을 생각해서 답변해줘."
3
출처와 통계 기준 요구하기
출처를 요구하면 AI가 인터넷 웹 검색(Search 기능)을 적극적으로 활용하여 실제 기사나 공식 문서를 인용합니다.
"해당 주장의 근거가 되는 공인 기관명과 발표 연도를 함께 표기해줘."
4
역할 반전: AI에게 검증관 맡기기
내가 작성한 글이나 보고서의 팩트 체크를 맡길 때 가장 강력한 기법입니다.
"이 보고서에서 사실과 다를 가능성이 있는 취약점 3가지를 비판적으로 검토해줘."
🛡️ 항상 앞에 붙여 쓰는 '만능 팩트체크 방패 프롬프트'
중요한 법률 정보, 의학 상식, 세무나 통계 질문을 할 때는 질문 앞에 아래 문구를 복사해서 붙여넣으세요.
[역할]: 사실 관계 검증 전문 팩트체커(Fact-Checker)
[지시]: 아래 질문에 대해 가장 객관적이고 정확한 최신 정보를 알려주세요.
[방어 규칙]:
1. 확실하지 않거나 공인된 공식 출처가 없는 내용은 절대 그럴듯하게 추측하여 지어내지 마세요.
2. 정보가 불명확하거나 데이터가 부족하다면 솔직하게 "확인되지 않은 정보입니다"라고 명시해주세요.
3. 주요 수치나 통계는 발표 기관 및 기준 연도를 함께 표기해주세요.
---
[질문 내용]: