가드레일

AI가 위험한 방향으로 튀지 않게 두르는 안전 장치를 통칭하는 말입니다. 도로의 가드레일처럼요. 위험한 요청을 거절하는 훈련, 입출력을 검사하는 필터, 에이전트의 행동 범위 제한이 모두 가드레일입니다.

기업 도입 기사에서 특히 자주 나옵니다 — 「가드레일을 갖춘 사내 챗봇」은 회사 기밀을 밖에 말하지 않고, 권한 밖의 일을 하지 않게 장치를 둘렀다는 뜻입니다. 너무 세게 조이면 멀쩡한 질문까지 거절하는 「과잉 거절」이 생겨서, 조임의 정도가 늘 논쟁거리입니다.