법률 AI는 계약 검토, 자료 검색과 초안 작성에 활용된다. 처리 시간을 줄이는 것도 중요하지만, 결과에 어떤 근거가 있는지 확인하는 과정이 함께 필요하다. 존재하지 않는 판례나 적용 범위가 다른 법령이 들어가면 문장이 자연스러워도 사용할 수 없다.
전용 검색 도구에도 오류가 남는다
Stanford 연구진의 법률 AI 평가는 검색 증강 생성 방식을 사용하는 전용 도구에서도 잘못된 정보가 나올 수 있음을 보여줬다. 최종 논문이 제시한 평가에서는 도구별 환각 비율이 17~33%였다.
이 숫자는 연구 당시의 제품과 질문, 평가 정의에서 나온 결과다. 현재 모든 법률 AI의 오류율이나 실제 사건 처리에서의 오류율로 그대로 사용할 수는 없다. 다만 출처 검색을 붙였다는 사실만으로 검증이 끝나지는 않는다는 점을 보여준다.
문서가 실제로 존재해도 확인할 것이 남는다
AI가 실제 판례를 인용했더라도 그 판례가 답변의 주장을 뒷받침하는지 봐야 한다. 관할이 다르거나, 법령이 바뀌었거나, 중요한 예외가 생략됐을 수 있다.
따라서 검토자는 원문과 해당 구절을 쉽게 열 수 있어야 한다. 문서의 날짜와 적용 범위가 보이고, 답변의 어느 주장에 연결되는지 알 수 있으면 검토 시간을 줄이는 데 도움이 된다. 링크를 많이 붙이는 것만으로 이런 관계가 설명되지는 않는다.
검토 책임에 맞춰 도구를 설계한다
미국변호사협회의 Formal Opinion 512는 생성형 AI 사용에서 역량, 비밀 유지, 의뢰인과의 소통 등 변호사의 윤리 의무를 다룬다. 이는 미국의 모델 규칙을 바탕으로 한 의견이며 다른 나라에 같은 방식으로 적용되는 법은 아니다.
제품을 도입하는 조직은 해당 관할의 규칙과 업무 기준을 확인해야 한다. 어떤 결과에 전문가 검토가 필요한지, 외부로 보내기 전에 누가 확인하는지, 자료를 어느 환경에서 처리할 수 있는지가 설계에 영향을 준다.
생성 속도와 검토 비용을 함께 본다
초안을 빨리 만들어도 근거를 다시 찾는 데 오래 걸리면 전체 업무 시간은 크게 줄지 않을 수 있다. 반대로 답변이 조금 짧더라도 근거와 조건이 명확하면 검토하기 쉬울 수 있다.
제품을 평가할 때는 생성 시간 외에 원문 확인 시간, 수정이 필요한 비율, 잘못된 인용을 찾아내는 비율을 살펴볼 수 있다. 검토자가 고친 내용과 최종 승인본을 구분해 남기는 것도 필요하다.
법률 AI의 사업 가능성은 답변을 얼마나 빨리 만드는가만으로 설명하기 어렵다. 실제 업무에서 그 답변을 확인하고 수정해 사용할 수 있게 하는 과정까지 지원해야 한다.