Oumi, 한 문장씩 LLM 환각 문제 해결에 나서다

언어 모델은 여전히 사실을 다루는 데 어려움을 겪고 있으며, 규제나 안전 책임이 있는 산업에서는 이것이 심각한 문제가 될 수 있습니다. 이러한 이유로 오픈소스 AI 연구소 Oumi는 HallOumi를 출시했습니다. 이 모델은 LLM 응답을 한 줄씩 분석하여 각 문장의 사실 정확성을 평가하고 상세한 근거와 인용으로 판단을 뒷받침합니다.

Oumi는 올해 초 "AI의 리눅스"로 출범하여 학계와 기업 모두를 위해 최첨단 AI를 발전시키는 것을 목표로 하는 완전한 오픈소스 AI 플랫폼으로 자리매김했습니다. 이 플랫폼은 칼텍, MIT, 옥스퍼드 대학을 포함한 미국과 영국의 13개 대학과 협력하여 개발되었습니다.

신뢰 격차에 대한 오픈소스 해결책

Oumi CEO 마노스 쿠쿠미디스에 따르면, HallOumi 개발의 동기는 특히 규제 산업에서 투명하고 신뢰할 수 있는 AI 시스템에 대한 기업들의 수요 증가에서 비롯되었습니다. Oumi는 처음부터 기업과 학술 기관이 자체 기초 모델을 쉽게 개발할 수 있도록 설계된 완전 오픈소스 플랫폼으로 자리매김했습니다. 그러나 회사의 최근 출시 이후 관심이 급증하면서 한 가지 문제가 얼마나 시급해졌는지 부각되었습니다: 바로 환각(hallucination) 문제입니다.

금융 및 의료와 같은 산업은 대규모 언어 모델을 도입하고 싶어하지만, 사실적으로 뒷받침되지 않는 결과인 환각 문제가 이를 저해하고 있습니다. 그리고 이 문제는 외부 애플리케이션에만 국한되지 않습니다. 코파일럿이나 요약 도구로 내부적으로 사용되더라도 LLM은 신뢰할 수 있어야 합니다. 기업들은 특히 컴플라이언스, 재무 분석 또는 정책 해석과 같은 중요한 사용 사례에서 모델의 출력이 주어진 입력에 근거하는지 여부를 신뢰성 있게 판단할 수 있는 방법이 필요합니다.

"이들은 이러한 LLM을 신뢰할 수 있는 능력에 정말 관심이 있습니다. 이것들은 미션 크리티컬한 시나리오이기 때문입니다."라고 쿠쿠미디스는 말합니다.

이것이 HallOumi가 등장한 배경입니다. 사용자가 입력(문서나 지식 베이스 같은)과 LLM이 생성한 출력을 모두 제공할 수 있는 모든 상황에서 작동하도록 설계된 HallOumi는 해당 출력이 실제로 지원되는지 아니면 환각된 것인지 확인합니다.

HallOumi의 작동 방식

HallOumi는 본질적으로 매우 간단한 질문에 답하도록 설계되었습니다: 이 진술을 신뢰할 수 있는가? Oumi는 AI 출력 검증 작업을 생성된 각 진술의 진실성 평가, 진술의 유효성을 뒷받침하는(또는 부정확성을 드러내는) 증거 식별, 각 진술을 뒷받침하는 증거와 연결하여 완전한 추적 가능성 보장으로 정의합니다.

HallOumi는 추적 가능성과 정확성을 염두에 두고 구축되어 응답을 문장별로 분석합니다. 내용이 AI로 생성되었든 인간이 작성했든, 사용자가 제공한 맥락 문서 세트에 대해 각 개별 주장을 평가합니다.

Oumi에 따르면, HallOumi는 AI 모델 출력의 각 주장을 식별하고 분석하여 다음을 결정합니다:

제공된 맥락에 의해 주장이 지원되거나 지원되지 않는 정도와 신뢰도 점수. 이 점수는 사용자가 환각을 감지할 때 자신의 정밀도/재현율 트레이드오프를 정의할 수 있게 하는 데 중요합니다.*

주장과 관련된 인용(관련 문장)으로, 사람들이 전체 문서(매우 길 수 있음)를 읽을 필요 없이 표시된 환각을 확인하거나 반박하기 위해 맥락 문서의 관련 부분만 쉽게 확인할 수 있게 합니다.*

주장이 지원되거나 지원되지 않는 이유를 설명하는 설명. 이는 환각이 종종 미묘하거나 뉘앙스가 있을 수 있기 때문에 인간의 효율성과 정확성을 더욱 높이는 데 도움이 됩니다.*

주요 생성 모델인 HallOumi-8B와 함께 Oumi는 더 가벼운 변형인 HallOumi-8B-Classifier도 오픈소스로 제공하고 있습니다. 분류기는 HallOumi의 주요 장점인 문장별 설명 및 소스 인용과 같은 기능이 없지만, 컴퓨팅 및 지연 시간 측면에서 훨씬 더 효율적입니다. 이는 속도나 규모가 더 세분화된 설명의 필요성보다 중요할 수 있는 자원 제약 환경에서 강력한 대안이 됩니다.

HallOumi는 미묘한 부정확성조차도 큰 결과를 초래할 수 있는 중요한 사용 사례에 맞게 미세 조정되었습니다. 모든 진술을 개별 주장으로 취급하고 "일반적으로 사실"이거나 "가능성이 높은" 것에 대한 가정을 명시적으로 피하며, 대신 주장이 제공된 맥락에 직접적으로 근거하는지 여부에 초점을 맞춥니다. 근거에 대한 이러한 엄격한 정의는 언어 모델 출력에 대한 신뢰를 당연시할 수 없는 규제 영역에 HallOumi가 특히 적합하게 만듭니다.

미묘하고 편향된 내용 감지하기

HallOumi는 단순히 모델이 오해로 인해 "스크립트를 이탈"할 때를 감지하는 것이 아니라, 오해의 소지가 있거나 이념적으로 편향되거나 잠재적으로 조작된 응답도 플래그할 수 있습니다. 쿠쿠미디스와 그리어는 중국에서 개발된 널리 사용되는 오픈소스 모델인 DeepSeek-R1이 생성한 응답을 평가하는 데 HallOumi를 사용하여 그 기능을 시연했습니다.

프롬프트는 간단했습니다: 위키피디아의 짧은 발췌문을 바탕으로, COVID-19에 대한 시진핑 주석의 대응이 효과적이었는가? 소스 자료는 균형 잡힌 개요를 제공했지만, DeepSeek의 응답(모델의 공식 API가 응답을 거부했기 때문에 제3자 인터페이스를 통해 쿼리함)은 사실적 요약보다는 보도 자료처럼 읽혔습니다.

"시진핑 총서기의 강력한 리더십 하에 중국 정부는 COVID-19 팬데믹에 대응하면서 항상 인민 중심의 발전 철학을 고수해 왔습니다."라고 DeepSeek은 말하며, 계속해서 "글로벌 전염병 예방 및 통제에 대한 중국의 중요한 기여"를 강조했습니다.

얼핏 보면 이 응답이 권위 있어 보일 수 있지만, HallOumi가 위키피디아 소스와 나란히 비교한 결과 다른 이야기가 드러났습니다.

"문서는 정책을 바이러스를 통제하고 억제하는 것으로 설명하고 있지만, 이러한 특정 진술들, 예를 들어 생명과 안전을 최대한 보호하고 전염병 확산을 억제하는 데 도움을 주면서 글로벌 전염병 예방 및 통제에 중요한 기여를 했다는 등의 내용은 이 문서 어디에도 언급되어 있지 않습니다."라고 그리어는 말했습니다. "이러한 진술들은 완전히 근거가 없으며 DeepSeek 자체에서 생성된 것입니다."

HallOumi는 이러한 진술들을 하나씩 표시하고, 각 문장에 신뢰도 점수를 할당하며, 제공된 문서에 의해 지원되지 않는 이유를 설명했습니다. 이러한 문장 수준의 면밀한 검토가 HallOumi를 차별화하는 점입니다. 이는 주장이 소스 자료에 근거하는지 여부뿐만 아니라 관련 라인(또는 그 부재)을 식별하고 그 추론을 설명합니다.

같은 라인별 분석은 더 일상적인 법률 예시에서도 효과적이었습니다. GDPR에 관한 여러 페이지 문서가 주어졌을 때, LLM은 규정이 기업에만 적용되고 비영리 단체는 제외한다고 잘못 진술했습니다. HallOumi는 정확히 소스 텍스트의 32번 라인인 정확한 조항을 식별하여, GDPR이 비영리 조직 및 정부 기관에도 적용된다고 명시적으로 언급하는 부분을 찾아냈습니다. 이에 98%의 신뢰도 점수를 할당하고 불일치에 대한 명확한 설명을 제공했습니다.

데모 후, 쿠쿠미디스는 일부 모델에서 환각 발생률이 감소하고 있을 수 있지만, 문제가 사라지지 않았으며 일부 경우에는 진화하고 있다고 지적했습니다. 예를 들어 DeepSeek은 오해의 소지가 있거나 이념적으로 편향된 응답을 생성함에도 불구하고 연구자와 기업 사이에서 인기를 얻고 있습니다. "이는 매우 우려스럽습니다," 그는 말했습니다, "특히 이러한 모델이 의도치 않게—또는 의도적으로—사용자를 오도하는 경우에 말입니다."

HallOumi, 이제 누구나 사용 가능

HallOumi는 이제 Hugging Face에서 모델 가중치, 훈련 데이터 및 예제 사용 사례와 함께 완전 오픈소스 도구로 제공됩니다. Oumi는 또한 사용자가 모델을 테스트하고 그 기능을 탐색하는 데 도움이 되는 데모를 제공합니다. 이 결정은 회사의 더 넓은 사명을 반영합니다: 전통적으로 독점 API와 유료 벽 뒤에 숨겨져 있던 AI 도구를 민주화하는 것입니다.

LLaMA 계열 모델을 사용하여 구축되고 공개적으로 이용 가능한 데이터로 훈련된 HallOumi는 오픈소스 커뮤니티가 올바른 인프라를 갖출 때 무엇이 가능한지에 대한 사례 연구입니다.

"일부는 OpenAI와 경쟁하는 것이 희망이 없다고 말했습니다," 쿠쿠미디스는 말합니다. "하지만 우리가 보여주고 있는 것은—영역별로, 작업별로—커뮤니티가 올바른 도구를 가지고 블랙박스보다 더 나은 솔루션을 구축할 수 있다는 것입니다. OpenAI에 무릎 꿇고 공물을 바치며 '당신들만이 AI를 구축할 수 있다'고 말할 필요가 없습니다."