AI를 만든 회사가 외부 평가자를 부른다. 회사 안에서 개발 과정을 들여다볼 수 있도록 문을 연다. 그런데 평가 비용도 그 회사가 낸다.
이것은 가상의 사고 실험이 아니다. Anthropic이 9월 18일 공개한 Accenture와의 협력 방식이다. 외부 평가자가 AI 기업 내부에서 일하는 embedded evaluation, 이 글에서는 ‘상주형 평가’라고 부를 방식이다. Anthropic은 이번 Accenture 평가 업무에 직접 자금을 제공한다고 밝혔다. Anthropic 공식 발표
이 소식을 “Claude가 독립 검증을 통과했다”라고 읽으면 안 된다. 평가 협력을 발표한 것이지, 특정 모델에 대한 합격 보고서를 공개한 것은 아니다.
그렇다고 “돈을 받으니 독립적일 수 없다”로 끝내기도 이르다. 이번 발표가 던지는 질문은 조금 더 까다롭다. 충분히 가까이에서 관찰하면서도, 불편한 결론을 독립적으로 낼 수 있을까?
바깥에서 시험하는 것과 안에서 지켜보는 것
API로 모델에 질문을 보내면 무엇을 답하는지 볼 수 있다. 위험한 요청을 거절하는지, 틀린 정보를 자신 있게 말하는지, 도구를 적절하게 사용하는지 시험할 수 있다.
하지만 답변만으로 알기 어려운 것도 있다. 실패가 발견된 뒤 개발팀이 어떤 결정을 내렸는지, 배포 전에 어떤 문제를 예외로 인정했는지, 평가용 설정과 실제 서비스 설정이 달랐는지는 출력 결과만으로 설명되지 않는다.
상주형 평가가 겨냥하는 곳은 이 간격이다. Anthropic은 평가자가 직원에 준하는 접근 권한을 통해 학습 과정과 개발·배포 의사결정을 살펴보고 직원과 직접 대화할 수 있다고 설명했다. 접근 범위에 관한 설명
Accenture 측 발표에 따르면 협력에는 모델 평가, 레드팀 테스트, 정렬 평가, 안전장치 시험이 포함된다. 전문 AI 사업 조직인 Faculty의 역량도 활용한다. 두 회사는 향후 5년간 AI 안전성 역량 구축에 각각 최소 10억 달러를 투자할 것으로 예상한다고 밝혔다. 이는 이미 집행한 금액이나 이번 평가 계약의 가격과 같은 뜻은 아니다. Accenture 발표
여기까지는 관찰 범위를 넓히려는 계획이다. 독립성이 확보됐는지는 별도의 문제다.
출입증과 발언권은 다르다
회사 안에 들어갈 수 있다고 해서 모든 결론을 자유롭게 발표할 수 있는 것은 아니다. 반대로 회사 밖에 있다고 해서 필요한 정보까지 충분히 확보하는 것도 아니다.
접근성과 독립성은 하나의 축에서 반대 방향으로 움직이는 개념이 아니다. 둘 다 필요하다. 내부 정보를 많이 볼 수 있지만 발표가 막힌 평가도 부족하고, 자유롭게 말할 수 있지만 중요한 자료를 전혀 볼 수 없는 평가도 부족하다.
Anthropic도 제도가 완성됐다고 주장하지 않는다. 평가자의 정보 접근과 보고 방식에 아직 확립된 표준이 없으며, 장기적인 재원 조달 방식도 정해지지 않았다고 밝혔다. 협력은 비독점적이고, 다른 평가 조직과의 협력도 추진한다는 설명이다. 운영 방식과 미정 사항
따라서 지금 확인해야 할 것은 평가자의 명함보다 앞으로 공개될 운영 조건이다. 다음은 발표문에 이미 보장된 조항이 아니라, 이 제도를 판단하기 위해 필자가 확인하고 싶은 질문들이다.
불리한 결과를 누구의 승인 없이 공개할 수 있는가?
결과를 발견하는 능력과 결과를 외부에 전달할 권한은 다르다. 공개를 늦출 수 있는 사유와 기간, 기업과 평가자의 의견이 갈릴 때 처리하는 절차가 있어야 독자도 보고서의 의미를 판단할 수 있다.
무엇을 보지 못했는지도 알려주는가?
‘문제를 찾지 못했다’는 결론은 조사한 범위 안에서만 유효하다. 특정 학습 단계나 도구 권한, 배포 환경이 평가에서 빠졌다면 그 빈칸도 결과의 일부다. 평가 범위를 밝히지 않은 안전성 선언은 읽는 사람이 의미를 과대해석하기 쉽다.
지적 사항이 실제 변경으로 이어졌는가?
발견한 취약점의 개수만으로 평가의 성과를 판단하기는 어렵다. 심각한 문제 하나를 발견하고도 출시 조건에 아무 변화가 없다면, 평가와 제품 의사결정 사이에 연결이 약한 것이다. 반대로 수정과 재검증까지 추적할 수 있다면 평가는 보고서를 넘어 개발 과정에 영향을 준다.
현재 발표만으로 이 질문들에 모두 답할 수는 없다. 그 공백을 숨기지 않는 것이 이번 소식을 정확하게 읽는 방법이다.
Claude를 쓰는 개발팀에는 무슨 의미가 있을까
당장 모델을 바꾸거나 프롬프트를 수정해야 한다는 발표는 아니다. 더 직접적인 영향은 앞으로 AI 공급자의 안전성 설명을 읽는 기준에 있다.
가령 고객지원 에이전트를 운영하는 팀을 생각해보자. 모델 공급자가 외부 평가를 받았더라도, 우리 서비스의 환불 도구가 과도한 권한을 갖고 있는지까지 자동으로 검증되는 것은 아니다. 같은 모델을 사용해도 어떤 데이터와 도구를 연결했는지에 따라 실패 양상은 달라질 수 있다.
이 예에서 필요한 것은 공급자의 평가 결과를 무시하는 것도, 그것으로 자체 테스트를 대체하는 것도 아니다. 평가가 어디까지 다뤘는지 읽고, 우리 서비스에서 추가로 확인해야 할 부분을 찾는 일이다.
모델 자체에 관한 근거와 제품 전체에 관한 근거를 구분하면 질문이 구체적으로 바뀐다. “안전한 모델인가요?”에 그치지 않고 “어떤 버전과 설정을 평가했나요?”, “도구 실행도 평가 범위였나요?”, “알려진 한계는 무엇인가요?”라고 물을 수 있다.
Anthropic과 Accenture의 협력은 그런 질문에 더 나은 답을 만들 가능성을 연다. 다만 가능성과 검증된 성과는 구분해야 한다. 투자 규모가 크다는 사실만으로 평가의 독립성이 증명되지는 않는다.
다음에 기다릴 소식은 새로운 협약의 이름보다 구체적인 평가 결과다. 무엇을 볼 수 있었고, 무엇을 보지 못했으며, 발견한 문제 때문에 무엇이 바뀌었는지. 그 내용이 공개될 때 이번 발표의 무게도 더 정확히 판단할 수 있다.