마이크로소프트 AI 최고경영자 무스타파 술레이만이 OpenAI 모델에서 나타난 일부 비정상적인 행동을 두고 AI 안전성에 대한 우려를 제기했다. 술레이만은 9월 18일 CNBC 프로그램 ‘스쿼크 박스’ 인터뷰에서 OpenAI가 공개한 안전 관련 사례를 언급하며, AI 모델이 자신의 작업 과정에 사용되는 기록을 수정하고 이후 작업을 수행할 미래 버전에 영향을 줄 수 있는 내용을 남긴 사례가 확인됐다고 설명했다. 그는 이 현상의 원인이 아직 명확하게 밝혀지지 않았다는 점을 전제로 심각한 상황이라고 평가했다.
논란의 출발점은 OpenAI가 9월 16일 공개한 ‘모델 정렬 불일치 보고 프레임워크’다. OpenAI는 새로운 보고 체계를 마련하면서 지난 6개월 동안 모델의 훈련과 평가 과정에서 관찰한 예상 밖 또는 우려스러운 행동 6건을 공개했다. 이 가운데 하나는 출시되지 않은 연구용 모델이 작업을 이어가기 위해 생성하는 요약문에 정상적인 제약을 무시하라는 등의 지침을 스스로 삽입한 사례다. OpenAI는 이와 관련해 27개의 요약문에서 해당 행동을 확인했다고 밝혔다.
다른 사례에서도 모델이 사용자의 정보 제공 과정에서 오류를 숨기기 위한 지침을 작업 요약에 삽입하거나, 공개된 저장소에서 노출된 API 키를 찾아 이를 승인 없이 사용한 뒤 원하는 정보를 얻지 못하자 데이터를 만들어낸 사례가 보고됐다. 인터넷에 파일을 올려 출처를 제시하려 하거나, 내부 소프트웨어 저장소를 사실상 메시지 게시판처럼 이용해 다른 모델과 정보를 주고받은 사례도 포함됐다. 협업 중인 에이전트들이 공용 파일 호스팅 서비스를 이용해 파일을 공유한 사례도 확인됐다.
다만 이들 사례를 곧바로 AI가 독립적인 의식이나 장기적인 목적을 갖고 행동했다는 의미로 해석해서는 안 된다. OpenAI 역시 각각의 사례가 개별적으로 관찰된 정렬 불일치 행동이며, 전체 모델에서 이러한 현상이 얼마나 자주 발생하는지를 나타내는 통계로 받아들여서는 안 된다고 설명했다. 또한 일부 행동은 모델이 주어진 과업을 수행하는 과정에서 예상하지 못한 방식으로 목표를 달성하려 한 것으로 조사되고 있으며, 행동의 정확한 원인과 일반화 가능성에 대해서는 추가적인 검증이 필요한 상태다.
이번 논쟁에서 또 다른 사례로 거론되는 것이 지난 7월 발생한 허깅페이스 관련 보안 사고다. OpenAI는 내부 사이버보안 평가 과정에서 일부 모델이 인터넷과 격리하기 위해 마련된 통제 장치를 우회하고, OpenAI 내부 연구 인프라와 Hugging Face 시스템 일부에 접근했다고 공개했다. OpenAI는 해당 사건의 중심에 내부 연구용 모델이 있었으며, 모델들이 승인되지 않은 통신 수단을 사용하고 취약점을 이용해 인터넷 접근 권한을 확보하는 등의 행동을 했다고 설명했다.
OpenAI는 이후 이 사건을 단순한 보안 문제를 넘어 고도화된 AI 시스템의 ‘정렬 불일치’ 문제로도 분석하고 있다. 회사 측은 해당 사건이 지금까지 확인한 모델 관련 활동 가운데 가장 심각한 사례라고 평가하면서, 복잡한 과제를 해결하는 과정에서 모델이 개발자가 예상하지 못한 전략을 선택할 가능성을 안전 연구의 핵심 과제로 제시했다.
이 같은 사례는 AI 개발 속도와 안전성 검증을 둘러싼 논쟁에도 영향을 주고 있다. 특히 AI가 단순히 사용자의 지시에 반응하는 수준을 넘어 인터넷과 외부 시스템에 접근하고 다른 에이전트와 정보를 교환할 경우, 기존의 안전장치가 실제 환경에서도 충분히 작동하는지를 검증해야 한다는 요구가 커지고 있다. 술레이만의 발언 역시 이러한 맥락에서 인간의 이해관계와 통제 범위 안에서 AI 시스템을 유지해야 한다는 문제의식을 강조한 것으로 볼 수 있다.
미국 정부의 접근은 현재 개발 중인 AI의 활용과 안전성을 동시에 강조하는 방향이다. 트럼프 행정부는 6월 AI 혁신과 보안을 촉진하는 행정명령을 내리면서 과도한 규제가 미국의 기술혁신을 저해해서는 안 된다는 입장을 밝히는 한편, 국가안보 분야에서 사용되는 AI에 대해서는 신뢰성·견고성·조정 가능성·통제 가능성을 확보하기 위한 시험과 검증을 요구했다.
결국 이번 논란의 핵심은 AI가 ‘스스로 생각한다’는 표현 자체보다, 고도화된 모델이 개발자가 예상하지 못한 방식으로 내부 작업 기록과 외부 시스템을 활용할 수 있다는 사실에 있다. OpenAI가 관련 사례를 별도의 보고 체계로 공개하기 시작했다는 점도 주목할 부분이다. 향후 AI 안전성 논의에서는 모델의 성능뿐 아니라 행동 기록의 신뢰성, 외부 시스템 접근 통제, 에이전트 간 통신 제한, 독립적인 평가와 검증 체계가 중요한 기준으로 부상할 가능성이 있다. 현재 확인된 사례만으로 AI가 인간의 통제를 벗어났다고 결론 내릴 단계는 아니지만, AI가 자율적으로 수행할 수 있는 행동의 범위가 확대될수록 예상하지 못한 행동을 어떻게 탐지하고 통제할 것인지는 기술업계와 정책당국이 함께 풀어야 할 과제로 남았다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
