폐쇄망 AI는 왜 덜 똑똑할까요, 서버가 아니라 모델 차이예요
"폐쇄망에 들인 AI는 왜 이렇게 답답하죠?" 회사에서 자주 나오는 말이에요. 흔히 AI 회사 서버가 훨씬 좋아서라고들 하는데, 반은 맞고 반은 달라요. 지난 7일은 금융권 망분리 2차 완화 대상이 발표될 날이었는데, 연쇄 해킹 때문에 미뤄졌어요. 폐쇄망과 AI 이야기를 정리해 볼게요.
똑똑함은 모델이, 속도는 서버가 정해요
AI의 답이 얼마나 정확한지는 모델, 그러니까 학습이 끝난 "두뇌 파일"이 정해요. 같은 모델이면 큰 서버에서 돌리든 작은 서버에서 돌리든 똑똑함은 같아요. 서버가 바꾸는 건 얼마나 빨리 답하는지, 동시에 몇 명이 쓰는지예요.
예외는 있어요. 서버가 너무 작으면 큰 모델을 아예 못 올려요. 그래서 모델을 압축해서 올리는데, 그러면 답의 질도 조금 떨어져요.
폐쇄망 AI가 덜 똑똑한 진짜 이유
서버보다 모델이 다르기 때문이에요.
- 최상위 모델은 사내망에 설치할 수 없어요. Claude나 GPT의 최상위 모델은 두뇌 파일을 내려받을 수 있게 공개하지 않아요. 인터넷이 완전히 끊긴 곳에는 들일 방법이 없어요
- 그래서 공개 모델을 써요. GLM, DeepSeek, Qwen, Kimi처럼 누구나 내려받을 수 있는 모델이에요. 많이 따라왔지만, 최상위 공개 모델도 최고 성능 모델보다 몇 달 정도 뒤처진다는 분석이 많아요
- 큰 공개 모델은 GPU가 많이 필요해요. 장비가 모자라면 더 작은 모델이나 압축한 모델을 쓰게 되고, 차이는 더 벌어져요
- 인터넷 검색도 못 해요. 최신 정보를 찾아보거나 새 모델로 바로 바꾸기도 어려워요
중간 방법도 있어요
완전 폐쇄망과 그냥 인터넷 사이에 클라우드 전용 연결이 있어요. 예를 들어 아마존 클라우드의 Bedrock은 회사 망과 AI 서비스 사이를 공용 인터넷을 거치지 않는 전용 통로로 이을 수 있어요. AWS는 이렇게 오간 입력과 답을 모델 학습에 쓰지 않는다고 밝히고 있어요. Claude도 아마존·구글·마이크로소프트 클라우드에서 쓸 수 있어요.
다만 전용 연결도 결국 회사 밖 클라우드를 쓰는 거라, 법이나 규정이 "외부와 완전히 끊어라"고 하면 쓸 수 없어요. 그게 금융권이 고민하는 지점이에요.
금융권은 지금 풀다가 멈췄어요
금융회사는 2013년 해킹 사고 뒤로 업무망을 인터넷과 끊어 두는 망분리 규제를 받아왔어요. 올해 이게 크게 움직였어요.
- 5월: 금융위원회가 대형 금융사 49곳에 1년 동안 망분리를 한시적으로 풀어줬어요. "AI로 하는 공격은 AI로 막자"는 취지예요
- 6월: AI·보안 역량을 갖춘 곳부터 연내 전면 해제를 검토한다고 했어요
- 10월 6일: 은행 연쇄 해킹이 터지자, 7일로 잡혀 있던 2차 완화 대상 발표를 보류했어요. 사고 수습이 먼저라면서, 완화 방향 자체는 유지한다고 했어요
"해커는 최신 AI를 쓰는데 금융사는 못 쓴다"는 목소리와 "열면 더 위험하다"는 목소리가 맞서는 중이에요. 이번 해킹이 어디서 났는지는 지난 기사에 정리했어요. 뚫린 건 인터넷에 열린 업무용 옆문이었어요.
우리 회사라면
- 다룰 데이터부터 나누세요. 고객 개인정보가 들어가는 일과 공개 자료 요약은 같은 방식일 필요가 없어요
- 성능이 꼭 필요하면 전용 연결부터 알아보세요. 규정이 허락한다면 최상위 모델을 쓰면서도 공용 인터넷은 피할 수 있어요
- 완전 폐쇄망이면 기대치를 맞추세요. 공개 모델은 요약·분류·초안 같은 일은 잘해요. 어려운 판단은 사람이 한 번 더 봐야 해요
- 폐쇄망이 곧 안전은 아니에요. 이번 해킹도 망 안쪽 시스템으로 이어진 옆문에서 시작됐어요
짚어둘 것
- 망분리 일정과 숫자는 금융위원회 발표와 국내 보도 기준이에요
- 공개 모델이 "몇 달 뒤처진다"는 건 분석 기관마다 수치가 달라서 숫자를 적지 않았어요
- AWS 전용 연결과 학습 미사용은 AWS 공식 문서 기준이에요. 실제 구성과 계약 조건은 회사마다 달라요
여러분 회사는 AI를 어떻게 들였나요? 카톡 오픈채팅 ⚡ AI랑 코딩하는 사람들에서 이야기 나눠요.
참고