사내 문서의 민감도와 운영 역량을 먼저 나누면 클라우드형·전용형·온프레미스 중 어디까지 필요한지 판단하기 쉬워진다.

견적서, 계약서, 기술자료, 인사문서까지 AI로 검색하고 요약하고 싶은 기업이 늘고 있다. 그런데 직원이 외부 AI 서비스에 문서를 올리는 순간부터 저장 여부, 학습 이용 여부, 접근권한, 퇴사자 계정 관리까지 함께 확인해야 한다. 보안이 걱정된다고 처음부터 온프레미스를 선택할 필요는 없지만, 문서 성격을 따지지 않고 일반 클라우드 AI부터 도입하는 것도 적절하지 않다. 선택의 출발점은 AI 성능보다 어떤 문서를 어디까지 외부 환경에 맡길 수 있는가다.

흔히 클라우드는 위험하고 사내 서버는 안전하다고 구분한다. 실제 운영에서는 그렇게 단순하지 않다. 보안은 서버의 위치만으로 결정되지 않고 데이터 저장 방식, 관리자 권한, 접속 기록, 백업, 암호화, 외부 전송 범위가 함께 작동한다.

AI 도입 방식을 고를 때는 “외부 서버인가, 내부 서버인가”보다 “어떤 데이터가 어디로 이동하고, 누가 접근하며, 얼마나 남는가”를 먼저 확인하는 편이 현실적이다.

일반 업무문서라면 클라우드형부터 검토할 수 있다

회의자료, 공개된 제품자료, 일반 업무 매뉴얼처럼 외부 유출 시 영향이 제한적인 문서가 중심이라면 클라우드형이 가장 접근하기 쉽다. 별도의 AI 서버를 구축하지 않고도 문서 요약, 검색, 질의응답 같은 기능을 빠르게 적용할 수 있기 때문이다.

다만 개인용 AI 계정을 직원별로 사용하는 방식과 기업용 관리 환경은 구분해서 봐야 한다. 기업에서 사용할 때는 입력 데이터의 학습 이용 조건, 보관 기간, 삭제 정책, 관리자 통제, 계정별 권한, 로그 제공 여부를 계약과 서비스 정책에서 확인해야 한다.

고객자료와 내부 노하우가 섞이면 전용 환경의 의미가 커진다

중소기업의 실제 문서는 한 종류로 나뉘지 않는다. 견적서에는 고객명과 가격이 들어가고, 기술문서에는 공정이나 설계 정보가 포함될 수 있다. 계약서와 품질문서까지 연결하면 공개형 AI 서비스에 그대로 올리기 어려운 자료가 자연스럽게 늘어난다.

이때 검토할 수 있는 방식이 기업 전용 AI 환경이다. 전용 인스턴스나 분리된 클라우드 환경처럼 다른 이용자와 운영 영역을 구분하고, 기업 계정과 권한 정책을 적용하는 형태다. 다만 '전용형'의 범위는 사업자마다 다르므로 물리적 전용 서버인지, 논리적으로 분리된 환경인지, 데이터가 어떤 경로로 외부 모델에 전달되는지는 따로 확인해야 한다.

온프레미스는 서버를 들여놓는 것으로 끝나지 않는다

연구개발 자료, 제조 공정정보, 영업비밀처럼 외부 전송 자체를 제한해야 하는 문서라면 온프레미스가 유력한 선택지가 된다. AI 모델과 문서 데이터베이스를 사내 또는 기업이 통제하는 인프라에서 운영해 외부 전송 범위를 줄일 수 있다.

대신 운영 책임도 기업 쪽으로 이동한다. 서버 장애, 계정 관리, 접근권한, 백업, 보안 패치가 제대로 관리되지 않으면 사내에 설치했다는 사실만으로 안전해지지 않는다. AI 모델을 구동할 서버와 저장장치 비용뿐 아니라 이후 유지관리 인력까지 함께 계산해야 한다.

모든 문서를 한 환경에 넣지 않는 방식도 현실적이다

실제 기업에서는 세 가지 방식 가운데 하나만 선택해야 하는 것은 아니다. 공개자료와 일반 업무자료는 클라우드 AI에서 처리하고, 고객자료나 내부 업무지식은 전용 환경에서 검색하도록 분리할 수 있다. 외부 전송이 제한된 핵심 기술문서는 온프레미스에 남기는 혼합 구성도 가능하다.

문서 전체를 AI 모델에 계속 넣는 구조인지도 살펴볼 필요가 있다. 사내 자료를 별도의 문서 저장소에 보관하고 필요한 내용을 검색해 AI가 답변에 참고하도록 만드는 RAG 방식이라면 문서 관리 정책과 AI 이용 영역을 나눠 설계할 수 있다. 이 경우에도 검색 결과로 어떤 문장이 모델에 전달되는지, 기록이 어디에 남는지는 확인해야 한다.

도입 전에 문서를 세 등급으로 나눠보면 비용이 달라진다

처음부터 AI 제품을 비교하기보다 현재 보유 문서를 먼저 분류하는 편이 낫다. 외부 공개가 가능한 자료, 계약과 관리 절차를 전제로 외부 시스템에서 처리할 수 있는 내부자료, 외부 반출이 곤란한 핵심자료 정도로 나누면 필요한 보안 수준이 드러난다.

외부 반출이 가능한 자료가 대부분이라면 고가의 온프레미스 환경을 먼저 구축할 이유가 줄어든다. 반대로 핵심 기술자료와 고객 기밀을 AI가 직접 다뤄야 한다면 저렴한 클라우드 서비스만 비교해서는 필요한 통제 수준을 확보하기 어렵다.

결국 중소기업에서 확인해야 할 항목은 세 가지다. 어떤 문서를 AI가 처리하는지, 데이터가 회사 밖으로 이동하는지, 그 환경을 누가 운영하고 책임지는지다. 이 세 항목을 문서별로 표시해 보면 클라우드형으로 충분한 영역과 전용형 또는 온프레미스가 필요한 영역이 자연스럽게 구분된다.

※ AI 보안 방식은 문서의 민감도, 개인정보 포함 여부, 계약 조건, 내부 보안정책과 시스템 구성에 따라 달라질 수 있다. 실제 도입 전에는 사용하려는 서비스의 데이터 보관·학습 이용·접근권한·삭제 정책을 확인할 필요가 있다.