https://github.com/janhq/jan
오프라인에서 모델을 쓸 수 있게 해주는 GUI 앱입니다. 내부망이시면 이 앱의 설치파일이랑 사용할 모델 파일만 외부에서 미리 받아두고 내부망으로 옮겨서 쓰시면 될 것 같아요.
모델을 수동으로 추가하는 방법은 아래에 나와있습니다.
https://jan.ai/guides/using-models/import-manually/

망분리된 환경에서는 솔직히 말해서 개발자에게 족쇄를 채우는 것과 다름 없지요

요즘 망분리 정책 완화 관련된 얘기도 나오고 좀 개선되려는 노력도 보이고 있으니, 희망을 가져볼수도 있겠지만, 은행, 텔레콤 등등 개인정보 다루는 곳은 앞으로도 아마 좀 어려울거 같습니다. 개발자들에게는 너무나 감옥같은 환경이죠.