1. 컴퓨터 비전 및 이미지 생성 분야의 딥 러닝 모델 연구 개발
주요 내용:
컴퓨터 비전:
- 이미지 인식, 객체 탐지, 세그멘테이션, 스타일 변환 등 창작자의 요구를 충족하는 기술 연구.
- 예를 들어, 웹툰 제작자를 위한 캐릭터 자동 배경 생성, 특정 스타일에 맞는 그림 변환 모델 등을 개발.
- GAN(Generative Adversarial Networks), Diffusion 모델 등을 활용해 웹툰이나 영상 제작 과정에서 필요한 이미지를 자동 생성.
- 특정 화풍을 모방하거나 새로운 캐릭터 디자인을 생성하는 모델 연구.
적용 사례:
- 창작자가 손쉽게 스케치를 올리면 AI가 자동으로 채색하거나 스타일을 입히는 툴 제공.
- 배경 이미지 자동 생성: 도시, 자연 환경, 판타지 배경 등 다양한 스타일의 배경 생성.
2. 이미지, 비디오 Foundation Model 연구 개발
주요 내용:
Foundation Model:
- 대규모 데이터셋으로 학습한 범용 모델로, 다양한 창작 분야에서 활용 가능.
- 이미지와 비디오를 다룰 수 있는 멀티모달 모델 연구 및 개발.
- 대표적인 예: OpenAI의 DALL·E, Google DeepMind의 Imagen, Meta의 Make-A-Video.
비디오 생성 기술:
- 텍스트를 입력하면 해당 내용을 기반으로 스토리를 가진 애니메이션 영상 생성.
- 이미지 시퀀스 생성 후 이를 연결해 자연스러운 동영상 제작.
적용 사례:
- 웹툰이나 애니메이션 제작 시 텍스트 기반으로 캐릭터 움직임을 구현.
- 영상 콘텐츠 제작 과정에서 창작자의 상상력을 바탕으로 초기 프로토타입을 빠르게 생성.
3. 연구에 필요한 데이터 추출/가공/정제 및 분산 학습
주요 내용:
데이터 추출 및 가공:
- 인터넷, 오픈소스 라이브러리 등에서 데이터를 크롤링하거나, 클라우드 플랫폼을 통해 대규모 데이터셋 확보.
- 비정형 데이터를 정제해 학습 가능한 상태로 변환(예: 노이즈 제거, 어노테이션 추가).
데이터 정제:
- 창작자 작업에 필요한 데이터의 품질을 높이기 위해 어노테이션 툴 사용 및 전처리 진행.
- 도메인 특화 데이터셋 구축(예: 웹툰 화풍, 특정 문화적 배경, 특정 장르의 색감).
분산 학습:
- 대규모 모델 학습을 위해 GPU 클러스터나 클라우드 플랫폼 활용.
- 데이터 병렬 처리 및 효율적인 자원 분배를 통해 모델 학습 속도 최적화.
적용 사례:
- 웹툰 스타일 데이터를 수집한 뒤 특정 작가의 화풍을 재현하는 AI 모델 개발.
- 대규모 비디오 데이터를 학습해 스토리 보드 제작 자동화.
4. 창작 툴과 연계되는 파이프라인 개발
주요 내용:
창작 툴 통합:
- 웹툰 제작 소프트웨어, 영상 편집 툴 등과 AI 모델을 연결하는 API 및 SDK 개발.
- 사용자가 창작 과정에서 AI를 자연스럽게 활용할 수 있도록 사용자 친화적인 인터페이스 설계.
파이프라인 자동화:
- 데이터 입력(스케치, 텍스트 등) -> AI 처리 -> 결과물(이미지, 영상) 출력 과정의 자동화.
- 사용자의 피드백을 기반으로 결과를 반복 개선하는 루프 제공.
실시간 협업 툴:
- 클라우드 기반으로 여러 창작자가 동시에 작업할 수 있는 플랫폼 개발.
- 예: 공동 작업 중 AI가 실시간으로 제안(컬러 팔레트, 스토리 아이디어 등).
적용 사례:
- 웹툰 작가가 사용하는 클립 스튜디오와 같은 도구에 AI 보조 기능 추가.
- 영상 제작 툴에서 텍스트로 스토리보드를 작성하면 즉시 애니메이션 프리뷰 제공.