# DoodleMates: 멀티모달 크리처 생성기로 나만의 캐릭터를 손쉽게 만들자

*(SEO 키워드: 멀티모달 AI, 크리처 생성기, Google AI Studio)*

---

# # 📌 서론 – “내가 원하는 캐릭터, 왜 이렇게 만들기 어려울까?”

디자인 전공이 아니거나 프로그래밍 경험이 부족한 사람에게 **‘캐릭터 디자인’**은 큰 장벽으로 다가옵니다.

- 아이디어는 떠오르지만, 이를 그림으로 옮기는 과정이 복잡하고 시간도 많이 듭니다.

- 기존 이미지 편집 툴은 **전문적인 스킬**을 요구하거나, **라이선스 문제**로 자유롭게 사용할 수 없습니다.

이런 문제를 해결하고자 **Google AI Studio**와 **멀티모달 AI** 기술을 활용한 **DoodleMates** 프로젝트가 탄생했습니다. 초보자도 몇 번의 클릭만으로 나만의 **크리처 생성기**를 만들 수 있게 도와줍니다.

---

# # 1️⃣ DoodleMates란? – 멀티모달 AI가 만든 ‘그림‑텍스트’ 콤보

DoodleMates는 **텍스트 프롬프트**와 **스케치(도들)** 를 동시에 입력받아,

그에 맞는 **다양한 크리처 이미지**를 자동으로 생성해 주는 **멀티모달 생성기**입니다.

- **텍스트** : “불꽃을 머리 위에 두고, 파란색 날개가 달린 용”

- **스케치** : 간단한 라인 드로잉(손그림)

두 입력을 결합해 **Google AI Studio**가 제공하는 **Vision‑Language 모델**이

‘텍스트 의미 + 스케치 형태’를 동시에 이해하고, 고해상도 이미지를 출력합니다.

> **핵심 포인트**

> - 별도의 모델 학습 없이 **Google AI Studio**의 사전 학습 모델을 바로 활용

> - 웹 UI(React)와 백엔드(Flask)만 연결하면 **클라우드 배포**가 가능

---

# # 2️⃣ 구현 단계 – 초보자도 따라 할 수 있는 4가지 과정

## # 2.1 프로젝트 환경 설정

```
bash

# 1️⃣ GitHub 레포 복제

git clone https://github.com/3m/doodlemates.git

cd doodlemates

# 2️⃣ 가상환경 생성 & 패키지 설치

python -m venv venv

source venv/bin/activate

pip install -r requirements.txt

```

> **Tip** : `requirements.txt`에 `google-cloud-aiplatform` 과 `torchvision` 이 포함돼 있어, **Google AI Studio**와 연동하기 위한 기본 라이브러리가 자동 설치됩니다.

## # 2.2 Google AI Studio 프로젝트 연결

1. **Google Cloud Console** → **AI Platform** → **Studio** 로 이동

2. 새 **Studio 프로젝트** 생성 → 모델 선택 (예: `multimodal-vision-language`)

3. 서비스 계정 키(JSON)를 다운로드하고, 프로젝트 루트에 `gcp_key.json` 저장

4. `config.yaml` 파일에 프로젝트 ID와 모델 경로 입력

```
yaml

gcp_project_id: 'my-gcp-project'

model_name: 'projects/my-gcp-project/locations/us-central1/models/multimodal-vision-language'

```

## # 2.3 프론트엔드와 백엔드 연동

- **React**(frontend) → 사용자가 입력한 텍스트와 스케치를 `POST /generate` 로 전송

- **Flask**(backend) → 요청을 받아 `google-cloud-aiplatform` 로 모델 호출, 결과 이미지 반환

```
python

# backend/app.py (핵심 부분)

from google.cloud import aiplatform

def generate_creature(text, doodle):

    endpoint = aiplatform.Endpoint(model_name)

    response = endpoint.predict(instances=[{

        'prompt': text,

        'image': doodle  # base64 인코딩된 스케치

    }])

    return response.predictions[0]['generated_image']

```

## # 2.4 결과 확인 및 저장

생성된 이미지는 **Base64** 형태로 프론트엔드에 전달돼 바로 화면에 표시됩니다.

원한다면 `download` 버튼을 눌러 **PNG** 파일로 저장하거나, **Firebase Storage**에 자동 업로드하도록 확장할 수 있습니다.

---

# # 3️⃣ 활용 사례 – 어디에 쓸 수 있을까?

| 분야 | 활용 아이디어 | 기대 효과 |

|------|--------------|-----------|

| **게임 개발** | NPC·몬스터 디자인 초안 자동 생성 | 디자인 시간 70% 절감 |

| **교육** | 과학·역사 수업용 ‘생물·신화 존재’ 시각화 | 학생 흥미·참여도 상승 |

| **SNS·마케팅** | 브랜드 마스코트·이모티콘 제작 | 차별화된 콘텐츠로 팔로워 증가 |

| **아트·일러스트** | 개인 포트폴리오용 독창적인 캐릭터 라인업 | 작품 다양성 확보 |

특히 **멀티모달 AI** 특성 덕분에 “텍스트만” 혹은 “스케치만” 입력해도 만족스러운 결과를 얻을 수 있어, **사용자 경험(UX)** 가 크게 향상됩니다.

---

# # 4️⃣ 한계와 앞으로의 개선 방향

| 현재 한계 | 개선 방안 |

|----------|-----------|

| 생성 이미지 해상도가 512×512 로 제한 | 고해상도 업스케일링 모델(예: **Stable Diffusion XL**) 연동 |

| 특정 프롬프트(예: “투명한 물고기”) 에서 왜곡 발생 | 도메인‑특화 데이터(물고기 이미지)로 **파인튜닝** |

| 실시간 응답 속도가 3~5초 수준 | **Vertex AI Endpoints** 로 자동 스케일링 적용 |

이러한 개선을 통해 **DoodleMates**는 더 많은 창작자와 개발자가 손쉽게 **크리처 생성기**를 활용하도록 지원할 수 있습니다.

---

# # 🎉 결론 – 지금 바로 나만의 크리처를 만들어 보세요!

- **Google AI Studio**와 **멀티모달 AI** 기술을 활용하면 복잡한 모델 학습 없이도 바로 결과물을 얻을 수 있습니다.

- 위의 4단계 가이드를 따라 프로젝트를 **클론**, **배포**하고, **텍스트 + 스케치**만 입력하면 나만의 독창적인 캐릭터가 완성됩니다.

> **행동 유도**

> 1️⃣ 레포지토리를 포크하고, 직접 실행해 보세요.

> 2️⃣ 만든 캐릭터를 SNS에 공유하고, `#DoodleMates` 해시태그를 달아 주세요.

> 3️⃣ 개선 아이디어가 있다면 **Pull Request** 로 기여해 주세요!

여러분의 창의력이 **멀티모달 AI**와 만나면 어떤 새로운 세계가 펼쳐질지 기대됩니다. 지금 바로 시작해 보세요! 🚀