Echoes of Somewhere 제작 분석: AI 배경 한 장을 걸어 다니는 공간으로
Midjourney·Photoshop·Blender·Unity의 연결과 ChatGPT 카메라 코드, ElevenLabs 음성 파일 작업을 개발일지로 살펴봐요.
마지막 업데이트
예쁜 AI 배경을 한 장 만들었다고 캐릭터가 그 안을 자연스럽게 걸어 다닐 수 있는 것은 아니에요. Echoes of Somewhere는 그 사이에 어떤 작업이 필요한지 보여주는 실험적 2.5D 포인트 앤 클릭 어드벤처예요. 이 사례에서 제가 가장 흥미롭게 보는 부분은 AI의 그림 자체보다, 그림을 공간으로 해석하고 캐릭터와 그림자를 맞추는 제작자의 작업이에요.
Jussi Kemppainen의 2023~2024년 개발 기록을 중심으로 읽었어요. 2026년 10월 28일 확인한 공식 Steam 페이지는 출시일 미정·아직 Steam에서 이용 불가로 표시돼요. 과거 개발일지에는 2023년 12월 Windows·Mac 데모 공개 기록이 있지만, 지금 그 파일을 내려받거나 실행한 것은 아니에요. 현재 완성작이 무료로 출시됐다고 소개하지 않을게요. 공식 Steam · 개발일지 목록
자료 접근에도 경계가 있어요. 일부 원문 URL은 이번 직접 열기에서 403을 반환했어요. 아래 설명은 공개 검색에서 확인할 수 있었던 개발일지 보관 본문과 공식 Steam 설명을 읽은 분석이에요. 원문 전체가 오늘 정상 제공되는지, 현재 UI와 메뉴가 같은지 확인한 것은 아니에요. 설치·Unity 장면·음성 생성을 직접 실행한 후기도 아니에요.
어떤 AI를 어디에 썼을까요
| 작업 | 개발일지의 도구 | 사람이 맡은 부분 |
|---|---|---|
| 배경 이미지 | Midjourney | 구도 선정, 여러 결과의 연결과 편집 방향 결정 |
| 이미지 합성과 보정 | Photoshop, 생성형 채우기 | 공간들이 이어지도록 합성하고 수동 수정 |
| 이미지의 공간화 | fSpy·Blender·Unity | 원근 추정, 기본 지형 모델링, 카메라와 가림 설정 |
| 카메라 코드의 일부 | ChatGPT | 필요한 함수 선택·연결, 후속 코드 수정 |
| 일부 음성 | ElevenLabs | 대사 준비, 음성 선택, 재생성·파일 이름 관리 |
fSpy·Blender·Unity를 이 사례에서 전부 생성 AI라고 부르면 안 돼요. 이들은 생성 이미지와 캐릭터를 실제 게임 장면으로 잇는 제작 도구예요. 음성도 모두 AI라는 설명이 아니에요. 제작자는 사람의 연기와 AI, 오래된 Apple 음성 합성을 섞는 방식을 설명했어요. 카메라·장면 제작 기록 · 음성 기록
1단계: 배경의 시점과 공간을 먼저 잡아요
시청 대기실 제작 기록에서는 Midjourney의 pan·zoom·vary region 도구와 Photoshop 합성·생성형 채우기를 조합해 여러 공간을 연결했다고 설명해요. 멋진 이미지 한 장을 고르는 것으로 끝나지 않는 이유는 캐릭터가 걸을 위치, 출입구, 카메라가 이동할 범위를 함께 만족해야 하기 때문이에요. 이미지의 서로 다른 구역에서 원근이 어긋나면 그 위에 놓은 캐릭터 크기가 불안정하게 느껴질 수 있어요.
fSpy로 카메라 원근을 추정한 뒤 Blender에서 방의 기본 형태를 만들고 Unity에 가져가 깊이를 비교했어요. 해당 대기실에서는 여러 번 조정한 뒤 22mm를 선택했다고 기록돼요. 22mm는 이 장면의 선택값이지 다른 배경에 그대로 넣는 정답은 아니에요. 제작자는 카메라가 자유롭게 움직이는 공간이라 다른 장면보다 모델링을 더 정확하게 해야 했다고 설명해요. 2023년 11월 21일 기록
2단계: 보이지 않는 입체 구조가 역할을 해요
2023년 1월 기록에는 화면의 카메라 밖에서 보면 배경의 3D 구조가 크게 늘어나 보이는 예시가 나와요. 관객에게 보여줄 최종 시점에 맞춘 구조이기 때문이에요. 이 입체 구조는 캐릭터가 물체 뒤로 들어갈 때 가려지게 하고, 깊이에 따라 크기를 맞추고, 그림자를 받을 바닥을 마련하는 데 쓰여요. 배경이 한 장이라는 이유로 이 작업이 없어지는 것은 아니에요.
특히 그림자가 까다로워요. 생성된 배경에는 이미 조명과 그림자가 그림으로 들어가 있어요. 그 위에 Unity 그림자를 단순히 곱하면 원래 어두운 곳이 더 어두워지고 밝은 반사까지 함께 죽을 수 있어요. 제작자는 원본 배경과 손으로 그늘을 칠한 배경 두 장을 만들고, 3D 그림자를 마스크처럼 사용해 두 이미지를 섞는 셰이더를 설명했어요. 이것은 “AI가 자동으로 실시간 조명을 해결했다”는 사례가 아니에요. 그림자·가림 설명
해당 글은 공개한 셰이더가 Unity 2022와 호환되지 않는다고도 적고 있어요. 그래서 코드가 있다는 이유만으로 현재 Unity에 붙여넣으면 된다고 안내하지 않아요. 배울 부분은 두 배경을 마스크로 섞는 원리이며, 현재 렌더 파이프라인에서의 구현은 별도 검증이 필요해요.
3단계: ChatGPT는 카메라 문제의 일부를 도왔어요
시청 장면의 개발일지에는 넓은 이미지로 이루어진 공간에서 카메라를 움직이는 코드와 입력 dead zone을 ChatGPT 도움으로 구성한 과정이 있어요. dead zone은 입력이 아주 작을 때 움직임으로 처리하지 않는 구간이에요. 카메라가 불필요하게 흔들리거나 계속 움직이는 문제를 줄이기 위한 개념으로 볼 수 있어요.
하지만 2024년 6월 후속 글에서는 이전 카메라가 다른 장면에 쓰기 불편해 범용으로 다시 작성했다고 설명해요. 필요한 방향 계산에는 ChatGPT를 물었지만 전체 작업에서 AI 도움은 적었다고도 적혀 있어요. 이 후속 기록까지 읽으면 “ChatGPT가 카메라 시스템 전체를 완성했다”보다 작은 계산을 도움받고 사람이 재구성했다는 설명이 정확해요. 후속 카메라 글
4단계: 음성은 생성 뒤에 대사 파일과 연결해요
음성 작업은 Adventure Creator의 대사를 CSV로 내보내는 데서 출발해요. 개발일지에서 제작자는 각 대사를 ElevenLabs의 당시 Speech Synthesis에 넣고 음성을 선택한 뒤 생성했다고 설명해요. 원하는 연기와 다르면 다시 생성하거나 조절값을 바꿨어요. 그 뒤 오디오를 내려받아 CSV에 적힌 파일명과 맞추고, 정해진 폴더에 넣어 게임 대사와 연결해요. 2023년 9월 25일 음성 기록
여기서 CSV는 플레이어에게 읽히는 음성 파일이 아니라 대사와 파일 이름을 이어주는 작업표예요. 문장을 조금 고쳤는데 음성은 예전 파일을 쓰면 화면과 소리가 어긋날 수 있어요. 같은 대사가 여러 번 나와도 서로 다른 맥락일 수 있으므로 이름과 대사 ID가 중요해져요. 생성 음성의 자연스러움만 확인하고 파일 연결을 건너뛰면 안 되는 이유예요.
당시 제작자는 stability를 낮춰 더 극적인 표현을 유도했지만, 비꼼이나 숨은 의미 같은 연기 지시에는 한계가 있다고 설명했어요. 이것을 현재 ElevenLabs 모든 모델의 공통 제약이나 현재 버튼 위치로 일반화하지 않아요. 정확한 음성 모델 버전·현재 계정 비용·한국어 연기 품질은 이번 자료로 확인하지 못했어요.
따라 해보기: 장면 한 개의 제작 계획을 완성해요
이 글의 연습은 미출시 프로젝트를 복제하거나 구형 셰이더를 실행하는 것이 아니에요. 자기 배경 한 장과 대사 세 줄을 위한 제작 계획표를 만드는 작업이에요. 이미 보유하고 사용 권한이 있는 이미지를 준비하면 새 AI 가입이나 결제 없이 계획을 만들 수 있어요. Unity·Blender 설치와 실제 장면 제작은 별도 실행 과제로 남겨요.
- 자기 이미지에서 바닥, 문, 캐릭터를 가려야 할 앞쪽 물체를 표시해요. 한 장에 같은 크기의 임시 캐릭터를 앞·중간·뒤 위치로 배치할 때 원근이 어떻게 달라져야 할지 적어요.
- 방의 기본 형태와 최종 카메라가 볼 범위를 도식으로 그려요. 22mm를 그대로 가져오는 대신 해당 이미지의 소실점과 맞는지 확인해야 한다고 기록해요.
- 기본 배경과 그늘 표현용 배경을 별도 파일로 관리할 계획을 세워요. 이 단계에서 실시간 그림자가 이미 완성됐다고 표시하지 않아요.
- 아래와 같이 세 대사와 오디오 이름을 CSV로 기록해요. 예시는 범블비가 새로 만든 연습 대사이며 게임의 실제 대사가 아니에요.
- 음성을 나중에 생성한다면 각 파일을 재생해 문장·발음·감정과 대응 이름을 확인하고, 장면 안에서 같은 대사 ID로 재생되는지 점검해요. 현재 UI나 폴더 규칙은 설치한 Adventure Creator 버전의 문서를 따라야 해요.
scene-plan.md와dialogue-plan.csv를 저장하고 다시 열어 UTF-8 한글, 대사 ID, 파일명과 미완료 항목이 보존됐는지 확인해요.
line_id,text,planned_audio,check
ROOM_001,문이 잠겨 있어요.,ROOM_001.wav,not_generated
ROOM_002,바닥에 작은 열쇠가 있어요.,ROOM_002.wav,not_generated
ROOM_003,이제 문을 열 수 있겠어요.,ROOM_003.wav,not_generated
이 이름은 작업 원리를 설명하는 편집용 계획이에요. 원본 프로젝트의 파일 명명 규칙이나 Adventure Creator에 그대로 가져올 수 있는 CSV 스키마가 아니에요. 계획을 실제 연동 형식으로 변환하는 단계가 추가로 필요해요. 장면 계획에 가림·그림자·카메라·대사 연결의 책임이 각각 적혀 있고, 아직 생성하지 않은 오디오가 완료로 표시되지 않으면 이번 문서 작업은 끝난 것으로 볼게요.
비용과 재사용, 아직 확인하지 못한 부분
Steam 설명은 여가 시간에 진행하는 실험적 프로젝트라고 소개하지만, 이것만으로 제작 도구와 생성 작업이 무료였다고 판단할 수는 없어요. 전체 비용·시간 절감·프롬프트 횟수는 이 글에서 검증하지 않았어요. 현재 사용할 수 있는 무료 범위와 상업 이용 조건은 각 서비스와 에셋별로 다시 확인해야 해요. 개발일지가 공개됐다는 사실도 그림·오디오·셰이더 전체의 재배포 허락을 대신하지 않아요.
이번에는 실제 장면 스크린샷의 재사용 조건을 확보하지 못해 원본 이미지를 복사하지 않았어요. 본문의 제작 흐름도는 공개 설명을 바탕으로 직접 그린 개념도이며 제품 UI나 실행 결과가 아니에요. 원본 화면과 제작 예시는 연결한 개발일지에서 볼 수 있지만, 앞서 설명한 직접 접속 제한이 있을 수 있어요. 현재 Steam 페이지의 운영체제 표기도 최종 출시와 실제 호환성 시험을 대신하지 않아요.
왜 이 사례를 자세히 볼 가치가 있을까요
저는 이 프로젝트가 “이미지를 생성하면 게임이 된다”는 생각에서 빠진 중간 작업을 보여준다고 봐요. 원근을 맞추고, 가려지는 물체를 만들고, 그림자를 손보고, 대사와 오디오를 연결하는 부분이 남아 있어요. AI 생성과 사람의 장면 설계를 나눠 볼 수 있다는 것이 장점이에요. 반면 독자가 현재 도구에서 같은 결과를 얻는 데 얼마나 걸리는지, 생성 없이 만드는 방법보다 빠른지는 아직 비교하지 않았어요.
직접 비교한다면 같은 자기 배경과 같은 캐릭터를 쓰고 앞·중간·뒤 이동, 물체 뒤 가림, 바닥 접촉, 카메라 이동 경계, 세 대사의 파일 연결을 확인해야 해요. 이미지 생성 시간만이 아니라 원근 수정·모델링·음성 재생성·재연결 시간을 포함하고, 저장한 장면을 닫았다가 다시 열어도 설정이 유지돼야 해요. 이것이 앞으로의 검증 조건이지 이번 글의 테스트 성적은 아니에요.
코드·그림·음악을 프로젝트에 묶는 과정은 SpAIceRocks, 최소 물리 동작부터 반복하는 과정은 Angry Pumpkins에서 볼 수 있어요. 좀보이드 3D 모드 분석과 함께 읽으면 작품마다 AI가 맡는 범위가 얼마나 다른지 비교하기 좋아요.
왜 배경 한 장에서 작업이 계속 이어질까요?
2D 배경은 한 장의 그림이고 3D 캐릭터는 공간 안에서 움직이는 대상이에요. 둘을 합치려면 그림 속 바닥 방향과 캐릭터가 서는 공간이 맞아야 해요. 예를 들어 건물은 멀어지며 작아지는데 캐릭터는 같은 크기로만 움직인다면 같은 장면에 있는 느낌이 어색해질 수 있어요. 이 문제는 그림을 더 선명하게 생성하는 것만으로 해결되지 않아요.
제작자가 공개한 과정에서 fSpy는 원근을 해석하는 연결 도구로, Blender는 필요한 공간 형태를 준비하는 단계로, Unity는 캐릭터와 배경이 함께 보이는 실행 장면으로 읽을 수 있어요. 각 단계에서 얻는 것은 이미지, 카메라 관련 정보, 공간 형태, 엔진의 연결 상태처럼 달라요. 이 글은 그 관계를 설명하며 원본 장면 파일을 열어 동일한 결과를 재현한 기록은 아니에요.
가림과 그림자는 서로 다른 문제예요
캐릭터가 건물 뒤로 갔을 때 일부가 보이지 않는 것은 가림 문제예요. 캐릭터가 바닥에 붙어 서 있는 느낌을 만드는 그림자는 또 다른 문제예요. 화면이 예쁘다는 이유만으로 두 기능이 모든 위치에서 맞는다고 결론내리지 않아요. 실제 확인에서는 앞·뒤로 이동하는 위치와 그림자가 생기는 위치를 나눠 살펴봐야 해요.
제작자는 배경의 그림자 표현과 엔진의 그림자를 맞추는 작업도 설명했어요. 정적인 그림 속 조명과 움직이는 3D 대상의 조명이 충돌하면 캐릭터가 따로 붙인 스티커처럼 보일 수 있어요. 그래서 이 사례를 “Midjourney 그림을 Unity에 넣으면 완성”으로 요약하지 않아요. 생성과 편집 뒤에도 원근·가림·빛을 맞추는 제작 판단이 남아요.
음성 한 줄도 파일 이름과 대사 연결이 필요해요
대사를 음성 AI에 넣어 소리를 받는 것과, 게임의 정확한 대사에서 그 소리가 재생되는 것은 다른 단계예요. 제작자의 당시 설명에는 Adventure Creator에서 내보낸 CSV와 음성 파일 이름을 연결하는 과정이 나와요. 어떤 줄을 생성했는지 알아도 파일명이 맞지 않거나 다른 대사에 연결되면 의도한 장면과 다른 결과가 나올 수 있어요.
처음 따라 배우는 사람이라면 원본 게임 대사를 복제하기보다 자신이 쓴 짧은 대사 한 줄을 기준으로 기록하는 연습을 할 수 있어요. 대사 식별자, 텍스트, 받은 파일명, 엔진에서 연결한 위치, 재생 확인 여부를 따로 적어요. 이번 글에서는 음성을 생성하거나 엔진 재생을 시험하지 않았으므로 실제 발음이나 처리 시간을 평가하지 않아요.
배경 입문과 엔진 입문을 나눠서 시작해요
먼저 Midjourney 첫 배경 사용법으로 이미지 파일과 생성 기록을 남기는 흐름을 익혀요. 다음에는 Unity 첫 장면에서 파일과 대상·카메라·저장을 구분해요. 두 입문을 끝냈다는 것만으로 원근 매칭과 그림자 합성까지 완료한 것은 아니에요. 그다음 과제가 무엇인지 이해할 기반을 만드는 단계예요.
원본 제작 글의 카메라 값이나 셰이더를 그대로 적용하기 전에는 해당 장면의 값인지, 자신의 렌더링 환경과 맞는지 확인해야 해요. 특히 본문에서 언급한 22mm는 특정 장면의 기록이며 모든 배경을 맞추는 만능 설정이 아니에요. 첫 시도에서는 배경 한 장과 캐릭터 하나로 범위를 좁히고, 걸어야 할 영역·가려져야 할 부분·그림자 조건을 미리 정해두면 확인할 일이 선명해져요.
Unity의 AI 연결 방법을 배우려면 MCP for Unity 학습 순서로 이어갈 수 있어요. 이 MCP를 해당 게임 제작자가 사용했다고 확인한 것은 아니에요.
참고 자료
- https://store.steampowered.com/app/2330520/
- https://echoesofsomewhere.com/2023/01/04/ai-character-design/
- https://echoesofsomewhere.com/2023/01/09/ai-assisted-graphics-blending-3d-characters-on-top-of-2d-backgrounds/
- https://echoesofsomewhere.com/2023/11/21/using-chatgpt-for-code-city-hall-part5/
- https://echoesofsomewhere.com/2023/09/25/ai-voiceovers/
- https://echoesofsomewhere.com/2024/06/04/simple-camera-controller/
- https://echoesofsomewhere.com/category/s01ep01/
- https://premortem.games/2023/08/30/jussi-kemppainen-is-exploring-ai-assisted-game-development-with-echoes-of-somewhere/