잔재미코딩(DaveLee)의 쇼츠 **「구글 무료 AI 미쳤다. 영상 속 장면까지 찾는다」**에서는 Google이 공개한 **EmbeddingGemma 2**를 활용해 텍스트뿐 아니라 사진·영상·음성·코드까지 자연어로 검색하는 멀티모달 RAG 사례를 소개합니다. ## EmbeddingGemma 2는 무엇인가? 임베딩 모델은 문장이나 데이터의 의미를 숫자 벡터로 바꿔, 단어가 정확히 일치하지 않아도 의미가 비슷한 자료를 찾게 해주는 모델입니다. 영상에서는 이전 버전이 주로 텍스트 중심이었다면, EmbeddingGemma 2는 **사진·영상·음성까지 함께 이해하는 멀티모달 임베딩 모델**로 소개합니다. 즉, 단순 키워드 검색을 넘어 다음과 같은 질의가 가능해집니다. - “바다에서 헤엄치는 펭귄 장면 찾아줘” - “이 녹음들 중에서 결정 내용을 말한 파일 찾아줘” - “계약서에서 해지 조건이 적힌 조항 찾아줘” - “무음을 줄이는 코드가 어디 있는지 찾아줘” ## 내 PC에서 로컬로 검색 영상에서는 한 개발자가 EmbeddingGemma 2를 활용해 만든 맥 앱 **DigUp** 사례를 소개합니다. 핵심은 자료를 클라우드에 올리지 않고 **내 PC 안에서 직접 색인하고 검색할 수 있다는 점**입니다. 영상에서 소개된 특징은 다음과 같습니다. - 로컬 파일 검색 - 자연어 질의 - 인터넷 연결 없이 동작 - 영상 내부 특정 장면 검색 - 음성 녹음의 특정 내용 검색 - 사진 의미 검색 - 코드 의미 검색 ## 영상 속 장면도 자연어로 찾기 테스트에서는 펭귄 영상에서 특정 장면을 영어와 한국어로 검색했고, 1초 이내에 관련 장면을 찾았다고 소개합니다. 또한 여러 영상을 이어 붙인 약 4분 분량 영상에서도 한국어 자연어 질의로 원하는 장면을 찾아냈다고 설명합니다. 즉, RAG의 검색 대상이 문서 페이지를 넘어 **영상의 시간 구간**까지 확장되는 구조입니다. ## 음성과 사진 검색 녹음 파일의 경우 파일명을 몰라도 내용만 설명해 원하는 음성 파일을 찾을 수 있고, 사진도 객체나 장면의 의미를 자연어로 설명해 검색할 수 있다고 소개합니다. 이런 구조는 다음과 같은 개인 데이터 검색에 활용할 수 있습니다. - 회의 녹음 - 강의 녹음 - 촬영 영상 - 사진 아카이브 - 개인 문서 - 프로젝트 코드 ## 코드 검색에도 활용 영상에서는 코드 파일도 자연어로 검색하는 테스트를 진행합니다. 예를 들어 정확한 함수명이나 파일명을 몰라도 “무음을 줄이는 코드”처럼 기능을 설명하면 관련 코드를 찾는 방식입니다. 대규모 프로젝트에서 파일명을 기억하지 못해도 **코드의 의미로 검색할 수 있다는 점**이 장점입니다. ## 기존 텍스트 RAG와 비교 영상에서는 한국어 RAG 평가용 PDF 64개와 질문 300개를 사용해, 텍스트 검색에 많이 쓰이는 **bge-m3**와 비교했다고 설명합니다. 상위 5개 검색 결과 안에 정답 페이지가 포함된 비율이 두 모델 모두 비슷한 수준이었다고 소개합니다. 다만 EmbeddingGemma 2는 텍스트뿐 아니라 사진·영상·음성까지 같은 검색 구조로 다룰 수 있다는 점에서 활용 범위가 더 넓습니다. > 위 정확도와 속도 수치는 영상 제작자의 자체 테스트 결과입니다. 데이터셋과 환경에 따라 실제 성능은 달라질 수 있습니다. ## 로컬 멀티모달 RAG의 구조 전체 흐름은 다음과 같이 이해할 수 있습니다. **문서·사진·영상·음성·코드 → EmbeddingGemma 2로 임베딩 → Vector DB 저장 → 자연어 질의 → 관련 자료 검색** 기존 RAG가 PDF나 텍스트 문서를 중심으로 동작했다면, EmbeddingGemma 2 같은 멀티모달 임베딩 모델을 사용하면 **하나의 Vector DB에서 여러 형태의 데이터를 함께 검색하는 구조**를 만들 수 있습니다. ## 활용 가능성 특히 다음과 같은 개인용·사내 검색 시스템에 적합합니다. - 사내 문서 검색 - 회의 영상 검색 - 교육 영상 장면 검색 - 사진·영상 자산 관리 - 음성 기록 검색 - 코드베이스 검색 - 개인 지식 저장소 이 영상의 핵심은 RAG가 더 이상 ‘문서 검색’에만 머물지 않고, **내 PC의 사진·영상·음성·코드까지 하나의 의미 검색 시스템으로 연결되는 방향**으로 발전하고 있다는 점입니다.