Вы помните сцену из видео, но не помните его название или что кто-то говорил. Для поиска по расшифровке почти нет зацепок.
Выпустив 6 октября EmbeddingGemma 2, Google предложила разработчикам ещё один способ поиска: сопоставлять описание с самими изображениями и звуком. Модель преобразует текст, изображения, аудио и видео в сравнимые числовые представления, поэтому для поиска видеоклипа можно использовать голосовой запрос. Запрос и запись не обязательно должны быть в одном формате.
Google приводит конкретный пример в приложении AI Edge Gallery: Video Moments Finder находит нужные фрагменты по текстовым или голосовым запросам. В другом примере для поиска можно использовать изображение. Можно начать с чего-то похожего на то, что вы помните, вместо того чтобы сначала подбирать слова для описания.
Модель предназначена для работы на телефонах и ноутбуках. По словам Google, разработчики могут создать такой поиск, который будет работать полностью офлайн, а обработка медиафайлов будет выполняться на устройстве. Благодаря этому личная коллекция записей может стать поисковой библиотекой без необходимости сначала загружать её в облачный сервис.
Это поиск совпадений по сходству, поэтому найденное всё равно придётся просмотреть. Но теперь отправной точкой для поиска может стать то, что вы помните: сцена, звук или другое изображение, а не название файла.
Источники:
https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2
Изображение: созданная ИИ редакционная иллюстрация личной коллекции медиафайлов, а не фотография продукта Google и не снимок экрана приложения.
Выпустив 6 октября EmbeddingGemma 2, Google предложила разработчикам ещё один способ поиска: сопоставлять описание с самими изображениями и звуком. Модель преобразует текст, изображения, аудио и видео в сравнимые числовые представления, поэтому для поиска видеоклипа можно использовать голосовой запрос. Запрос и запись не обязательно должны быть в одном формате.
Google приводит конкретный пример в приложении AI Edge Gallery: Video Moments Finder находит нужные фрагменты по текстовым или голосовым запросам. В другом примере для поиска можно использовать изображение. Можно начать с чего-то похожего на то, что вы помните, вместо того чтобы сначала подбирать слова для описания.
Модель предназначена для работы на телефонах и ноутбуках. По словам Google, разработчики могут создать такой поиск, который будет работать полностью офлайн, а обработка медиафайлов будет выполняться на устройстве. Благодаря этому личная коллекция записей может стать поисковой библиотекой без необходимости сначала загружать её в облачный сервис.
Это поиск совпадений по сходству, поэтому найденное всё равно придётся просмотреть. Но теперь отправной точкой для поиска может стать то, что вы помните: сцена, звук или другое изображение, а не название файла.
Источники:
https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2
Изображение: созданная ИИ редакционная иллюстрация личной коллекции медиафайлов, а не фотография продукта Google и не снимок экрана приложения.