The Methodology of Near-Duplicate Video Retrieval, NIT-2013

О методах поиска нечетких дубликатов видео, 2014

В приведенном обзоре рассмотрены некоторые методы поиска нечетких дубликатов видео, их преимущества и недостатки. На основе структурного представления видео построена комбинация методов и предложен дескриптор съёмки. Методы поиска нечетких дубликатов реализуют следующие шаги. 1. Видео делят на отрезки. 2. Из каждого отрезка выделяют ключевые кадры. 3. Для представления ключевых кадров извлекают последовательности в которых содержатся характеристики кадров. Характеристики ключевых кадров используются для представления всего видео. 4. Подобие между видео как подобие вычисляют наборов характеристик ключевых кадров. Различают методы, использующие глобальные характеристики (ГХ) и методы, использующие локальные характеристики (ЛХ). ЛХ‑методы сводят задачу поиска похожих видео к задаче поиска дубликатов изображений. В работе рассмотрены ЛХ‑методы: отслеживание траекторий особых точек кадра, сравнение особых точек ключевых кадров, сравнение визуальных «видео‑слов» по частотным словарям ГХ‑методы моделируют пространственную, цветовую и временную информацию кадров и сцен видео. Сходство между видео из запроса и видео из базы определяется как соответствие подписей (сигнатур) видео. Глобальные характеристики полезны, для поиска «почти одинаковых» видео и могут выявить незначительные правки в пространственно‑временной области. В работе рассмотрено несколько способов формирования подписей для ГХ‑методов: локально‑чувствительное хеширование; использование порядковой меры; представление видео как последовательности геномов (ДНК‑представление); фиксация точке перемены съёмок (сцен); построение дерева перемены съёмок. На данный момент наиболее перспективными кажутся ГХ‑методы. Они позволяют без особых вычислительных затрат приближенно решить задачу. Однако, для уточнения могут потребоваться ЛХ‑методы. В конце работы предложена комбинация методов на основе структурного представления видео. Введено понятие дескриптора съёмки. Он состоит: из вектора отношений длин съёмок к длинам других съёмок — глобальные характеристики и описания свойств начального и конечного кадров — локальные характеристики. The paper focuses on an overview of the different existing methods in near duplicate video retrieval. The advantages and disadvantages of the methods are discussed. At the end we suggest an original combination of methods based on structural video representation and propose a novel shot descriptor. Near duplicate video retrieval techniques implement the following steps. 1. Video is divided into segments. 2. Keyframes are extracted from each segment. 3. Features are extracted from keyframes. Keyframe features represent the whole video. 4. The similarity between the videos is calculated as a similarity between keyframe features. There are methods using global features and the local ones. Local methods reduce the problem of finding similar videos to the problem of finding image duplicates. The paper discusses the local methods: tracing the trajectories of the points of interest in the frame; comparison of the points of interest in keyframes; bag of visual keywords. Global methods simulate the spatial, temporal and color information of frames and scenes. The similarity between the video query and the videos from database is defined as the similarity of video signatures. Global features are useful for retrieve „almost identical“ videos and can identify minor changes in the space‑time domain. In this paper we consider several ways to built global signatures: locally sensitive hashing; ordinal measure; video DNA‑representation; shot change positions; the shot change tree. At the end the combination of methods within a novel shot descriptor is 0 proposed. The descriptor consists of: a vector of the relations of shot lengths to lengths of other shots (relative shot lengths) as a global feature; features of initial and final frames as local ones.

Поиск нечетких дубликатов видео, 2013

The paper focuses on an approach to a near-duplicate videos search. The search is based on the comparison of scene relative lengths in the space L2. The comparison is made with Gale-Church hypothesis. The concept "shot descriptor" was introduced. To speed up the performance of this method, semantic hashing was suggested, i.e. a generalization of locally sensitive hashing. В работе рассмотрен подход для поиска нечетких дубликатов видео. Поиск основан на сравнении относительных длин сцен в пространстве L2. Сравнение проводится с учетом гипотезы Гейла-Черча. Вводится понятие «дескриптора сцены». Для ускорения работы метода предложено использовать семантическое хеширование, обобщение локально чувствительного хеширования.

Методология поиска и идентификации нечетких дубликатов видео, 2013

Существует широкий круг задач, где требуется анализ, аудио-визуальных моделей реальности. В частности, для многих военных и гражданских приложений, необходимо наличие поиска нечетких дубликатов видео. Для мирного применения, — это группировка подсказок в выдаче поисковиков, поиск неправомерных публикаций видеофайлов, сокращение объема хранимой и передаваемой информации. Для военного применения можно тоже перечислить несколько вариантов.

Методология поиска и идентификации нечетких дубликатов видеоизображений

Даны два видео файла или потока. Нужно выяснить являются ли они дубликатами друг друга. Здесь, под словом дубликат понимается не формализуемое условие: «На этих файлах изображено одно и то же?». Возможна, и другая постановка этой задачи. Дан набор видео, для нового добавляемого в этот набор видео нужно определить, есть ли дубликат этого нового видео в наборе или нет. Понятие «нечеткий дубликат» является устоявшимся термином в задачах информационного поиска и обычно употребляется применительно к документам и изображениям. Нечеткость в данном случае интерпретируется как неполное или частичное совпадение документов или изображений.

Обзор методов комплексного ассоциативного поиска видео, 2014

The paper focuses on an overview of the different existing methods in content-based video retrieval. During the last decade there was a~rapid growth of video posted on the Internet. This imposes urgent demands on video retrieval. Video has a complex structure and can express the same idea in different ways. This makes the task of searching for video more complicated. Video titles and text descriptions cannot give the hole information about objects and events in the video. This creates a need for content-based video retrieval. There is a semantic gap between low-level video features, that can be extracted, and the users' perception. Complex content-based video retrieval can be regarded as the bridge between traditional retrieval and semantic-based video retrieval. Keywords: frames; near-duplicates video; scenes; shots; video annotation; video classification; video mining; video reranking; video retrieval. В статье предлагается обзор различных существующих методов ассоциативного поиска по видео. В течение прошлого десятилетия наблюдался стремительный рост количества видео размещаемых в Интернете, что создало острую необходимость в появлении поиска по видео. Видео имеет сложную структуру. Одна и та же информация может быть выражена различными способами. Это серьёзно усложняет задачу видео-поиска. Заголовки и описания видео не могут дать полного представления о самом видео, что влечет за собой необходимость использования ассоциативного поиска по видео. Существует семантический разрыв между низкоуровневыми характеристиками видео и восприятием пользователей. Комплексный ассоциативный видео-поиск может рассматриваться как связующее звено между обычным поиском и смысловым поиском по видео. Ключевые слова: анализ видео; аннотирование видео; видео-поиск; кадры; классификация видео; нечеткие дубликаты видео; ранжирование видео; сцены; съёмки.