Цей патент Amazon змінить спосіб пошуку зображень в Інтернеті та за його межами

Нейронні мережі та штучний інтелект розвиваються сьогодні надзвичайно швидкими темпами, змушуючи нас по новому подивитися на раніше звичні нам дії. Одним з основних напрямків цих розробок є робота із зображеннями – розпізнавання зображень, а також створення нових – і ці технології вже зараз знаходять безліч застосувань у різних сферах нашого життя.

Метод, описаний у патенті, нещодавно випущеному компанією Amazon під назвою "Система і метод для локалізації та пошуку рідкісних об'єктів на знімках згори" (System and method for rare object localization and search in overhead imagery), можна розглядати як ще одну віху в розвитку розпізнавання зображень, що має потужний потенціал для використання в різних галузях. Сьогодні ми хочемо подивитися, про що цей патент і що він може нам дати.

Про що йдеться в патенті?

Простими словами, цей патент описує систему і метод, які допомагають знаходити і шукати рідкісні об'єкти на знімках зроблених зверху, наприклад, на супутникових зображеннях. Система використовує нейронну мережу для вилучення характеристик зображень. Ці характеристики допомагають ідентифікувати та зіставляти об'єкти на зображеннях.

Метод працює шляхом подачі запитувального зображення, на якому показано об'єкт для пошуку, і зображення для пошуку, на якому потрібно знайти об'єкт, у нейронну мережу. Нейронна мережа складається з двох частин: одна частина аналізує зображення для пошуку та витягує просторові характеристики, а інша частина аналізує запитове зображення та витягує характеристики вкладення. Ці характеристики можна порівняти з унікальними відбитками пальців, які описують об'єкти.

Після вилучення характеристик метод генерує просторові характеристики за просторовою мережею і характеристику запиту за мережею вкладення. Потім він застосовує характеристику запиту до штучної нейронної мережі (ANN) для індексації, яка є свого роду великою базою даних, що допомагає зіставляти характеристики з відомими об'єктами.

Зрештою, метод визначає найкращий збіг для об'єкта на зображенні для пошуку за допомогою індексу ANN. Це допомагає знаходити рідкісні об'єкти на зображеннях, без необхідності зміни або переробки характеристик або бази даних. Система і метод, описані в цьому патенті, показали хороші результати у визначенні місця розташування об'єктів на супутникових зображеннях і можуть використовуватися в різних додатках, де потрібна точна локалізація об'єктів.

Підсумовуючи, цей патент представляє систему і метод, що використовують нейронну мережу для пошуку і визначення рідкісних об'єктів на надземних зображеннях. Система аналізує характеристики зображень, зіставляє їх з відомими об'єктами, використовуючи базу даних, і забезпечує точні результати без необхідності великих коригувань або модифікацій.

\

Принцип дії нового методу

Застосування методу

Описаний метод було розроблено насамперед для пошуку об'єктів на знімках, зроблених супутниками. Однак його можливе застосування може виходити за рамки цієї галузі. Особливістю цього методу є те, що він дає змогу знаходити конкретні об'єкти на зображенні, що містить безліч інших складних деталей. Якщо попередні методи давали змогу розпізнавати об'єкти, які перебувають у фокусі зображення, то метод, який розглядається у статті, дає змогу виявити те, що може бути ледь помітним людському оку, і швидко класифікувати це. Одне з найбільш практичних застосувань – у галузі медицини, що дає змогу швидко виявити певні захворювання, просто глянувши на тканини, спрощуючи процес діагностики в таких галузях, як гістопатологія та інші.

Знаходження та пошук зображення на накладній фотографії

Крім галузей, розглянутих у статті, метод може знайти застосування і в інших сферах. Ось лише деякі з них:

1. Моніторинг довкілля: Метод може бути застосований до надземних зображень для виявлення рідкісних і зникаючих видів або відстеження змін в екосистемах, щоб забезпечити краще розуміння того, що необхідно зробити для поліпшення загальної екологічної ситуації.
2. Безпека та спостереження: У системах безпеки та спостереження метод може допомогти у виявленні підозрілих об'єктів або осіб у місцях скупчення людей. Його можна використовувати в аеропортах, громадських місцях або на об'єктах критичної інфраструктури для підвищення можливостей виявлення і реагування на загрози.
3. Геологія та гірнича справа: Метод може бути корисним у геології та гірничодобувній промисловості. Він може допомогти визначити родовища корисних копалин, геологічні формації або потенційні місця розкопок шляхом аналізу супутникових або аерофотознімків високої роздільної здатності.
4. Інфраструктура та міське планування: Містобудівники та інженери можуть отримати користь від цього методу, використовуючи знімки зверху для виявлення підземних комунікацій, оцінки стану інфраструктури або планування нових розробок. Він може прискорити процес ідентифікації об'єктів, що становлять інтерес у складному міському середовищі.

Однак цей метод може бути корисним і для звичайних користувачів. Розглянемо кілька можливих варіантів застосування:

1. Пошук в Інтернеті: Якщо попередні методи краще працювали у випадках, коли об'єкт, який шукають, розташований на передньому плані, то новий метод дає змогу виокремити непримітне із зображення більшого масштабу. Таким чином, зробивши фотографію натовпу людей, можна, наприклад, знайти конкретну вподобану футболку – що відкриває великі перспективи для використання також і в сфері електронної комерції.
2. Особиста безпека: У контексті особистої безпеки метод може сприяти поліпшенню систем спостереження і розпізнавання об'єктів. Він може допомогти у виявленні потенційних небезпек або підозрілих об'єктів у громадських місцях, тим самим підвищуючи загальну безпеку і забезпечуючи душевний спокій.
3. Особиста фотографія та організація зображень: Велика бібліотека фотографій може бути чимось складним в управлінні, а пошук конкретної фотографії може зайняти багато часу. Метод може бути корисним і тут, оскільки він допомагає автоматично позначати і класифікувати фотографії на основі того, що на них зображено, полегшуючи пошук і управління великими колекціями фотографій. 

Висновок

Нещодавно представлений Amazon патент можна вважати новим кроком у розвитку ШІ-розпізнавання зображень, що дає змогу продуктивно обробляти й аналізувати складні зображення. Це може знайти застосування в галузях, де потрібен пошук за зображеннями, що містять безліч найдрібніших деталей. Створений насамперед для аналізу супутникових знімків, він може бути корисним у різних галузях, що мають справу із зображеннями зверху. Крім того, він може ефективно застосовуватися в галузі медицини, полегшуючи діагностику різних патологій, або бути корисним для звичайних людей, роблячи пошук зображень набагато ефективнішим.