Алгоритм MosAIc для пошуку прихованих зв’язків між мистецтвом різних культур

Массачусетський технологічний інститут розробляє алгоритм MosAIc для пошуку прихованих зв’язків між мистецтвом різних культур, повідомляє designboom.

Франсиско де Сурбарана «Мучеництво святого Серапіона» (зліва) | «Лебідь, якому загрожує небезпека» Яна Асселін

Досліджуючи безмежну кількість творів мистецтва, задокументованих по всьому світі, група дослідників з Массачусетського технологічного інституту розробляє алгоритм розпізнавання творів мистецтва MosAIc для пошуку прихованих зв’язків. Працюючи з Microsoft, група з лабораторії інформатики та штучного інтелекту Массачусетського технологічного інституту (CSAIL) каталогізує і досліджує картини і скульптурне мистецтво з Метрополітен-музею (Метрополітен) і амстердамського Rijksmuseum (Рейксмузеум). Першим натхненням для цього проекту сприяла виставка «Рембрандт і Веласкес» в Rijksmuseum, яка продемонструвала несподівані паралелі між портретом Франсиско де Сурбарана «Мучеництво святого Серапіона» і картиною Яна Асселіном «Лебідь під загрозою» — двома роботами, які демонструють дивну візуальну схожість.

«Сестри-лялечки», європейки, фотографії (зліва) | без назви, китайський, дорогоцінний камінь

MosAIc — це результат співпраці Microsoft і лабораторії інформатики та штучного інтелекту Массачусетського технологічного інституту (CSAIL). MosAIc виявляє аналогічні твори мистецтва, включаючи такі види мистецтва, як живопис, скульптура, кераміка, вироби з дерева, а також походження з різних культур, регіонів і періодів часу. Роботи об’єднуються в пари за допомогою глибоких мереж, щоб алгоритмічно зрозуміти, наскільки «близькі» два зображення. Аспірант CSAIL Марк Гамільтон, провідний автор статті про MosAIc, коментує першу пару: «У цих двох художників не було листування і не було зустрічей один з одним протягом свого життя, але їхні картини натякали на щедру приховану структуру, що лежить в основі обох їхніх творів».

«Супниця з кришкою у вигляді індички», Німеччина, кераміка (зліва) | «Індичка пальма» різна, кам’яна

При розробці алгоритму MosAIc команда Массачусетського технологічного інституту відзначає складність роботи, знаходячи зображення, схожі не тільки за кольором або стилем, але і за значенням і темою. Група прагнула до того, щоб «собаки були поруч з іншими собаками, люди — з іншими людьми і т. д.». Щоб досягти цього, вони досліджували внутрішні «активації» глибокої мережі для кожного зображення в об’єднаних колекціях відкритого доступу та rijksmuseum. Відстань між «активаціями» цієї глибокої мережі, які зазвичай називають «функціями», — це те, як вони оцінювали схожість зображення.

Рослина «Laughingalia aloides», варіації, малюнки (зліва) | «Малюнок розп’яття», Рим, малюнки

«Balearica regulalorum» (Східний вінценосний журавель), варіації, малюнок (зліва) | «Двоє яванських танцюристів», Азія південно-східна, без категорії

‘Шолом (khula khud) з рогами’, південна Азія, зброя (зліва) | Британські фотографії «Колінського королівського оленя»

«Чудовий рубіновий годинник», Німеччина, аксесуари (зліва) | «Орнамент на диску», давньоамериканський, металоконструкції

Приклад того, що робить MosAIc, коли дається одне зображення (зліва) та подібний об’єкт, знайдений через CIR

Читайте також: AutoDraw, сервіс від Google перетворює незграбні ескізи в мистецтво.