Массачусетський технологічний інститут розробляє алгоритм MosAIc для пошуку прихованих зв’язків між мистецтвом різних культур, повідомляє designboom.
Франсиско де Сурбарана «Мучеництво святого Серапіона» (зліва) | «Лебідь, якому загрожує небезпека» Яна Асселін
Досліджуючи безмежну кількість творів мистецтва, задокументованих по всьому світі, група дослідників з Массачусетського технологічного інституту розробляє алгоритм розпізнавання творів мистецтва MosAIc для пошуку прихованих зв’язків. Працюючи з Microsoft, група з лабораторії інформатики та штучного інтелекту Массачусетського технологічного інституту (CSAIL) каталогізує і досліджує картини і скульптурне мистецтво з Метрополітен-музею (Метрополітен) і амстердамського Rijksmuseum (Рейксмузеум). Першим натхненням для цього проекту сприяла виставка «Рембрандт і Веласкес» в Rijksmuseum, яка продемонструвала несподівані паралелі між портретом Франсиско де Сурбарана «Мучеництво святого Серапіона» і картиною Яна Асселіном «Лебідь під загрозою» – двома роботами, які демонструють дивну візуальну схожість.
“Сестри-лялечки”, європейки, фотографії (зліва) | без назви, китайський, дорогоцінний камінь
MosAIc – це результат співпраці Microsoft і лабораторії інформатики та штучного інтелекту Массачусетського технологічного інституту (CSAIL). MosAIc виявляє аналогічні твори мистецтва, включаючи такі види мистецтва, як живопис, скульптура, кераміка, вироби з дерева, а також походження з різних культур, регіонів і періодів часу. Роботи об’єднуються в пари за допомогою глибоких мереж, щоб алгоритмічно зрозуміти, наскільки «близькі» два зображення. Аспірант CSAIL Марк Гамільтон, провідний автор статті про MosAIc, коментує першу пару: «У цих двох художників не було листування і не було зустрічей один з одним протягом свого життя, але їхні картини натякали на щедру приховану структуру, що лежить в основі обох їхніх творів».
“Супниця з кришкою у вигляді індички”, Німеччина, кераміка (зліва) | “Індичка пальма” різна, кам’яна
При розробці алгоритму MosAIc команда Массачусетського технологічного інституту відзначає складність роботи, знаходячи зображення, схожі не тільки за кольором або стилем, але і за значенням і темою. Група прагнула до того, щоб «собаки були поруч з іншими собаками, люди – з іншими людьми і т. д.». Щоб досягти цього, вони досліджували внутрішні «активації» глибокої мережі для кожного зображення в об’єднаних колекціях відкритого доступу та rijksmuseum. Відстань між “активаціями” цієї глибокої мережі, які зазвичай називають “функціями”, – це те, як вони оцінювали схожість зображення.
Рослина “Laughingalia aloides”, варіації, малюнки (зліва) | «Малюнок розп’яття», Рим, малюнки
“Balearica regulalorum” (Східний вінценосний журавель), варіації, малюнок (зліва) | “Двоє яванських танцюристів”, Азія південно-східна, без категорії
‘Шолом (khula khud) з рогами’, південна Азія, зброя (зліва) | Британські фотографії “Колінського королівського оленя”
“Чудовий рубіновий годинник”, Німеччина, аксесуари (зліва) | “Орнамент на диску”, давньоамериканський, металоконструкції
Приклад того, що робить MosAIc, коли дається одне зображення (зліва) та подібний об’єкт, знайдений через CIR
