Синестезия е рядко състояние, при което сетивата се смесват и някои хора казват, че могат да чуват цветове, докато други - да вкусват думи.

Но какво би се получило ако сетивата на изкуствен интелект се припокрият? Специалистът по машинно обучение Ксандер Стийнбръдж (Xander Steenbrugge) разработва невронна мрежа, която превръща музиката в изменящи се визуализации.

Това е впечатляваща комбинация между човешко творчество и алгоритми на изкуствен интелект. Проектът, наречен "Невронна синестезия" използва т.нар. генеративна антагонистична мрежа (generative adversarial network).

Това е система за машинно обучение, която е специализирана в генерирането на нови данни от зададен обучителен пакет. Тази система за използва по различни начини - от създаване на реалистични изображения на лица, подобни на снимки до генериране на аниме образи.

"Този проект е опит да се изследват новите подходи към аудиовизуалното преживяване, основани на изкуствения интелект", обяснява Стийнбръдж в описанието на проекта си. "Аз не създавам тези творби, аз съм съавтор заедно с моделите на изкуствен интелект, които правя."

Стийнбръдж първо задава на алгоритъма за изкуствен интелект основен пакет от изображения, след което обучава модела да пресъздаде визуалния им стил. След това оставя изкуствения интелект да завърта и смесва образите, основавайки се на параметрите, които Стийнбръдж задава от различни музикални източници, използвайки "специализиран канал за извличане".

"Изкуственият интелект не създава напълно творбата, нито пък аз го правя. Това е до голяма степен колаборация", добавя Стийнбръдж.