Draw images with text

Подробнее о этой нейросети

CLIPDraw — нейросеть, осуществляющая синтез новых рисунков на основе естественно-языкового ввода. Для создания изображений CLIPDraw не требуется обучение. Вместо этого используется предварительно обученный кодировщик языка и изображений CLIP в качестве метрики для максимизации сходства между заданным описанием и сгенерированным рисунком. Отличительной особенностью CLIPDraw является то, что он работает с векторными штрихами вместо пиксельных изображений, что предопределяет простые формы, узнаваемые человеком. Результаты сравниваются между CLIPDraw и другими методами синтеза через оптимизацию, а также подчеркиваются различные интересные особенности CLIPDraw, такие как удовлетворение неоднозначного текста несколькими способами, надежное создание рисунков в различных художественных стилях и возможность масштабирования от простых к сложным визуальным представлениям при увеличении количества штрихов. CLIPDraw может быть использован в различных областях, где требуется генерация изображений на основе текстовых описаний.