Image personality describer

Подробнее о этой нейросети

Нейросеть personality-clip – инновационное решение в области искусственного интеллекта, объединяющее модели CLIP и GPT2 (large). Ее основной функцией является создание кратких описаний и наделение изображений «индивидуальностью». Для обучения использовались только текстовые подписи, связанные с персональными чертами. Для тонкой настройки модели мы применили смещения GPT2, что позволяет хранить всего около 2 МБ новых параметров. Мы также использовали индексы автофаэсс knn, объединяющие 4 категории: униграммы, биграммы, художественные стили и эмоции. Результаты работы модели могут быть изменены путем комбинирования этих категорий. Для лучших результатов рекомендуется использовать GPU с памятью не менее 16 ГБ. Если память GPU меньше, аргумент «num_return_sequences» должен быть уменьшен, что может повлиять на качество описаний. Для получения наилучших результатов рекомендуется использовать параметры модели в типе «float16».