Преобразование текста в изображение нейросетью

Продолжающееся развитие нейросетей открывает новые фронтиры для ее применения. Последний громкий проект DALL-E 2 совмещает сугубо технический алгоритм с творческим процессом. Нейросеть по текстовому описанию формирует высококачественное изображение, основываясь на референсах из Всемирной Сети. DALL-E была написана НКО OpenAI при финансовой поддержке Microsoft. Разработка началась в 2019 году, когда OpenAI получила грант в миллиард долларов, после продукт был представлен к показу 5 января 2021 года. Через год, 6 апреля 2022 года было объявлено о доработанной версии ПО – DALL-E 2.

Для интерпретации данных используется алгоритм обработки естественного языка GPT-3, также разработанным OpenAI. Помимо обсуждаемого проекта, GPT-3 применяется в генерации статей, чат-ботах, и ответах на вопросы пользователей Reddit.

DALL-E 2 отличается высоким качеством и точностью выдаваемых изображений. Сеть способна определять не только запрашиваемые предметы, но способна иллюстрировать их в желаемом стиле (реализм, анимация, эмоджи и др.). Преимуществами нейросети уже успел воспользоваться журнал Cosmopolitan, который создал обложку журнала целиком через DALL-E 2.

В настоящее время алгоритм недоступен широкой общественности, желающие могут записаться в очередь на тестирование. Однако существует мини версия нейросети, созданная программистом Борисом Дайма. DALL-E mini (переименованная в Craiyon по просьбе OpenAI) не может похвастаться качеством своего старшего аналога, однако общедоступность позволяет широкое распространение на просторах социальных сетей. Пользователи придумывают все более сложные описания, и выставляют напоказ результаты алгоритма.