Нейросеть научилась создавать портрет человека по текстовому описанию
Новости
Алгоритм T2F использует набор данных Face2Text из 400 изображений, а также архитектуру StackGAN и StackGAN++ на генеративно-состязательных нейросетях.
3К открытий3К показов
Разработчик Анимеш Карневар (Animesh Karnewar) создал нейросеть T2F, которая генерирует портреты на основе текстового описания лица человека. По словам автора, на создание алгоритма его вдохновило любопытство: он всегда хотел узнать, как герои книг выглядели бы в реальной жизни. Исходный код проекта доступен на GitHub.
Набор данных и архитектура
Карневар использовал набор данных Face2Text, который содержит 400 изображений с текстовым описанием каждого из них и дополнительной информацией. Например, некоторые из фотографий могут иметь пометку «Человек на картинке, вероятно, преступник». В основе F2T лежат архитектуры StackGAN и StackGAN++ для синтеза изображений из текста.
Принцип работы
Нейросеть с долгой краткосрочной памятью кодирует текстовое описание в суммарный вектор, одна часть которого представляет собой случайный гауссовский шум. Генеративно-состязательная сеть (GAN) использует его для поэтапного увеличения пространственного изображения. В результате получается максимально возможно четкая картинка.
Аналог T2F
В январе 2018 года Microsoft представила «внимательную» GAN, которая который учитывает важные детали в описании, оценивает каждое слово и рисует изображение на их основе.
Будущее
Карневар считает, что T2F могут использовать правоохранительные органы для создания портретов преступников и жертв. Он продолжит развитие проекта и попробует обучить нейросеть на наборах данных Flicker8K и Coco.
В конце апреля 2018 года группа ученых из Microsoft и Киотского университета представила нейросеть, способная генерировать рифмы на основе изображений с подписями.
3К открытий3К показов
Простое объяснение работы нейронных сетей и искусственного интеллекта. Что такое ИИ, машинное обучение, LLM и Deep Learning, как они развивались и где применяются сегодня.
Собрали профессии, на которые стоит обратить внимание, если вы только ищете «свое» дело или просто хотите сменить профессию. Будут статистика, экспертные мнения и, конечно же, нейросети.
Оптимизация производительности является ключевым аспектом разработки веб-приложений, особенно когда речь идет о работе с большими объемами данных. Именно такая задача была поставлена перед фронтенд-разработчиками IT Test. Рассказываем, как оптимизировать код и найти баланс между производительностью и читаемостью.
Ghostty 1.0 — новый эмулятор терминала для macOS и Linux, «убийца» iTerm 2. Быстрый, функциональный, с нативным интерфейсом. Есть поддержка xterm и Kitty