Со-основатель OpenAI Карпати опубликовал open-source клон ChatGPT

Экс-директор по ИИ в Tesla и со-основатель OpenAI Андрей Карпати выложил в открытый доступ проект NanoChat. По его словам, это «лучший ChatGPT, который можно построить за $100». Репозиторий уже набрал более 5000 звезд на GitHub.

По словам Карпати, NanoChat — это полный стек LLM-платформы, включающий токенизацию, обучение, дообучение, оценку, инференс и веб-интерфейс, позволяющий общаться с моделью прямо из браузера. Все работает на одном узле с 8 GPU H100 и запускается одной командой:

			bash speedrun.sh
		

Обучение занимает около четырех часов и стоит примерно $100 при аренде облачного сервера Lambda Labs. После этого можно открыть локальный веб-интерфейс и «болтать» с собственной моделью как с ChatGPT.

Собери сам

Карпати описывает NanoChat как «чистый, минималистичный и хакабельный код», который подойдет тем, кто хочет понять, как устроен ChatGPT изнутри.

Репозиторий включает всего около 8000 строк кода и написан в основном на Python (89%), с минимальными вставками на Rust и HTML.

NanoChat — это не гигантская инфраструктура, а сильная и прозрачная база, на которой можно построить свой LLM с нуля.

Андрей Карпатисо-основатель OpenAI

Он также подтвердил, что проект станет частью нового курса LLM101n, который готовит его команда Eureka Labs.

Что под капотом

NanoChat использует простую пайплайн-архитектуру с поддержкой этапов pretraining, fine-tuning, evaluation и serving, а также встроенный сервер чата на Python (python -m scripts.chat_web).

Результаты обучения сохраняются в виде «отчетной таблицы» с ключевыми метриками (ARC, GSM8K, MMLU).

Open source и вдохновение

NanoChat распространяется под лицензией MIT и вдохновлен предыдущими проектами Карпати — nanoGPT и сообществом разработчиков на Hugging Face.

Как подчеркивает автор, цель NanoChat — демократизировать ИИ, сделав разработку больших языковых моделей понятной и доступной «для всех, у кого есть $100 и немного любопытства».