{"blocks":[{"type":"paragraph","data":{"text":"Подружили Rust с JS и рассказываем, к чему это привело. Илья Бобровский, ведущий разработчик IT Test, о том, как играть в пинг-понг между языками и выйти из этой игры победителем."}},{"type":"header2","data":{"level":2,"text":"Зачем нам понадобился Rust"}},{"type":"paragraph","data":{"text":"В один из проектов была заложена библиотека с тысячами строк кода инженерных вычислений, написанная на JS. Мы реализовали приложение полностью на JS (frontend – Angular, backend – NestJs, standalone app – Electron), поскольку это позволило запустить проект в короткие сроки и дало возможность переиспользовать общие функции, интерфейсы да и в целом ресурс команды на всех «концах» проекта."}},{"type":"paragraph","data":{"text":"По началу к производительности инженерных расчетов не было вопросов – JS делал свою работу. Однако за несколько лет развития проекта библиотека расчетов серьезно выросла: количество производимых вычислений увеличивалось с каждым новым обновлением. Фактически за каждым вводом данных в форму клиентской части следовали сотни, а то и тысячи строк вычислений."}},{"id":"30be26e9-3919-4f41-9bf0-54f976b79e4c","type":"embed","data":{"data":{"id":253756,"name":"--fish-4-0---interaktivnyj-shell---perepisali-s-c---na-rust","type":"post","title":"🔥 Fish 4.0 — интерактивный Shell — переписали с C++ на Rust","author":94744,"parent":72711,"status":"publish","content":"

Популярный интерактивный командный интерпретатор Fish выпустил бета-версию 4.0, полностью переписанную с языка C++ на Rust.

\r\n\r\n

Основная цель перехода — улучшить многопоточность и повысить безопасность кода.

\r\n\r\n

Разработчики отметили, что работа с C++ часто осложнялась инструментарием, разными компиляторами и необходимостью ручного управления потоками.

\r\n\r\n

Rust предложил современные возможности и встроенные гарантии безопасности, которые сделали его естественным выбором для переписывания проекта.

\r\n\r\n

Новые возможности Fish 4.0

\r\n\r\n

Переход на Rust открыл двери для улучшений и новых функций. Среди ключевых нововведений в Fish 4.0:

\r\n\r\n

Обновленные привязки клавиш: Бинды стали более интуитивными, упрощая взаимодействие с терминалом.
Улучшенный поиск по истории: Теперь пользователи могут находить команды быстрее благодаря более мощным алгоритмам поиска.
Поддержка многопоточности: Благодаря Rust, Shell теперь эффективно обрабатывает несколько задач одновременно.

\r\n\r\n

Эти изменения делают Fish еще более удобным и современным инструментом для работы в командной строке.

\r\n\r\n

Как протестировать новую версию?

\r\n\r\n

Бета-версия Fish 4.0 доступна для тестирования. Установочные пакеты предоставлены для macOS, Ubuntu и других популярных дистрибутивов Linux.

\r\n\r\n

Также доступны портативные бинарные файлы, которые можно запустить без установки.

\r\n\r\n

Для тестирования пользователи могут перейти на официальный сайт проекта и скачать соответствующую версию.

\r\n\r\n","created_at":"2024-12-30T07:06:56.000+03:00","updated_at":"2024-12-30T07:06:56.000+03:00","created_at_gmt":"2024-12-30T04:06:56.000+03:00","updated_at_gmt":"2024-12-30T04:06:56.000+03:00"},"link":"https://tproger.ru/news/--fish-4-0---interaktivnyj-shell---perepisali-s-c---na-rust","type":"tproger","image":null,"title":"🔥 Fish 4.0 — интерактивный Shell — переписали с C++ на Rust","subType":"tproger_post","viewDomain":"tproger.ru"}},{"type":"paragraph","data":{"text":"Мы заметили, что вместо стартовых 200 мс на выполнение вычислений стало уходить до 3 сек в пике, со средним значением выпрыгивающим за секунду. Библиотека не справлялась, делая приложение не самым удобным в эксплуатации. Можно сказать она стала “bottle neck” всего проекта, так как добиться плавной и быстрой работы без ускорения библиотеки было невозможно. Назревало решение о переводе вычислений на другой инструмент."}},{"type":"hint","data":{"fullWidth":true,"text":"Как показал “proof of concept”, Rust работал быстрее в три раза, и это еще без параллелизации вычислений. Мы получали мощную типизацию, низкий расход памяти, неплохую гарантию утечек памяти. Ну и компилируемый файл на выходе, что тоже было для нас немаловажно, так как все вычисления крутились в standalone app, а нам нужно было подготовить продукт к выходу на рынок и защитить интеллектуальную собственность."}},{"type":"paragraph","data":{"text":"Конечно, есть Go, Java, всемогущий C++ и множество других языков, которые могли помочь нам ускориться, но мы остановились именно на Rust, потому что на выходе мы получали производительность сравнимую с С++, а типизацию лучше, чем в Java."}},{"type":"header2","data":{"level":2,"text":"Как подружить Rust с JS"}},{"type":"paragraph","data":{"text":"Интеграцию Rust c Node.js решили делать через FFI (foreign function interface) – механизм, с помощью которого языки программирования могут общаться между собой. У Node.js есть свое Node-API для реализации нативных аддонов: из-за этого интеграция Rust в проект казалась идеальной. Плюс не нужно было заморачиваться с установщиком под Electron и легко комбинировать JS и Rust."}},{"type":"paragraph","data":{"text":"В качестве библиотеки, для работы с Node-API был выбран Neon. Для того, чтобы создать проект требуется выполнить команду npm init neon <project_name>. По пути src/lib.rs вы найдете главный файл плагина, в нем уже будет пример с экспортированной функцией hello, которая возвращает строку “hello node”. Теперь мы можем собрать плагин и установить дополнительные пакеты для работы – npm install."}},{"type":"paragraph","data":{"text":"На выходе получаем файл index.node, его можно импортировать в ваш JS и запускать, как обычную функцию."}},{"type":"code","data":{"code":"const RustPlugin = require(\".\");\nRustPlugin.hello();","language":"clike lazy-code"}},{"type":"header2","data":{"level":2,"text":"Пример работы с Neon"}},{"type":"paragraph","data":{"text":"Теперь посмотрим на Neon и его взаимодействие с JS. Для начала изменим файл src/lib.rs в уже созданном проекте."}},{"type":"header3","data":{"level":3,"text":"src/lib.rs"}},{"type":"code","data":{"code":"use neon::prelude::*;\nfn count_posts(mut cx: FunctionContext) -> JsResult {\n\t// Получаем первый аргумент нашей ф-ции и кастуем его в JsArray\n\tlet user_posts_list: Handle = cx.argument(0)?;\n\tlet total_user_likes = user_posts_list\n \t// получаем вектор из JsArray\n \t.to_vec(&mut cx)?\n \t// преобразуем в итератор\n \t.into_iter()\n \t// сворачиваем в итоговую сумму\n \t.fold(Ok(0), |count, post| {\n \tlet result = count? + post\n \t// кастуем пост из JsValue в JsObject\n \t.downcast_or_throw::(&mut cx)?\n \t// получаем значение по ключу \"likes\" как JsNumber\n \t.get::(&mut cx, \"likes\")?\n \t// получаем f64 из JsNumber и кастуем его в i32\n \t// по умолчанию мы всегда получаем f64,\n \t// так как в JS только один тип числа\n \t// и по спецификации это эквивалент f64\n \t.value(&mut cx) as i32;\n \t// Возвращаем результат, если получилось посчитать\n \tOk(result)\n \t})?;\n\t// Выводим итоговую сумму лайков пользователя\n\tOk(cx.string(format!(\"User has {total_user_likes} likes total\")))\n}\n#[neon::main]\nfn main(mut cx: ModuleContext) -> NeonResult<()> {\n\t// объявляем нашу функцию для плагина, именуя ее \"countPosts\"\n\tcx.export_function(\"countPosts\", count_posts)?;\n\tOk(())\n}","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"В этом примере прокомментирована каждая строка. Далее комментарии будут только касательно интересных моментов."}},{"type":"paragraph","data":{"text":"А теперь создадим файл main.js в корне проекта для вызова созданной нами функции."}},{"type":"header3","data":{"level":3,"text":"main.js"}},{"type":"code","data":{"code":"const RustPlugin = require(\".\");\nconst usersPosts = [\n\t{\n \ttitle: \"My first post\",\n \tbody: \"Hello everyone\",\n \tlikes: 10\n\n\t}, {\n \ttitle: \"Another post\",\n \tbody: \"The story of my life..\",\n \tlikes: 55.5\n\t}\n];\nconst response = RustPlugin.countPosts(usersPosts);\nconsole.log(response);","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Так в консоли появится “User has 65 likes total”."}},{"type":"header2","data":{"level":2,"text":"Как не надо делать в плагинах"}},{"type":"paragraph","data":{"text":"Очень скоро мы столкнулись с проблемой производительности. Делая замеры после закрытия одного из первых этапов, мы с ужасом обнаружили, что Rust умудряется в некоторых кейсах выполнять свою работу медленнее JS. Дело оказалось в том, что через FFI мы получаем доступ к данным JS напрямую и это достаточно “дорогая” операция. Получается, необходимо экономить количество обращений к JS объектам из Rust, иначе можно легко получить результаты, когда Rust тратит больше времени на выполнение задачи в сравнении с JS."}},{"type":"blockquote","data":{"author":"Илья Бобровский","authorJob":"Ведущий разработчик IT Test","fullWidth":false,"quoteMark":true,"withBorder":false,"text":"Выход из этой ситуации простой: нужно уходить от больших массивов/объектов, передаваемых в Rust, в пользу чего-то более примитивного, например, строки (JSON) или бинарного массива."}},{"type":"paragraph","data":{"text":"Мы пересобрали самый тяжелый массив объектов с большой вложенностью в бинарный и передали его в таком виде в Rust. Рассказываем, как удалось это реализовать."}},{"type":"header3","data":{"level":3,"text":"main.js"}},{"type":"code","data":{"code":"const typedLikesList = new Float64Array(usersPosts.map(x => x.likes));\nconst response = RustPlugin.countPosts(typedLikesList);","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"В main.js мы изменили формат отправляемых данных, передавая только лайки пользователей, завернутые в TypedArray."}},{"type":"header3","data":{"level":3,"text":"src/lib.rs"}},{"type":"code","data":{"code":"use neon::prelude::*;\nuse neon::types::buffer::TypedArray;\n \nfn count_posts(mut cx: FunctionContext) -> JsResult {\n\tlet user_posts_list: Handle> = cx.argument(0)?;\n\tlet total_user_likes = user_posts_list\n \t.as_slice(&mut cx)\n \t.into_iter()\n \t.fold(0, |count, likes_amount| count + *likes_amount as i32);\n\n\tOk(cx.string(format!(\"User has {total_user_likes} likes total\")))\n\n}","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Здесь мы получили первый аргумент как JsTypedArray и изменили подсчет лайков таким образом, чтобы он работал с новым форматом данных."}},{"type":"paragraph","data":{"text":"В итоге за счет того, что мы загнали данные в TypedArray на больших объемах данных (≈300+ элементов в массиве), мы не увидели просадки по скорости."}},{"type":"header2","data":{"level":2,"text":"Neon serde или упрощаем работу с моделями данных"}},{"type":"paragraph","data":{"text":"Поскольку выяснилось, что следует минимизировать количество обращений к N-API, в каждой функции мы переводили все данные, пришедшие по N-API, во внутренние типы данных Rust, выполняли необходимые операции и переводили обратно. Вот как это выглядело."}},{"type":"header3","data":{"level":3,"text":"src/lib.rs"}},{"type":"code","data":{"code":"use neon::prelude::*;\nuse neon::result::Throw;\n\nstruct UserPost {\n\ttitle: String,\n\tbody: String,\n\tlikes: f64\n}\n\nimpl UserPost {\n\tfn vec_from_array(\n cx: &mut FunctionContext,\n user_posts_list: Handle\n ) -> Result, Throw> {\n \t user_posts_list\n \t.to_vec(cx)?\n \t.into_iter()\n \t.map(|post| {\n \t let post_obj = post.downcast_or_throw::(cx)?;\n \t let title = post_obj\n \t.get::(cx, \"title\")\n \t.unwrap()\n \t.value(cx);\n \t let body = post_obj\n \t.get::(cx, \"body\")\n \t.unwrap()\n \t.value(cx);\n \t let likes = post_obj\n \t.get::(cx, \"likes\")\n .unwrap()\n .value(cx);\n \t Ok(Self { title, body, likes })\n \t})\n \t.collect()\n\t}\n\n\tfn vec_to_array<'a, C: Context<'a>>(cx: &mut C, user_posts: Vec)\n \t-> JsResult<'a, JsArray> {\n \t let arr = cx.empty_array();\n \t for (i, post) in user_posts.into_iter().enumerate() {\n \t let post_obj = cx.empty_object();\n \t let title = cx.string(post.title);\n \t post_obj.set(cx, \"title\", title)?;\n \t let body = cx.string(post.body);\n \t post_obj.set(cx, \"body\", body)?;\n \t let likes = cx.number(post.likes);\n \t post_obj.set(cx, \"likes\", likes)?;\n \t arr.set(cx, i as u32, post_obj)?;\n \t }\n \t Ok(arr)\n\t}\n}\n\nfn handle_user_likes(mut cx: FunctionContext) -> JsResult {\n\tlet user_posts_list: Handle = cx.argument(0)?;\n\tlet user_posts = UserPost::vec_from_array(&mut cx, user_posts_list)?;\n\t// TODO: do some weird mutations here\n\tUserPost::vec_to_array(&mut cx, user_posts)\n}","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Как видите, здесь достаточно много пустого кода для выполнения рутинных действий. А что, если у вас десятки, сотни разных структур данных? Тут на помощь может прийти Serde – отличный фреймворк для сериализации и десериализации структур данных в Rust. Для интеграции понадобится написать свой сериалайзер и десериалайзер данных из N-API объектов в структуры Rust."}},{"type":"paragraph","data":{"text":"К сожалению, crate neon-serde, который мог бы помочь с решением этой проблемы, не поддерживается, но есть его клоны, например neon-serde3, которые позволяют работать с последней версией Neon. В нашем случае пришлось уходить в сторону написания своего пакета, так как требовался расширенный функционал. Но для примера будет вполне достаточно пакета по ссылке упомянутого выше форка. Вот что получается."}},{"type":"header3","data":{"level":3,"text":"src/lib.rs"}},{"type":"code","data":{"code":"use neon::prelude::*;\nuse serde::{Serialize, Deserialize};\nuse neon_serde3 as neon_serde;\n\n#[derive(Serialize, Deserialize)]\nstruct UserPost {\n\ttitle: String,\n\tbody: String,\n\tlikes: f64\n}\n\nfn handle_user_likes(mut cx: FunctionContext) -> JsResult {\n\tlet user_posts_list = cx.argument(0)?;\n\tlet user_posts: Vec = neon_serde::from_value(&mut cx, user_posts_list)\n \t.unwrap();\n\t// TODO: do some weird mutations here\n\tOk(neon_serde::to_value(&mut cx, &user_posts).unwrap())\n}","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Теперь за всю тяжелую работу отвечает neon-serde, а нам лишь остается развешивать serialize/deserialize макрос."}},{"type":"header2","data":{"level":2,"text":"Пинг-понг между языками"}},{"type":"paragraph","data":{"text":"Как же быть, если нужно вернуть управление JS, но очень не хочется терять промежуточное состояние в Rust? Этот вопрос не давал нам покоя с самого начала работ по миграции библиотеки. Оказалось, Neon имеет решение – JsBox. Эта структура позволяет хранить данные Rust в переменных JS. Давайте изменим наш пет-проект, чтобы посмотреть на JsBox в деле."}},{"type":"header3","data":{"level":3,"text":"src/lib.rs"}},{"type":"code","data":{"code":"use std::cell::{RefCell, RefMut};\nuse neon::prelude::*;\nuse serde::{Serialize, Deserialize};\nuse neon_serde3 as neon_serde;\n\nimpl Finalize for UserPost {}\n\n#[derive(Serialize, Deserialize)]\nstruct UserPost {\n uid: String,\n title: String,\n likes: f64\n}\n\n#[derive(Serialize, Deserialize)]\nstruct PostDetail {\n uid: String,\n detail: String\n}\n\ntype BoxedPostsList = JsBox>>;\n\nfn prepare_posts(mut cx: FunctionContext) -> JsResult {\n let user_posts_list = cx.argument(0)?;\n let user_posts: Vec =\n neon_serde::from_value(&mut cx, user_posts_list)\n .unwrap();\n\n let result = cx.empty_array();\n let filtered_posts: Vec = user_posts.iter()\n .filter_map(|post|\n if post.likes > 30.0 { Some(post.uid.clone()) }\n else { None })\n .collect();\n\n let js_box: Handle = JsBox::new(\n &mut cx,\n RefCell::new(user_posts)\n );\n result.set(&mut cx, 0, js_box)?;\n let filtered_posts = neon_serde::to_value(&mut cx, &filtered_posts)\n .unwrap();\n result.set(&mut cx, 1, filtered_posts)?;\n\n Ok(result)\n}\n\nfn proceed(mut cx: FunctionContext) -> JsResult {\n let list: Handle = cx.argument(0)?;\n let detail_info = cx.argument(1)?;\n\n let mut list = list.borrow_mut();\n let detail_info: Vec =\n neon_serde::from_value(&mut cx, detail_info)\n .unwrap();\n\n patch_posts(&mut list, detail_info);\n\n Ok(cx.undefined())\n}\n\n\n#[neon::main]\nfn main(mut cx: ModuleContext) -> NeonResult<()> {\n cx.export_function(\"preparePosts\", prepare_posts)?;\n cx.export_function(\"proceed\", proceed)?;\n Ok(())\n}","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Мы добавили структуру PostDetails, которая теперь у нас содержит детальное описание поста, и получили две выходные функции: preparePosts, proceed. preparePosts сериализует наши JS объекты в вектор структур UserPosts, именно этот список мы хотим сохранить и вернуть JS. Также мы находим все посты, где лайков больше 30, чтобы попросить JS найти дополнительную информацию по таким постам. В результате работы функция возвращает кортеж из ссылки на вектор постов в Rust и массива uid‘ов, которые нам интересны."}},{"type":"paragraph","data":{"text":"После того, как JS получил данные из preparePosts и нашел детальную информацию по нужным постам, можно передавать управление обратно в Rust."}},{"type":"header3","data":{"level":3,"text":"src/main.js"}},{"type":"code","data":{"code":"const [rustUsers, postsQuery] = RustPlugin.preparePosts(userPosts);\nRustPlugin.proceed(rustUsers, findPostsDetail(postsQuery));","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Если мы выведем в консоль содержимое rustUsers, увидим:"}},{"type":"code","data":{"code":"[External: 600000012980]","language":"clike lazy-code"}},{"type":"paragraph","data":{"text":"Это и есть наша ссылка на данные Rust."}},{"type":"paragraph","data":{"text":"Как только proceed возьмет управление, мы получим обратно уже сериализованный ранее список и дополнительную информацию по нашему запросу."}},{"type":"header2","data":{"level":2,"text":"Подведем итоги"}},{"type":"paragraph","data":{"text":"Как выяснилось, написание плагинов для Node.js – процесс весьма увлекательный и не такой уж сложный, хоть и не без подводных камней, вроде проблемы работы с большим количеством данных js."}},{"type":"paragraph","data":{"text":"Однако наша работа по переводу библиотеки вычислений на Rust еще не окончена: мы переписали основную логику вычислений, впереди еще много улучшений. Как минимум, планируем распараллелить вычисления с помощью rayon и декомпозировать библиотеку из большого монолитного черного ящика в более маленькие функции."}},{"type":"separator","data":{"text":"***"}},{"type":"paragraph","data":{"text":"А с какими сложностями сталкивались вы?"}}]}

Ошибка в настройках сайта