Большие языковые модели и технологии генеративного ИИ используются крупнейшими маркетплейсами при создании инновационных решений и востребованы в самом широком наборе сценарных кейсов: от автоматизации рутинных операций до сложных аналитических задач. Чтобы внедрить такие технологии, нужно постоянно обучать различные варианты моделей и проверять их качество. В случае с нейросетями и, в частности, большими языковыми моделями (LLM) это требует большого количества ресурсов, особенно графических процессоров (GPU), объединённых в специализированные серверы и кластеры так, чтобы параллельно работать над обучением одной и той же модели. Это дорогие решения, а оборудование для них — дефицитное. Иногда, если такая инфраструктура занята вычислениями не постоянно, а 1–2 дня в неделю, её выгоднее арендовать у облачного провайдера, чем приобретать, строить и эксплуатировать самостоятельно. Одно из возможных решений — сотрудничество с крупными партнерами в сфере искусственного интеллекта (AI) и больших языковых моделей (LLM). Это позволяет реализовывать проекты, основанные на технологиях машинного и глубокого обучения, предоставляя возможность наращивания ресурсов по мере увеличения количества задач. Интеграция облачных решений позволяет решить большой спектр бизнес-задач, о которых CNews рассказывает на примере маркетплейса Wildberries.
Задача
Для выхода на международные рынки перед маркетплейсом Wildberries стояла неординарная задача — реализовать несколько значимых проектов в кратчайшие сроки при сохранении высокого уровня качества. 1. Кейс автоматизированного перевода карточек товаров на грузинский и английский языки. 2. Дообучение и запуск русскоязычной большой языковой модели (LLM) на закрытом GPU-кластере. 3. Разработка классификаторов товаров по кодам ТН ВЭД (Товарной номенклатуры внешнеэкономической деятельности). 4. Тестирование собственных гипотез и построение прогнозов.
Решение
Wildberries использовал большую языковую модель и GPU из облака Cloud.ru для оптимизации финансовых ресурсов, сокращения сроков реализации проектов в несколько раз, а ИТ-команда маркетплейса получила эффективный инструмент для решения сразу нескольких задач.
Кейс автоматизированного перевода карточек товаров на грузинский и английский языки
Перевод осуществлялся с помощью больших языковых моделей, однако без дополнительного обучения на специфическом корпусе текстов его качество невысоко. Дообучение требовалось из-за невысокой распространенности грузинского языка по сравнению с английским, а также из-за стилистических и терминологических особенностей карточек товаров. Альтернативой могли бы стать сторонние сервисы перевода, однако они обошлись бы дороже, особенно если учитывать также перевод отзывов о товарах. Использование собственной дообученной модели позволило сократить затраты и повысить качество перевода.
Дообучение и запуск русскоязычной большой языковой модели
Большая языковая модель (LLM) позволяет создавать разметку для обучения более простых моделей, способных решать специализированные задачи с меньшими ресурсами. Классификаторы кодов ТН ВЭД — именно из этой категории. Они были разработаны при помощи LLM, доступ к которой был предоставлен Cloud.ru, что ускорило процесс разработки и повысило точность моделей.
Разработка классификаторов товаров по кодам ТН ВЭД
При продаже за рубеж каждому товару должен быть присвоен таможенный код, однако продавцы часто ошибаются в выборе правильной последовательности цифр. Это неудивительно — классификатор содержит более десяти тысяч категорий и представляет собой четырехуровневую иерархию. В случае неверного указания кода высоки риски штрафов и нереализованного товара. Wildberries с помощью большой языковой модели сформировал обучающую выборку, на базе которой была построена более простая модель, способная работать на обычных CPU. Эта модель по описанию карточки товара автоматически определяет код ТН ВЭД. Для формирования же обучающей выборки и инференса большой языковой модели потребовались мощные GPU-ресурсы, предоставленные компанией Cloud.ru.
Тестирование собственных гипотез и построение прогнозов
Проверка гипотез и построение прогнозов — распространенная практика среди Data Science команд, и Wildberries здесь не исключение. Однако, и гипотезы, и прогнозы —задачи ресурсоемкие. Использование облачных решений Cloud.ru помогает быстро подтвердить или опровергнуть те или иные предположения, оперативно предоставляя вычислительные мощности для этого без закупки дополнительного оборудования.
Результат
Wildberries оперативно получила доступ к GPU-ресурсам в облаке, что позволило быстро адаптироваться к меняющимся требованиям рынка. Достигаемая за счет мощностей из облака эластичность инфраструктуры стала ключевым фактором в оперативном решении бизнес-задач.
Благодаря использованию GPU-ресурсов для различных Deep Learning и LLM задач, компания смогла быстрее выйти на международный рынок и в несколько раз снизить затраты на эту задачу. Это позволяет Wildberries не только быстрее реагировать на запросы клиентов, но и опережать конкурентов, предлагая новые продукты и услуги раньше других.
Партнерство с Cloud.ru дало компании возможность запускать качественно новые решения как для клиентов, так и для внутренних бизнес-заказчиков. Это не только улучшает пользовательский опыт, но и способствует развитию собственных инновационных проектов, и ускоряет выход на новые рынки.
Гибкость и сокращенный time to market — основные результаты сотрудничества с Cloud.ru. Получив доступ к гибкой инфраструктуре и задействуя AI- и ML-ресурсы, компания Wildberries смогла увеличить скорость разработок и развертывания новых продуктов, а также сократить время при запуске качественно новых решений для покупателей и собственных технологических разработок.
Поделиться
