AI Powered Recommendation Engine
Amazon Web Data Processing PoC на базі штучного інтелекту
Amazon Web Data Processing PoC на базі штучного інтелекту
Amazon Web Data Processing PoC на базі штучного інтелекту
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації
AI
UX Design
Computer vision
Клієнт
Клієнт
Під NDA
Під NDA
Під NDA
Дата
Дата
2022
2022
2022
Роль
Роль
Партнер з розробки
Партнер з розробки
Партнер з розробки
Вебсайт
Вебсайт
Під NDA
Під NDA
Під NDA
AI Powered Recommendation Engine
AI Powered Recommendation Engine
AI Powered Recommendation Engine
Передісторія
Передісторія
Передісторія
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації. Система повинна була обробляти безліч точок даних, включаючи зображення товарів, описи, відгуки та показники ефективності ринку, щоб генерувати дієві рекомендації для продавців.
• Клієнт зіткнувся з кількома критичними проблемами:
• Ручна оптимізація продуктів ставала нежиттєздатною з огляду на зростаючий портфель (500+ продуктів у різних категоріях)
• Непослідовне прийняття рішень щодо оновлення продуктів через брак інсайтів, заснованих на даних
• 20-30% продуктів працювали незадовільно через неоптимальні атрибути лістингу
• Обмежена здатність визначати та реагувати на ринкові тенденції в режимі реального часу
• Необхідність масштабування операцій при збереженні якості рекомендацій
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації. Система повинна була обробляти безліч точок даних, включаючи зображення товарів, описи, відгуки та показники ефективності ринку, щоб генерувати дієві рекомендації для продавців.
• Клієнт зіткнувся з кількома критичними проблемами:
• Ручна оптимізація продуктів ставала нежиттєздатною з огляду на зростаючий портфель (500+ продуктів у різних категоріях)
• Непослідовне прийняття рішень щодо оновлення продуктів через брак інсайтів, заснованих на даних
• 20-30% продуктів працювали незадовільно через неоптимальні атрибути лістингу
• Обмежена здатність визначати та реагувати на ринкові тенденції в режимі реального часу
• Необхідність масштабування операцій при збереженні якості рекомендацій
Клієнт потребував рішення, яке могло б аналізувати тисячі товарів на Amazon для виявлення можливостей оптимізації. Система повинна була обробляти безліч точок даних, включаючи зображення товарів, описи, відгуки та показники ефективності ринку, щоб генерувати дієві рекомендації для продавців.
• Клієнт зіткнувся з кількома критичними проблемами:
• Ручна оптимізація продуктів ставала нежиттєздатною з огляду на зростаючий портфель (500+ продуктів у різних категоріях)
• Непослідовне прийняття рішень щодо оновлення продуктів через брак інсайтів, заснованих на даних
• 20-30% продуктів працювали незадовільно через неоптимальні атрибути лістингу
• Обмежена здатність визначати та реагувати на ринкові тенденції в режимі реального часу
• Необхідність масштабування операцій при збереженні якості рекомендацій
Наше рішення
Наше рішення
Наше рішення
Створення PoC
Команда Brightgrove повністю відповідала за створення PoC, щоб допомогти клієнту визначити, чи може запропоноване технічне рішення задовольнити його бізнес-вимоги. Цей PoC включав наступні етапи:
• Зосередження на перевірці основної функціональності
• Використання керованих сервісів для зменшення операційних витрат
• Впровадження базового моніторингу
• Обмежена, але функціональна обробка помилок
Впровадження таксономії та категорій
Ми розробили рішення на основі штучного інтелекту, яке аналізує дані про товари, виявляє тенденції та надає рекомендації для оптимізації оголошень і підвищення продажів. Наприклад, якщо продавець пропонує чорні пляшки для води об'ємом 0,5 л, система аналізує аналогічні товари на інших маркетплейсах, визначає тенденції у вподобаннях споживачів і може порекомендувати оптимізацію до зелених пляшок об'ємом 0,75 л на основі ринкових даних та аналізу думок покупців.
Для створення ПЗ і подальшої розробки нам потрібно було дослідити мовні моделі, здатні кодувати текстові дані – описи продуктів та інші метадані для представлення таксономії.
Нам потрібно було оцінити різні мовні моделі за кількома критеріями:
• Розмір моделі
• Продуктивність
• Легкість адаптації до нових даних (точне налаштування)
У випадку з PoC для більш обмеженої кількості категорій були використані легкі моделі, такі як tiny-GPT або tiny-BERT. Для реалізації кодування зображення в текст (таксономії) нам потрібен був рушій, здатний шукати схожі медіа на основі їхньої семантики, а не візуальних особливостей. Завдяки стабільному механізму пошуку схожих зображень система зможе аналізувати нові дані про зображення з існуючої бази анотованих зображень і збирати таксономічні теги зі схожих медіа.
Таксономічні мітки будуть агреговані на основі оцінки схожості, а таксономічні дані будуть автоматично генеруватися для нових зображень.
Розгортання та подальший розвиток продукту
Система використовує передове машинне навчання, щоб генерувати візуальні пропозиції щодо вдосконалення продукту, оптимальних комбінацій ключових слів та цінових стратегій.
Створення PoC
Команда Brightgrove повністю відповідала за створення PoC, щоб допомогти клієнту визначити, чи може запропоноване технічне рішення задовольнити його бізнес-вимоги. Цей PoC включав наступні етапи:
• Зосередження на перевірці основної функціональності
• Використання керованих сервісів для зменшення операційних витрат
• Впровадження базового моніторингу
• Обмежена, але функціональна обробка помилок
Впровадження таксономії та категорій
Ми розробили рішення на основі штучного інтелекту, яке аналізує дані про товари, виявляє тенденції та надає рекомендації для оптимізації оголошень і підвищення продажів. Наприклад, якщо продавець пропонує чорні пляшки для води об'ємом 0,5 л, система аналізує аналогічні товари на інших маркетплейсах, визначає тенденції у вподобаннях споживачів і може порекомендувати оптимізацію до зелених пляшок об'ємом 0,75 л на основі ринкових даних та аналізу думок покупців.
Для створення ПЗ і подальшої розробки нам потрібно було дослідити мовні моделі, здатні кодувати текстові дані – описи продуктів та інші метадані для представлення таксономії.
Нам потрібно було оцінити різні мовні моделі за кількома критеріями:
• Розмір моделі
• Продуктивність
• Легкість адаптації до нових даних (точне налаштування)
У випадку з PoC для більш обмеженої кількості категорій були використані легкі моделі, такі як tiny-GPT або tiny-BERT. Для реалізації кодування зображення в текст (таксономії) нам потрібен був рушій, здатний шукати схожі медіа на основі їхньої семантики, а не візуальних особливостей. Завдяки стабільному механізму пошуку схожих зображень система зможе аналізувати нові дані про зображення з існуючої бази анотованих зображень і збирати таксономічні теги зі схожих медіа.
Таксономічні мітки будуть агреговані на основі оцінки схожості, а таксономічні дані будуть автоматично генеруватися для нових зображень.
Розгортання та подальший розвиток продукту
Система використовує передове машинне навчання, щоб генерувати візуальні пропозиції щодо вдосконалення продукту, оптимальних комбінацій ключових слів та цінових стратегій.
Створення PoC
Команда Brightgrove повністю відповідала за створення PoC, щоб допомогти клієнту визначити, чи може запропоноване технічне рішення задовольнити його бізнес-вимоги. Цей PoC включав наступні етапи:
• Зосередження на перевірці основної функціональності
• Використання керованих сервісів для зменшення операційних витрат
• Впровадження базового моніторингу
• Обмежена, але функціональна обробка помилок
Впровадження таксономії та категорій
Ми розробили рішення на основі штучного інтелекту, яке аналізує дані про товари, виявляє тенденції та надає рекомендації для оптимізації оголошень і підвищення продажів. Наприклад, якщо продавець пропонує чорні пляшки для води об'ємом 0,5 л, система аналізує аналогічні товари на інших маркетплейсах, визначає тенденції у вподобаннях споживачів і може порекомендувати оптимізацію до зелених пляшок об'ємом 0,75 л на основі ринкових даних та аналізу думок покупців.
Для створення ПЗ і подальшої розробки нам потрібно було дослідити мовні моделі, здатні кодувати текстові дані – описи продуктів та інші метадані для представлення таксономії.
Нам потрібно було оцінити різні мовні моделі за кількома критеріями:
• Розмір моделі
• Продуктивність
• Легкість адаптації до нових даних (точне налаштування)
У випадку з PoC для більш обмеженої кількості категорій були використані легкі моделі, такі як tiny-GPT або tiny-BERT. Для реалізації кодування зображення в текст (таксономії) нам потрібен був рушій, здатний шукати схожі медіа на основі їхньої семантики, а не візуальних особливостей. Завдяки стабільному механізму пошуку схожих зображень система зможе аналізувати нові дані про зображення з існуючої бази анотованих зображень і збирати таксономічні теги зі схожих медіа.
Таксономічні мітки будуть агреговані на основі оцінки схожості, а таксономічні дані будуть автоматично генеруватися для нових зображень.
Розгортання та подальший розвиток продукту
Система використовує передове машинне навчання, щоб генерувати візуальні пропозиції щодо вдосконалення продукту, оптимальних комбінацій ключових слів та цінових стратегій.
Модульна система мікросервісів
Модульна система мікросервісів
Модульна система мікросервісів
PoC був розроблений як модульна система мікросервісів, розгорнута на Google Cloud Platform, з використанням контейнерних додатків для максимальної гнучкості та масштабованості. Архітектура складається з чотирьох різних рівнів.
PoC був розроблений як модульна система мікросервісів, розгорнута на Google Cloud Platform, з використанням контейнерних додатків для максимальної гнучкості та масштабованості. Архітектура складається з чотирьох різних рівнів.
PoC був розроблений як модульна система мікросервісів, розгорнута на Google Cloud Platform, з використанням контейнерних додатків для максимальної гнучкості та масштабованості. Архітектура складається з чотирьох різних рівнів.
Рівень збору даних складається з декількох ключових компонентів: Інтеграція API маркетплейсу досягається за допомогою хмарних функцій для ефективного збору даних. Сервіс завантаження даних про продукти, що працює на Cloud Run, забезпечує масштабовану обробку. Дані відгуків збираються та оптимально зберігаються за допомогою Cloud Firestore та BigQuery. Нарешті, аналіз даних конкурентів проводиться за допомогою безсерверних функцій за допомогою Selenium.
Рівень збору даних складається з декількох ключових компонентів: Інтеграція API маркетплейсу досягається за допомогою хмарних функцій для ефективного збору даних. Сервіс завантаження даних про продукти, що працює на Cloud Run, забезпечує масштабовану обробку. Дані відгуків збираються та оптимально зберігаються за допомогою Cloud Firestore та BigQuery. Нарешті, аналіз даних конкурентів проводиться за допомогою безсерверних функцій за допомогою Selenium.
Рівень збору даних складається з декількох ключових компонентів: Інтеграція API маркетплейсу досягається за допомогою хмарних функцій для ефективного збору даних. Сервіс завантаження даних про продукти, що працює на Cloud Run, забезпечує масштабовану обробку. Дані відгуків збираються та оптимально зберігаються за допомогою Cloud Firestore та BigQuery. Нарешті, аналіз даних конкурентів проводиться за допомогою безсерверних функцій за допомогою Selenium.
Рівень обробки включає в себе кілька ключових технологій: Аналіз зображень працює на основі Cloud Vision AI та TensorFlow. Аналіз настроїв використовує сервіси хмарної природної мови. Видобування тексту реалізовано за допомогою NLTK та spaCy. Для вилучення ключових слів використовуються алгоритми TF-IDF і TextRank
Рівень обробки включає в себе кілька ключових технологій: Аналіз зображень працює на основі Cloud Vision AI та TensorFlow. Аналіз настроїв використовує сервіси хмарної природної мови. Видобування тексту реалізовано за допомогою NLTK та spaCy. Для вилучення ключових слів використовуються алгоритми TF-IDF і TextRank
Рівень обробки включає в себе кілька ключових технологій: Аналіз зображень працює на основі Cloud Vision AI та TensorFlow. Аналіз настроїв використовує сервіси хмарної природної мови. Видобування тексту реалізовано за допомогою NLTK та spaCy. Для вилучення ключових слів використовуються алгоритми TF-IDF і TextRank
Рівень моделей ML включає в себе передові методи обробки візуальних і текстових даних. Обробка зображень використовує LAION-CLIP для виділення особливостей. NLP-обробка використовує Vertex AI з інтеграцією PyTorch. Система рекомендацій поєднує колаборативну фільтрацію з використанням BigQuery ML, фільтрацію на основі контенту за допомогою Vertex AI, гібридну систему ранжування з LambdaMART і співставлення в реальному часі з використанням Memorystore і FAISS.
Рівень моделей ML включає в себе передові методи обробки візуальних і текстових даних. Обробка зображень використовує LAION-CLIP для виділення особливостей. NLP-обробка використовує Vertex AI з інтеграцією PyTorch. Система рекомендацій поєднує колаборативну фільтрацію з використанням BigQuery ML, фільтрацію на основі контенту за допомогою Vertex AI, гібридну систему ранжування з LambdaMART і співставлення в реальному часі з використанням Memorystore і FAISS.
Рівень моделей ML включає в себе передові методи обробки візуальних і текстових даних. Обробка зображень використовує LAION-CLIP для виділення особливостей. NLP-обробка використовує Vertex AI з інтеграцією PyTorch. Система рекомендацій поєднує колаборативну фільтрацію з використанням BigQuery ML, фільтрацію на основі контенту за допомогою Vertex AI, гібридну систему ранжування з LambdaMART і співставлення в реальному часі з використанням Memorystore і FAISS.
Вихідний рівень надає результати оптимізації за допомогою Cloud Run, має візуальний інтерфейс, побудований на основі Material UI, і генерує вичерпні звіти за допомогою BigQuery і Data Studio.
Вихідний рівень надає результати оптимізації за допомогою Cloud Run, має візуальний інтерфейс, побудований на основі Material UI, і генерує вичерпні звіти за допомогою BigQuery і Data Studio.
Вихідний рівень надає результати оптимізації за допомогою Cloud Run, має візуальний інтерфейс, побудований на основі Material UI, і генерує вичерпні звіти за допомогою BigQuery і Data Studio.
Результати та досягнення
Результати та досягнення
Результати та досягнення
Високопродуктивний рушій рекомендацій
Впроваджено масштабований механізм рекомендацій, який щодня обробляє понад 100 000 товарів.
Впроваджено масштабований механізм рекомендацій, який щодня обробляє понад 100 000 товарів.
Кастомний комп'ютерний зір для оптимізації продуктів
Розроблено кастомні моделі комп'ютерного зору для аналізу та оптимізації зображень продуктів.
Розроблено кастомні моделі комп'ютерного зору для аналізу та оптимізації зображень продуктів.
Адаптивна система таксономії
Створено адаптивну систему таксономії, яку можна модифікувати для різних категорій товарів та галузей.
Створено адаптивну систему таксономії, яку можна модифікувати для різних категорій товарів та галузей.
Що відбувається зараз
Що відбувається зараз
Що відбувається зараз
Ми активно готуємося до запуску розробки після успішного PoC, який підтвердив правильність нашого технічного підходу. Прогнозуємо 6-9 місяців на реалізацію проєкту, що складається з трьох етапів:
Етап 1: Фокусується на масштабуванні інфраструктури, надійності та розгортанні в різних регіонах.
Етап 2: Удосконалення основної системи, розгортання масштабованих моделей ML та оптимізація обробки в реальному часі.
Етап 3: Забезпечення виробничої готовності за допомогою налаштування високої доступності, комплексного тестування та розгортання.
Ми плануємо зберегти нашу поточну основну команду з 8 спеціалістів з потенційним додаванням 2-3 спеціалістів під час пікових фаз розробки, з прогнозованою окупністю інвестицій протягом 7-10 місяців після впровадження. Ми з нетерпінням чекаємо на початок основного етапу розробки, як тільки замовник затвердить технічні вимоги та графік впровадження.
Орієнтовний вплив на бізнес:
• 65% скорочення ручної роботи з оптимізації
• 35% покращення продуктивності
• Збільшення пропускної здатності до 5 000+ продуктів на годину
• Час відгуку системи менше 1 секунди
Ми активно готуємося до запуску розробки після успішного PoC, який підтвердив правильність нашого технічного підходу. Прогнозуємо 6-9 місяців на реалізацію проєкту, що складається з трьох етапів:
Етап 1: Фокусується на масштабуванні інфраструктури, надійності та розгортанні в різних регіонах.
Етап 2: Удосконалення основної системи, розгортання масштабованих моделей ML та оптимізація обробки в реальному часі.
Етап 3: Забезпечення виробничої готовності за допомогою налаштування високої доступності, комплексного тестування та розгортання.
Ми плануємо зберегти нашу поточну основну команду з 8 спеціалістів з потенційним додаванням 2-3 спеціалістів під час пікових фаз розробки, з прогнозованою окупністю інвестицій протягом 7-10 місяців після впровадження. Ми з нетерпінням чекаємо на початок основного етапу розробки, як тільки замовник затвердить технічні вимоги та графік впровадження.
Орієнтовний вплив на бізнес:
• 65% скорочення ручної роботи з оптимізації
• 35% покращення продуктивності
• Збільшення пропускної здатності до 5 000+ продуктів на годину
• Час відгуку системи менше 1 секунди
Ми активно готуємося до запуску розробки після успішного PoC, який підтвердив правильність нашого технічного підходу. Прогнозуємо 6-9 місяців на реалізацію проєкту, що складається з трьох етапів:
Етап 1: Фокусується на масштабуванні інфраструктури, надійності та розгортанні в різних регіонах.
Етап 2: Удосконалення основної системи, розгортання масштабованих моделей ML та оптимізація обробки в реальному часі.
Етап 3: Забезпечення виробничої готовності за допомогою налаштування високої доступності, комплексного тестування та розгортання.
Ми плануємо зберегти нашу поточну основну команду з 8 спеціалістів з потенційним додаванням 2-3 спеціалістів під час пікових фаз розробки, з прогнозованою окупністю інвестицій протягом 7-10 місяців після впровадження. Ми з нетерпінням чекаємо на початок основного етапу розробки, як тільки замовник затвердить технічні вимоги та графік впровадження.
Орієнтовний вплив на бізнес:
• 65% скорочення ручної роботи з оптимізації
• 35% покращення продуктивності
• Збільшення пропускної здатності до 5 000+ продуктів на годину
• Час відгуку системи менше 1 секунди
Масштабованість та адаптивність
Масштабованість та адаптивність
Архітектура системи, яка спочатку розроблялася для оптимізації електронної комерції, може бути адаптована для різних галузей, що потребують розпізнавання патернів і генерування рекомендацій, що вимагають великих обсягів даних. Основні технології – комп'ютерний зір, обробка природної мови та предиктивна аналітика, можуть бути перепрофільовані для застосування в різних галузях: від роздрібної торгівлі до сільського господарства.
Завантажте повний кейс-стаді англійською в .pdf
Завантажте повний кейс-стаді англійською в .pdf