Чудо молоко регистрация кодов: Чудо новый год с Гулливером

Содержание

40 загадок обо всем на свете • Arzamas

У вас отключено выполнение сценариев Javascript. Измените, пожалуйста, настройки браузера.

Детская комната ArzamasМатериалы

Материалы

Arzamas для занятий со школьниками! Подборка материалов для учителей и родителей

Всё, чем можно заняться на онлайн-уроке или просто так

Мультфильмы — победители фестивалей. Часть 2

Сказки, притчи, эксперименты и абсурд

Путеводитель по Ясной Поляне

Любимая скамейка Льва Толстого, теплица, конюшня и другие места музея-усадьбы писателя, которые стоит посмотреть с детьми

Детские стихи обэриутов

Хармс, Введенский, Заболоцкий и Владимиров о котах, тиграх, рыбаках и мальчиках по имени Петя

Мигранты: как бороться за свои права с помощью музыки

Хип-хоп, карнавал, говорящие барабаны и другие неочевидные способы

Старые пластинки: сказки народов мира

Слушаем и разбираем японские, итальянские, скандинавские и русские сказки

Видео: командир МКС спрашивает ученого о космосе

Лекция на высоте 400 километров

Как снять фильм

Фильм ужасов, комедия и мелодрама в домашних условиях

Самые необычные техники анимации

VR, мультфильмы из солнечных зайчиков, киселя и специй

Поиграйте на ударных инструментах мира

Узнайте, как устроены гонг, маримба и барабан, и соберите свой оркестр

Как поставить спектакль

Театр теней, читка и другие варианты домашнего спектакля для детей

Советские ребусы

Разгадайте детские ребусы 1920–70-х годов

22 мультфильма для самых маленьких

Что смотреть, если вам нет шести

От «Дикой собаки динго» до «Тимура и его команды»

Что нужно знать о главных советских книгах для детей и подростков

Путеводитель по детской поэзии ХХ века

От Агнии Барто до Михаила Яснова: детские стихи на русском языке

10 книг художников

Страницы из кальки — миланский туман, а переплет — граница между реальностью и фантазией

Как выбрать современную детскую книжку

«Как „Пеппи“, только про любовь»: объясняем новые книги через старые

Словесные игры

«Шляпа», «телеграммы», «МПС» и другие старые и новые игры

Игры из классических книг

Во что играют герои произведений Набокова, Линдгрен и Милна

Пластилиновая анимация: российская школа

От «Пластилиновой вороны» до пластилиновой «Сосиски»

Мультфильмы — победители фестивалей

«Смелая мама», «Мой странный дедушка», «Очень одинокий петух» и другие

Нон-фикшн для детей

Как бьется сердце кита, что внутри ракеты и кто играет на диджериду — 60 книг о мире вокруг

Путеводитель по зарубежной популярной музыке

200 артистов, 20 жанров и 1000 песен, которые помогут разобраться в музыке 1950–2000-х

Мультфильмы по стихотворениям

Стихи Чуковского, Хармса, Гиппиус и Яснова в российской анимации

Домашние игры

Театр теней, поделки и бумажные куклы из детских книг и журналов XIX–XX веков

Книжки для самых маленьких

Современная литература от 0 до 5: читать, разглядывать, учиться

Кукольная анимация: российская школа

«Влюбчивая ворона», «Чертенок № 13», «Лёля и Минька» и другие старые и новые мультфильмы

Умные раскраски

Музеи и библиотеки предлагают разрисовать свои коллекции

Репринты и переиздания детских книг

Любимые сказки, повести и журналы прошлого века, которые снова можно купить

Что можно услышать в классической музыке

Шаги по льду, голос кукушки и звуки ночного леса в великих композициях XVIII–XX веков

Советские познавательные мультфильмы

Архимед, динозавры, Антарктида и космос — научно‑популярные мультфильмы в СССР

Логические задачи

Разрешите спор мудрецов, сделайте из рубашки птицу и правильно посчитайте котят

Современные детские рассказы

Лучшие короткие истории про бабушек, котов, шпионов и рыцарей

Как устроены русские колыбельные

Объясняем, чем страшен волчок и почему нельзя ложиться на краю. Бонус: 5 колыбельных группы «Наадя»

Музыкальные сказки

Как Чайковский, Римский-Корсаков и Прокофьев работают с сюжетами детских сказок

Армянская школа анимации

Самые бунтарские мультфильмы Советского Союза

Коллекция мультфильмов Дины Годер

Программный директор Большого фестиваля мультфильмов советует, что посмотреть с ребенком

Мультфильмы про искусство

Как рассказать детям о Пикассо, Поллоке и Татлине с помощью анимации

40 загадок обо всем на свете

Что жжет без огня и у кого в носу решето: загадки из «Чижа», «Ежа» и книг Маршака и Чуковского

Дворовые игры

«Светофор», «Штандер», «Колечко» и другие игры для большой компании

Стихи, которые интересно учить наизусть

Что выбрать, если задали выучить стихотворение про маму, Новый год или осень

Старые аудиоспектакли для детей

«Оле-Лукойе», «Серая Шейка», «Золушка» и другие интересные советские записи

Мультфильмы с классической музыкой

Как анимация работает с музыкой Чайковского, Верди и Гласса

Как устроены детские считалки

«Энэ, бэнэ, раба, квэнтэр, мантэр, жаба»: что всё это значит

У кого в носу решето, что жжет без огня и почему река сошла с ума? Простые, сложные и очень сложные загадки из журналов «Мурзилка», «Чиж» и «Ёж» и книг Маршака и Чуковского

Подготовил Илья Старков

Простые загадки

1

В Полотняной стране

По реке Простыне

Плывет пароход

То назад, то вперед,

А за ним такая гладь —

Ни морщинки не видать.

Ответ

Самуил Маршак. «Загадки Маршака», 1930

2

В брюшке — баня,

В носу — решето,

Нос — хоботок,

На голове — пупок,

Всего одна рука

Без пальчиков,

И та — на спине

Калачиком.

Ответ

«Мурзилка», № 11, 1925

3

Стоит дуб,

В нем двенадцать гнезд,

В каждом гнезде

По четыре яйца,

В каждом яйце

По семи цыпленков.

Ответ

«Мурзилка», № 12, 1925

4

В синем небе светляки —

Не дотянешь к ним руки.

А один большой светляк

Изогнулся, как червяк.

Ответ

«Загадки», 1928

5

Вдруг из черной темноты

В небе выросли кусты.

А на них-то голубые,

Пунцовые, золотые

Распускаются цветы

Небывалой красоты.

И все улицы под ними

Тоже стали голубыми,

Пунцовыми, золотыми,

Разноцветными.

Ответ

Корней Чуковский. «Мурзилка», № 1, 1945

 

Загадки народов мира

Что загадывают друг другу японцы, армяне, якуты и другие

6

Речка спятила с ума —

По домам пошла сама.

Ответ

Самуил Маршак. «Загадки Маршака», 1930

7

Музыкант, певец, рассказчик —

А всего труба да ящик.

Ответ

Самуил Маршак. «Загадки Маршака», 1930

8

Из стены торчу,

Головой кручу,

Мою и пою

Целую семью.

Ответ

Софья Федорченко. «Ёж», № 7, 1928

9

Вот иголки и булавки

Выползают из-под лавки,

На меня они глядят,

Молока они хотят.

Ответ

«Ёж», № 11, 1929

10

Страну чудес откроем мы

И встретимся с героями

В строчках,

На листочках,

Где станции на точках.

Ответ

Анна Рождественская. «Мурзилка», № 7, 1957

11

Ёжик странный у Егорки

На окне сидит в ведерке.

День и ночь он дремлет,

Спрятав ножки в землю.

Ответ

«Мурзилка», № 1, 1969

12

Если день нахмурится,

Если дождь пойдет —

Выйдет он на улицу,

Надо мной вспорхнет.

Ответ

«Мурзилка», № 4, 1990

13

Ходят-ходят два дружка

Вокруг белого кружка,

Ходят-ходят,

Не приходят,

Мерят-мерят,

Не измерят.

Ответ

Софья Федорченко. «Ёж», № 5, 1928

14

Нахмурилось небо

(Наверно, не в духе!).

Летают, летают

Белые мухи!..

И носятся слухи,

Что белые мухи

Не только летают,

Но даже — не тают!

Ответ

Борис Заходер. «Избранное», 1981

15

На раскрашенных страницах

Много праздников хранится.

Ответ

«Мурзилка», № 10, 1959

16

Два коня у меня,

Два коня.

По воде они возят меня.

А вода

Тверда,

Словно каменная!

Ответ

Корней Чуковский. «Чудо-дерево: сказки, стихи, загадки», 1959

17

Ах, не трогайте меня:

Обожгу и без огня!

Ответ

Корней Чуковский. «Чудо-дерево: сказки, стихи, загадки», 1959

18

Мудрец в нем видел мудреца,

Глупец — глупца,

Баран — барана,

Овцу в нем видела овца,

И обезьяну — обезьяна,

Но вот подвели к нему Федю Баратова,

И Федя неряху увидел лохматого.

Ответ

Корней Чуковский. «Чудо-дерево: сказки, стихи, загадки», 1959

19

Маленькие домики по улице бегут,

Мальчиков и девочек домики везут.

Ответ

Корней Чуковский. «„Чудо-дерево“ и  другие сказки», 1970



 

Лекции для детей о считалках, анекдотах и мемах

Кто их придумывает, зачем они нужны — и что они говорят о нашей культуре



Загадки посложнее

1

Стучит,

Гремит,

Вертится,

Ходит весь

Свой век,

А не человек.

Ответ

«Мурзилка», № 4, 1925

2

Кафтан на мне зеленый,

А сердце — как кумач;

На вкус, как сахар, сладок,

На вид — похож на мяч.

Ответ

«Мурзилка», № 10, 1928

3

Пустые отдыхаем,

А полные шагаем.

Ответ

Самуил Маршак. «Загадки Маршака», 1930

4

Он с жадностью пьет —

А не чувствует жажды.

Он бел —

А купается только однажды:

Он смело ныряет

В кипящую воду

Себе на беду,

Но на радость народу…

И добрые люди

(Вот это загадка!)

Не скажут:

— Как жалко…

А скажут:

— Как сладко!

Ответ

Борис Заходер. «Избранное», 1981

5

Что загадка эта значит?

Ничего я не пойму:

По листве зайчонок скачет

И рассеивает тьму.

Ответ

«Загадки», 1928

6

Наш зверок

С вершок.

Носом шмыг, шмыг,

Хвостиком дрыг, дрыг,

А дело делает.

Ответ

«Мурзилка», № 8, 1924

7

Загадка у меня к вам есть,

Загадка непростая:

Какую букву можно есть,

Когда она пустая?

Ответ

«Чиж», № 7–8, 1930

8

Нет ушей, а слышит.

Нету рук, а пишет.

Ответ

«Мурзилка», № 3, 1974

9

Над нами кверху ногами.

Ответ

«Мурзилка», № 4, 1926

10

Чем больше отдаю,

Тем больше вырастаю,

Величину свою

Отдачей измеряю.

Ответ

«Мурзилка», № 11, 1928

11

Деревянный брусок,

А на нем растет лесок.

Ответ

«Чиж», № 2, 1930

12

Орехов не ест,

Сахара не просит,

А щипцы с собой носит.

Ответ

Нина Назарова. «Отгадай-ка», 1959

13

На листочке,

На страничке —

То ли точки,

То ли птички.

Все сидят на лесенке,

Все щебечут песенки.

Ответ

«Мурзилка», № 12, 1975

14

Как пошли четыре братца

Под корытом кувыркаться.

Понесли меня с тобой

По дороге столбовой.

Ответ

Самуил Маршак. «Ёж», № 6, 1928

15

Красные двери

В пещере моей,

Белые звери

Сидят у дверей.

И мясо, и хлеб — всю добычу мою —

Я с радостью белым зверям отдаю!

Ответ

Корней Чуковский. Из сборника «Топтыгин и лиса», 1942

16

Две ноги на трех ногах,

А четвертая в зубах.

Вдруг четыре прибежали

И с одною убежали.

Подскочили две ноги,

Ухватили три ноги,

Закричали на весь дом —

Да тремя по четырем!

Но четыре завизжали

И с одною убежали.

Ответ

Корней Чуковский. «Чудо-дерево: сказки, стихи, загадки», 1959




Совсем тяжело!

1

Лежит, лежит копеечка у нашего колодца.

Хорошая копеечка, а в руки не дается.

Подите приведите четырнадцать коней,

Подите позовите пятнадцать силачей!

Пускай они попробуют копеечку поднять,

Чтоб Машенька копеечкой могла бы поиграть!

И кони прискакали, и силачи пришли,

Но маленькой копеечки не подняли с земли.

Не подняли, не подняли и сдвинуть не могли.

Ответ

Корней Чуковский. «Чиж», № 2, 1934

2

В лесу без огня котел кипит.

Ответ

Эвенкийская загадка. «Мурзилка», № 8, 1961

3

Дом открыт

со всех сторон.

В доме —

Тысячи колонн.

Над колоннами —

Шатры.

Под колоннами —

Ковры.

Там живут —

И в коврах,

И в колоннах,

И в шатрах.

Ответ

«Мурзилка», № 1, 1969

4

На ямке, ямке сто ямок с ямкой.

Ответ

«Мурзилка», № 4, 1925

5

Один — махай,

Четыре — гуляй,

Два — детям страсть,

Четыре — всем сласть.   

Ответ

Лев Зилов. «Двор да изба народу гурьба», 1927

Больше хороших детских стихотворений

 

Стихи, которые интересно учить наизусть

Что выбрать, если задали выучить стихотворение про маму, Новый год или осень

 

Путеводитель по детской поэзии ХХ века

От Агнии Барто до Михаила Яснова: детские стихи на русском языке

 

Детские стихи обэриутов

Хармс, Введенский, Заболоцкий и Владимиров о зверях, снах и Петях







Детская комната





Спецпроект

Детская комната Arzamas





Теги

Дети
Развлечения
Игра

Франциско Инфанте: «‎Быть живым — это самое главное»

Продолжение документального сериала «‎Художник говорит»! Шестая серия — о том, как найти визуальную метафору бесконечности. А также материал о 10 главных работах Инфанте

Хотите быть в курсе всего?

Подпишитесь на нашу рассылку, вам понравится. Мы обещаем писать редко и по делу

Курсы

Все курсы

Спецпроекты

О проектеЛекторыКомандаЛицензияПолитика конфиденциальностиОбратная связь

Радио ArzamasГусьгусьСтикеры Arzamas

ОдноклассникиVKYouTubeПодкастыTwitterTelegramRSS

История, литература, искусство в лекциях, шпаргалках, играх и ответах экспертов: новые знания каждый день

© Arzamas 2022. Все права защищены

До повышения стоимости подписки осталось

.

Успейте купить сейчас

.

ML-модель out-of-stock. Как контролировать доступность 200 млн товаров на рынке e-grocery? / Хабр

Привет! На связи Николай Шикунов и Леонид Сидоров из ML-команды СберМаркета. Модель, над которой мы работаем, прогнозирует наличие товаров на полках во всех точках, представленных в приложении, и называется out-of-stock model. В этой статье хотим рассказать, какую проблему бизнеса мы решаем, как эволюционировал наш подход к управлению остатками с 2019 года и к чему мы пришли сейчас. 

Что такое SKU и зачем управлять ассортиментом?

Начнём с небольшой вводной в бизнес-логику. СберМаркет – это сервис доставки продуктов и товаров первой необходимости. В приложении клиент добавляет в корзину товары из каталога выбранного магазина (например, Ашана или Метро), а после оформления заказа сборщики собирают эти продукты в торговом зале и передают заказ курьеру, который отправляется по адресу клиента.

Сейчас к СберМаркету подключено более 25 тысяч магазинов, а общее число товаров (они же SKU или stock-keeping units, дословно «наименования, хранящееся на складе») достигло 200 миллионов. Нюанс в том, что у СберМаркета нет своих дарксторов и наши сборщики пользуются теми же полками в магазине, что и обычные покупатели. Когда сборщик не находит выбранный клиентом продукт, в зависимости от настроек клиента товар либо заменяют на другой, либо исключает из сборки. Это мы называем отменой и заменой.

Почему отмены и замены это плохо?

Отмены и замены тянут за собой целый айсберг причин. Если мы не собрали молоко, которое заказал клиент, падает удовлетворенность, оценка заказа и retention. Как следствие, начинает страдать и экономика: от отсутствия товара в корзине падает средний чек и GMV, страдает скорость сборки и в итоге снижается прибыльность на заказ.

Чтобы контролировать отмены и замены мы ввели следующие метрики:

Как вы уже могли догадаться, наша ключевая задача снижать долю отмен и замен, а значит показывать клиенту в каталоге только те товары, которые мы сможем ему привезти.

Почему на данные от ритейлеров нельзя полагаться?

Здесь у вас может возникнуть вопрос: «Разве ритейлеры не предоставляют нам актуальную информацию об остатках?» Это справедливое замечание , но, к сожалению, сток товаров у ритейлера не всегда точный. Этому есть много причин:

  • товар быстро закончился и это не успели отразить в данных;

  • товар «затерялся» в магазине или его не успели принести со склада;

  • товар ещё не приехал в магазин;

  • поставку зарезервировали под оптовый заказ и товары не доступны розничным покупателям;

  • и самое неочевидное: количество товара не отражает его качества. Напрмер, на полке может стоять 25 бутылок молока, но у всех у них срок годности заканчивается через 1-2 дня. Такие продукты мы не можем собрать для клиента по нашим внутренним регламентам качества.

Мы поняли, что нужно взять этот процесс в свои руки: не надеяться на ритейлеров, а прогонять перечень товаров через алгоритм, который будет говорить, что на самом деле есть, а чего нет. И именно эту информацию транслируем в приложении и на сайте.

Баланс между целостностью и доступностью

В погоне за сокращением отмен и замен нельзя забывать о сохранении объёма товарного ассортимента. Введём ещё две метрики:

Есть две крайности, причем в обоих случаях страдает прибыльность на заказ:

  1. Мы можем заблокировать почти весь ассортимент СберМаркета. Целостность будет 100%. Но маленький ассортимент грозит низкой конверсией и падением выручки.

  2. Мы ничего не блокируем и ассортимент максимальный. Но возникает много отмен/замен, падает retention и клиентский опыт также становится негативным.

Наша задача состоит как раз в том, чтобы найти золотую середину между целостностью и доступностью, при которой:

  •  не страдает конверсия;

  •  клиенты не испытывают избыточный негатив от отмен и замен;

  •  вместе это положительно работает на экономику компании.

Подходы к управлению остатками

Итак, мы пришли к тому, что нам нужен алгоритм, с помощью которого мы принимаем решение, показывать товар в каталоге или нет. Рассмотрим краткую историю развития этого алгоритма в СберМаркете.

1. Минимальный порог

Первый способ — ограничение с помощью минимального порога. Мы взяли за правило: если сток больше 3, то товар виден в каталоге, если меньше — не  виден.

Результат. Отмены и замены сократились на 5 процентных пунктов. 

Недостатки. Block-rate составил 18,5%. При такой логике страдает сегмент нон-фуд. Например, 3 дорогие сковородки в супермаркете — это вполне нормальный остаток, на который можно рассчитывать.  

2. Минимальный порог для каждого SKU

Далее мы начали подбирать минимальный порог для каждого SKU. Рассчитывали его как 20-й перцентиль стока за месяц. Если сток меньше минимального, то товар автоматически блокируется в каталоге. 

Результат. Отмены и замены сократились ещё на 5 процентных пунктов. 

Недостатки. Block-rate составил 20%. С таким подходом у нас появились ошибки в нашем главном сегменте — food.

Почему стали возникать ошибки в сегменте food?

До этого момента мы считали, что чем больше сток у товара, тем больше вероятность, что товар есть на полке. И, соответственно, чем товара меньше, тем больше вероятность, что на полке его нет. 

Оказалось, это не всегда так. Ниже представлен график стока картофеля, красным отмечены точки, в которых возникли отмены и замены. Мы видим, что они происходили как при максимальном стоке, так и при минимальном. Строгой зависимости нет, отмены и замены возникают хаотически. Кажется, данным от ритейлеров стоило доверять ещё меньше, чем мы делали это в первых двух подходах.

В поисках альтернативного сигнала

Мы решили, что нужно больше внимания уделить другим сигналам — от сборщиков. Сборщики находятся в магазине в реальном времени и лучше понимают, что действительно есть на полках, а чего нет. Сигнал от сборщика очень сильный. Если в магазине не удалось что-то не собрать, значит с этим товаром действительно есть проблема.

3. Алгоритм автоматической блокировки

На основе этого открытия мы придумали следующую логику. Если возникает отмена или замена по товару, то мы его блокируем на несколько часов.  Про эту логику мы написали отдельную статью на Хабре.

Мы решили совместить два подхода: сначала весь ассортимент проходит через алгоритм минимального стока, и дальше в случае отмен и замен включается алгоритм автоблокировки.

Результат. Алгоритм позволил улучшить not-found-rate ещё на 2 процентных пункта.  

Недостатки. Вместе эти подходы дают 30% заблокированного ассортимента. Стало трудно контролировать работу этих двух алгоритмов и захотелось избавиться от двух принципов и заменить их на один новый.

4. ML-модель out-of-stock

Так мы приступили к разработки ML-модели. Она должна была подсчитывать вероятность того, что товар не получится собрать в ближайшее время, и если эта вероятность достаточно высокая, то мы не отображаем этот товар в каталоге. Для модели мы объединили информацию от ритейлеров и от сборщиков.

Результат. Мы отключили все предыдущие алгоритмы и оставили только ML-модель. Она помогла нам ещё на 3 процентных пункта снизить процент отмен и замен.

Таймлайн not-found rate в СберМаркете

Но самое главное — block-rate впервые снизился и достиг 18%. В сравнении со всеми предыдущими, этот алгоритм блокирует меньше товаров, чем самый первый подход с константой 3, но при этом он даёт гигантский прирост по целостности.

Вызовы при решении ML-задачи

ML-модель стала лучшим решением по предсказанию остатков, но добиться такого результата мы смогли не сразу. Хотим поделиться сложностями, с которыми мы столкнулись по ходу работы.

Мы описали задачу как бинарную классификацию: сможет ли сборщик собрать товар, если его закажут в ближайший час. Обучающей выборкой (train) стали данные о заказанных корзинах. На них модель училась предсказывать, смог ли сборщик собрать позицию. В качестве inference выборки выступили все SKU СберМаркета. Мы использовали модель градиентного бустинга.

Вызов #1 Неравномерное обучение для разных категорий товаров

Train и inference выборки сильно отличаются по своей природе: первая содержит в себе информацию только по тем товарам, которые заказывали, а вторая — все SKU. Неоднородность выборок хорошо видно на графике ниже. На нём изображены распределения прогнозов модели на train и inference. Видим, что распределение на inference смещено вправо, то есть в проде модель ведёт себя агрессивнее.  

Различия поведения модели на Train и Inference выборках

Почему это произошло? Модель не очень точно ведёт себя на тех товарах, по которым у неё мало данных для обучения:

  1. Non-food товары. Обычно в корзинах покупателей большинство товаров — это продукты питания (food). При этом на витрине СберМаркета ассортимент в сегментах  food и non-food примерно равен. Это одно из ключевых различий между выборками train и inference.  Для non-food небольшие стоки являются более нормальным значением, чем для food, но ML-модель начала блокировать non-food товары по тем же критериям, что и food.

  2. Редко покупаемые товары. Модель привыкла получать сильный сигнал от сборщиков, и когда его нет (из-за того, что товар покупают не так часто), она начинает блокировать доступные, но редкие товары. 

Поэтому мы поделили все SKU СберМаркет на 4 категории: food или non-food и часто или редко покупаемые. Мы разделили модель на 4 непересекающихся сегмента, каждый со своими уникальными фичами.

Результат: Мы снизили процент блокировки на 8 процентных пунктов. До этого модель пыталась подобрать стратегию под большинство товаров, то есть под самую популярную категорию — food. А теперь мы запустили 4 разных модели и блокировка стала более точной.

Вызов #2 Feedback loop

Ещё одна особенность в том, что модель влияет на свою обучающую выборку. Если мы выключим какой-то товар на витрине, то пользователь не сможет его заказать и мы не узнаем, был ли он на полке в магазине. То есть в выборку train попадают данные на основе работы самой модели. Таким образом, мы решаем не исходную задачу, а задачу, которая постоянно меняется и на которую влияем мы сами. Это ухудшает качество модели и мы не можем корректно подсчитать ML-метрики. 

Чтобы нивелировать этот эффект, мы начали проводить регулярный аудит out-of-stock модели. Мы не можем узнать реальное состояние на полке всех товаров на витрине СберМаркета (SKU слишком много), но можем сгенерировать подвыборку, которая будет обладать основными свойствами витрины.  

В рамках аудита сборщики специально проверяют статус попавших в неё товаров, и мы можем сверить факт с предсказаниями алгоритма. Так мы считаем ML-метрики и контролируем, верно ли развивается модель.

Вызов #3 Как варьировать порог

Порог — это та вероятность отсутствия товара, по достижению которой мы исключаем его из каталога. Варьируя порог, мы можем влиять на бизнес метрики.

Немного поигравшись с показанными ранее метрикам, получим следующие формулы, справедливые для inference-выборки:

  • Если мы будем увеличивать recall, то уменьшим процент отмен/замен. То есть наша модель не будет включать товары, которые нужно было бы заблокировать. 

  • Если будем увеличивать precision, то уменьшим процент ошибочно заблокированных товаров. То есть модель будет менее агрессивной и не будет блокировать доступные товары.

Получив такие формулы, мы смогли перейти от кривой precision-recall к кривой целостности-доступности, которая более понятная для бизнеса и стороннего наблюдателя. По ней удобно ориентироваться, где мы сейчас находимся и что мы получим, изменив тот или иной порог.

Однако, по этим графикам всё ещё трудно судить, какой порог самый лучший. Здесь нам на помощь приходит коэффициент бэта в f-мере. Он отвечает за то, в сколько раз recall для нас важнее, чем precision. Значит, мы можем оптимизировать f-меру, заранее передав в неё пропорцию между этими метриками. Исходя из бизнес соображений, мы можем выбрать целевое соотношение целостности и доступности и после этого подобрать оптимальный порог, чтобы получить лучшее соотношение из доступных.

Например, мы можем решить, что целостность для нас в два раза важнее, чем доступность, и оптимизировать f-меру при beta=2. Тогда наша precision-recall кривая превратится в красивый график с ярко выраженным максимумом

Google wide and deep своими руками

Всегда хочется улучшать качество модели и недавно мы наткнулись на нейронную сеть Wide&Deep от Google. Она состоит из глубокой и широкой части: 

 Нам очень понравилась идея, но чтобы перейти на нейронную сеть, нам пришлось бы отказаться от большинства имеющихся наработок. К тому же нам бы пришлось использовать такой драгоценный ресурс как GPU.

Поэтому мы решили взять модель от Google в качестве вдохновения и сделать собственную вариацию на тему. Существующую модель на градиентном бустинге мы решили использовать в качестве глубокой модели и дополнить её «широкой» моделью линейной регрессии из библиотеки vowpal wabbit. 

Результат. Увидели прирост в качестве, но будем дорабатывать модель перед релизом.

Итоги

Хочется подчеркнуть главные идеи, которые мы извлекли по ходу развития нашей модели.

Хоть машинное обучение является лучшим решением, но с ним можно и подождать, начав с более простых в реализации подходов. Они тоже могут давать результат, достаточный для решения бизнес задачи.

Во многих бизнес-метриках присутствует trade-off и важно найти правильный баланс между ними, чтобы улучшать имеющиеся системы и строить новые.

Разделение моделей по сегментам SKU очень сильно улучшает доступность ассортимента. Это казалось не самым очевидным решением, которое дало значительный прирост эффективности.

И на последок, не забывайте, что модель может влиять сама на себя и если не решать этот вопрос, то модель станет неконтролируемой и принесёт вам много боли.

Надеюсь, вы нашли эту статью интересной и смогли извлечь полезные для себя идеи из нашего опыта. Если возникнут вопросы, стучитесь к нам в личку.

Tech-команда СберМаркета завела соцсети с новостями и анонсами. Если хочешь узнать, что под капотом высоконагруженного e-commerce, следи за нами в Telegram и YouTube.

MIRACLE MILK PRODUCTS PRIVATE LIMITED — Компания, регистрационные данные, продукция, директора, расходы и контактная информация Адрес офиса МИГ-49, Д.НО. 4-67-3/1LAWSONS BAY COLOBY, ВИСАХАПАТНАМ, висакхапатнам, Андхра-Прадеш, ИНДИЯ, 530017.

Годовое общее собрание компании (AGM) в последний раз проводилось 26 сентября 2014 г., а ее балансовый отчет последний раз был представлен 31 марта 2014 г. Текущий возраст компании на дату регистрации – 23 года 9 лет.месяцев 26 дней и классифицируется как индийская неправительственная компания.

Miracle Milk Products Private Limited зарегистрирована в Реестре компаний Хайдарабада (RoC-Хайдарабад). Компания была основана ЛОКАМ НАГА МАДХАВИ и ЛОКАМ ВЕНКАТАНАГЕНДРАВАРА ПРАСАД в 1999 году. На момент основания в совете директоров компании было 2 директора, которые были назначены 16 февраля 1999 года и 16 февраля 1999 года соответственно. Контактные данные компании указаны в разделе контактов, или вы можете связаться с ними, отправив форму запроса котировок на их веб-сайте.

Miracle Milk Products Private Limited является компанией-производителем с кодом Национальной отраслевой классификации (NIC) 15209. На основании этого кода деятельности компания занимается такими видами деятельности, как молочные продукты, не включенные в другие категории, производство,#Производство других молочных продуктов products#,Производство молочных продуктов, не включенных в другие группировки