474 712 строк за 35 лет: как мы с LLM и 21 экспертом приводим в порядок справочник автосервиса
Habr ·
НАР РУЧКУ ДВЕРЬ РАСПАШ З ПР С/У Это не битая кодировка и не ошибка миграции. Это настоящее название работы из нашего справочника. За 35 лет в нём накопилось 474 712 строк: сокращения, дубли, опечатки, разные языки и разные варианты одной и той же операции. Опытный мастер-консультант многое понимает по контексту. Для специалиста по записи клиентов и аналитика такой справочник уже становится системной проблемой: первый зависит от знаний более опытных коллег, второму приходится вручную собирать разные названия одной операции. Мы столкнулись с этим при разработке Dealer Digital Platform «Флора». Проект ещё не завершён, но основную часть нормализации уже прошли: дедуплицировали массив, дважды провели его через экспертную проверку и для 96,13% работ после дедупликации подтвердили корректный узел. Я решил рассказать об этом сейчас, не дожидаясь финального релиза: основные грабли уже случились. Мы отказались от полнотекстового поиска, несколько раз перестроили работу LLM и экспертов, научились возвращать экспертный фидбек в правила и skills агента и ошиблись больше чем втрое в оценке производительности на одной из задач. Если вы работаете с историческими справочниками, master data или LLM-классификацией, значительную часть этого опыта можно перенести и за пределы автобизнеса. Читать далее
НАР РУЧКУ ДВЕРЬ РАСПАШ З ПР С/У Это не битая кодировка и не ошибка миграции. Это настоящее название работы из нашего справочника. За 35 лет в нём накопилось 474 712 строк: сокращения, дубли, опечатки, разные языки и разные варианты одной и той же операции. Опытный мастер-консультант многое понимает по контексту. Для специалиста по записи клиентов и аналитика такой справочник уже становится системной проблемой: первый зависит от знаний более опытных коллег, второму приходится вручную собирать разные названия одной операции. Мы столкнулись с этим при разработке Dealer Digital Platform «Флора». Проект ещё не завершён, но основную часть нормализации уже прошли: дедуплицировали массив, дважды провели его через экспертную проверку и для 96,13% работ после дедупликации подтвердили корректный узел. Я решил рассказать об этом сейчас, не дожидаясь финального релиза: основные грабли уже случились. Мы отказались от полнотекстового поиска, несколько раз перестроили работу LLM и экспертов, научились возвращать экспертный фидбек в правила и skills агента и ошиблись больше чем втрое в оценке производительности на одной из задач. Если вы работаете с историческими справочниками, master data или LLM-классификацией, значительную часть этого опыта можно перенести и за пределы автобизнеса. Читать далее