Fail-closed фактчекинг: как я строю пайплайн, в котором LLM не может соврать про цифры
Habr ·
Я веду базу знаний по тайским визам и пишу справочный контент с помощью LLM. Ниша неприятная тем, что ошибка в цифре это не опечатка, а чей-то испорченный переезд: человек прочитает про «минимальный остаток 300 тысяч бат», принесёт консульству на 200 тысяч меньше, чем нужно, и получит отказ с невозвратным сбором. Поэтому за год у меня собрался пайплайн, в котором модель физически не может протащить выдуманное число в публикацию. Расскажу архитектуру: она не привязана ни к визам, ни к конкретной модели, и подойдёт любой нише, где факты дороже стиля медицина, налоги, финансы. Читать далее
Я веду базу знаний по тайским визам и пишу справочный контент с помощью LLM. Ниша неприятная тем, что ошибка в цифре это не опечатка, а чей-то испорченный переезд: человек прочитает про «минимальный остаток 300 тысяч бат», принесёт консульству на 200 тысяч меньше, чем нужно, и получит отказ с невозвратным сбором. Поэтому за год у меня собрался пайплайн, в котором модель физически не может протащить выдуманное число в публикацию. Расскажу архитектуру: она не привязана ни к визам, ни к конкретной модели, и подойдёт любой нише, где факты дороже стиля медицина, налоги, финансы. Читать далее