[Перевод] Со Spark на Apache Doris: как Kwai ускорила расчёт метрик A/B-экспериментов в 145 раз
Habr ·
![[Перевод] Со Spark на Apache Doris: как Kwai ускорила расчёт метрик A/B-экспериментов в 145 раз](https://habrastorage.org/getpro/habr/upload_files/fb5/26a/018/fb526a018b1100e8bc02c43b635820e7.jpg)
Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris: до 145 раз быстрее при снижении потребления ресурсов на 72%. В переводе разбираем, как команда переработала размещение данных, Local Distinct, UDF, планирование и метаданные FE на кластере из 2000 BE-узлов. С примечаниями о границах сравнения и доступности оптимизаций в открытом Doris. Читать далее
Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris: до 145 раз быстрее при снижении потребления ресурсов на 72%. В переводе разбираем, как команда переработала размещение данных, Local Distinct, UDF, планирование и метаданные FE на кластере из 2000 BE-узлов. С примечаниями о границах сравнения и доступности оптимизаций в открытом Doris. Читать далее