[Перевод] Как мы сэкономили 100 ТБ за счёт оптимизации DNS-кэша сервиса 1.1.1.1
Habr ·
![[Перевод] Как мы сэкономили 100 ТБ за счёт оптимизации DNS-кэша сервиса 1.1.1.1](https://habrastorage.org/getpro/habr/upload_files/6f6/104/a4e/6f6104a4e0b74e0eefeca64b645339a1.png)
Платформа Big Pineapple — на базе которой работают 1.1.1.1 , Gateway DNS , DNS Firewall , AS112 и ряд других DNS-сервисов Cloudflare — в любой отдельный момент времени хранит 250 млрд. кэш-записей. При таких масштабах использование даже одного лишнего байта на запись стоит нашему парку машин более 250 ГБ памяти. Озадачившись этой проблемой, мы последовательно внесли пять изменений в механизм сохранения кэш-записей, сократив объём памяти, необходимый для хранения одной такой записи, более чем вдвое. В общей сложности нам удалось освободить примерно 100 ТБ по всему парку, что равнозначно объёму RAM в 130 из наших серверов 13-го поколения . При этом также ускорилась работа кэша. Пропускная способность при вставке записей выросла на 43%, а задержка поиска упала на 19%. Причём за счёт сокращения числа аллокаций и повышения локальности данных жертвовать скоростью ради экономии памяти не пришлось. Читать далее
Платформа Big Pineapple — на базе которой работают 1.1.1.1 , Gateway DNS , DNS Firewall , AS112 и ряд других DNS-сервисов Cloudflare — в любой отдельный момент времени хранит 250 млрд. кэш-записей. При таких масштабах использование даже одного лишнего байта на запись стоит нашему парку машин более 250 ГБ памяти. Озадачившись этой проблемой, мы последовательно внесли пять изменений в механизм сохранения кэш-записей, сократив объём памяти, необходимый для хранения одной такой записи, более чем вдвое. В общей сложности нам удалось освободить примерно 100 ТБ по всему парку, что равнозначно объёму RAM в 130 из наших серверов 13-го поколения . При этом также ускорилась работа кэша. Пропускная способность при вставке записей выросла на 43%, а задержка поиска упала на 19%. Причём за счёт сокращения числа аллокаций и повышения локальности данных жертвовать скоростью ради экономии памяти не пришлось. Читать далее