Определение и принцип кэширования
Кэш (cache) – промежуточный уровень хранения данных, обеспечивающий быстрый доступ к информации, которая с высокой вероятностью понадобится снова. Эффективность кэша обусловлена двумя фундаментальными свойствами программного кода и данных:
- Временна́я локальность (temporal locality) – данные, к которым обращались недавно, скорее всего понадобятся снова в ближайшее время;
- Пространственная локальность (spatial locality) – данные, расположенные рядом с уже запрошенными, тоже вероятно понадобятся.
Термин произошёл от французского cacher («прятать»). В вычислительной технике кэш-память появилась в конце 1960-х годов: первый коммерческий ЦП с кэшем – IBM System/360 Model 85 (1968) с кэшем ёмкостью 16 КБ при основной памяти до 4 МБ.
Иерархия процессорного кэша: L1, L2, L3
Современные процессоры содержат несколько уровней кэша, образующих иерархию. Каждый уровень компенсирует различие в скорости и объёме между уровнями ниже и выше:
- L1 (Level 1) – встроен непосредственно в ядро, самый быстрый (~1 нс), обычно 32–64 КБ на ядро; разделён на кэш инструкций (I-cache) и кэш данных (D-cache);
- L2 (Level 2) – больше L1 (256 КБ – 1 МБ на ядро), медленнее (~3–10 тактов задержки); у каждого ядра свой L2;
- L3 (Level 3) – разделяемый между всеми ядрами ЦП, ёмкостью 8–64 МБ, задержка ~30–40 тактов.
Скорость L1 может быть до 100 раз выше скорости оперативной памяти, что принципиально важно для производительности вычислительных задач. Промах кэша (cache miss) – ситуация, когда данные отсутствуют в кэше и процессор вынужден обратиться к следующему уровню иерархии памяти.
Политики вытеснения и записи
Кэш имеет ограниченный объём, поэтому при его заполнении требуется алгоритм вытеснения (eviction policy) для удаления устаревших записей:
- LRU (Least Recently Used) – вытесняется строка, к которой дольше всего не было обращений; наиболее распространён;
- LFU (Least Frequently Used) – вытесняется наименее часто используемая строка;
- FIFO (First In, First Out) – вытесняется старейшая по времени загрузки строка;
- Random Replacement – случайное вытеснение; применяется в некоторых аппаратных реализациях из-за простоты.
Политики записи определяют, когда изменённые данные из кэша записываются обратно в основную память:
- Write-through – запись в кэш и основную память одновременно; данные всегда актуальны в памяти, но создаёт дополнительный трафик;
- Write-back (copy-back) – запись только в кэш, в память – при вытеснении строки; эффективнее, но требует отслеживания «грязных» (dirty) строк.
Виды кэширования в программных системах
Концепция кэширования применяется на всех уровнях ИТ-стека:
- DNS-кэш – операционная система и браузер хранят результаты DNS-запросов на время TTL, сокращая задержку разрешения имён;
- Кэш браузера – статические ресурсы (изображения, CSS, JS) сохраняются локально; управляется заголовками HTTP (Cache-Control, ETag, Last-Modified);
- Кэш приложения – Redis, Memcached используются как распределённые in-memory-хранилища для кэширования результатов запросов к БД, вычислений, сессионных данных;
- CDN (Content Delivery Network) – географически распределённый кэш статического и динамического контента на граничных серверах;
- Кэш СУБД – буферный пул (buffer pool) в MySQL/PostgreSQL хранит страницы данных в RAM для ускорения запросов;
- CPU TLB (Translation Lookaside Buffer) – специализированный кэш таблицы трансляции виртуальных адресов в физические.
Проблемы инвалидации кэша и когерентности
Известная поговорка в программировании гласит, что в информатике есть только две сложные задачи: инвалидация кэша и именование переменных. Действительно, управление актуальностью данных в кэше – нетривиальная задача:
- Инвалидация (cache invalidation) – процесс принудительного удаления устаревших данных из кэша при изменении источника;
- Когерентность кэша (cache coherence) – в многопроцессорных системах данные одной ячейки памяти могут быть одновременно в L1-кэшах нескольких ядер; протоколы MESI, MOESI обеспечивают их согласованность;
- Cache stampede (thundering herd) – при истечении TTL множество запросов одновременно обращаются к источнику данных, создавая пиковую нагрузку.
Стратегии борьбы с проблемами кэширования: TTL с джиттером, cache-aside pattern, read-through/write-through паттерны, distributed locking при обновлении.
Метрики эффективности кэша
Ключевая метрика – hit rate (доля обращений, обслуженных из кэша). Для CPU-кэшей целевой hit rate составляет 95–99%. Для распределённого application-кэша приемлемый hit rate зависит от стоимости промаха: если запрос к БД занимает 100 мс, а кэш-hit – 1 мс, то hit rate 90% означает среднюю задержку ~11 мс вместо 100 мс. Мониторинг hit/miss ratio и eviction rate является обязательной частью операционного наблюдения за системами с кэшированием.
