Применение модулей LRDIMM в серверах

LRDIMM (Load-Reduced Dual Inline Memory Module или «DIMM со сниженной нагрузкой») – тип модулей памяти, поддерживаемых серверными платформами с 2012 года. Модули LRDIMM схожи с регистровыми модулями DIMM и подходят к тем же разъемам памяти. Однако принцип работы LRDIMM отличается от RDIMM. Используя LRDIMM в обычном сервере можно сделать 512Гб, 1Тб или 1,5Тб памяти. 

Буфер памяти – основа технологии LRDIMM

Регистровые модули DIMM подключаются напрямую к шине, соединенной с контроллерами памяти процессора. В режиме работы с модулями DIMM контроллер памяти управляет каждой микросхемой DRAM, подключенной к управляющей линии модуля. И чем больше этих микросхем в модуле памяти (так называемые ранги), тем больше электрическая нагрузка на контроллер. Ранг – количество наборов микросхем, подключенных к одной линии выбора микросхемы. Ранг является характеристикой модуля памяти. Ниже показаны двух- и четырехранговый модули памяти.

Двухранговый модуль – это два логических модуля, распаянных на печатной плате и пользующихся поочередно одним и тем же физическим каналом передачи данных. Четырехранговый – аналогичное решение, но уже в четырехкратном масштабе.

RDIMM – это регистровый модуль памяти. Наименование «регистровый» означает, что модули этого типа имеют буферизирующий регистр, который используется для буферизации адресных и командных сигналов.

В случае LRDIMM к шине добавлена специальная микросхема буфера памяти, прикрепленная к каждому модулю. При работе контроллера с модулями LRDIMM управление сводится к отправке пакетной информации (данные и команды) в этот буфер модуля – iMB (Isolation Memory Buffer). В отличие от модулей RDIMM, буферизуются не только сигналы управления, но и данные.

Буфер управляет всеми операциями чтения и записи в DRAM. Через него проходят сигналы данных и команд/адресов – это посредник между контроллером памяти (Host Memory Controller) и DRAM. 

При добавлении новых микросхем DRAM (рангов) на регистровые модули DIMM электрическая нагрузка модулей памяти повышается. С увеличением количества рангов на канал памяти снижается быстродействие памяти – скорость её работы. Для модулей RDIMM оптимальной является установка не более двух модулей DIMM на канал, поскольку при использовании третьего банка скорость работы памяти снижается. Канал – это «путь» от модуля памяти к контроллеру, по которому передаются считываемые и записываемые данные. 

Модули LRDIMM не имеют таких ограничений, потому что используют микросхемы буфера памяти. При работе с LRDIMM контроллеры памяти в процессорах функционируют в последовательном режиме. Команды и данные передаются в буфер памяти, который управляет всеми операциями чтения и записи в DRAM. 

Умножение рангов

Модули LRDIMM значительно снижают электрическую нагрузку микросхем DRAM на шину данных, а благодаря так называемому умножению рангов (Rank Multiplication). Физические ранги DRAM выглядят для контроллера памяти как один логический ранг большей емкости. Ниже показано умножение рангов для трех LRDIMM на канал памяти.

Умножение рангов можно отключить, установить в 2:1 или 4:1 – до 8 физических рангов на LRDIMM. Например, четырехранговые модули LRDIMM преобразуются для контроллера памяти в двухранговые. То есть четырехранговый модуль контроллер воспринимает как двухранговый, а восьмиранговый – как четырехранговый. За счет этого нагрузка многорангового модуля становится в два раза ниже. В результате сервер может поддерживать модули LRDIMM с повышенными скоростями по сравнению с модулями RDIMM. 

Уменьшение электрической нагрузки позволяет системе с LRDIMM работать с большей скоростью (тактовой частотой памяти) при той же емкости, или же увеличить емкость ОЗУ, сохранив ту же скорость, что в конфигурации с RDIMM.

Таким образом, на практике LRDIMM можно использовать для увеличения скорости работы памяти и/или увеличения ее емкости. Модули LRDIMM обеспечивают более высокие скорости при большей емкости для пользователей, требованиям которых не удовлетворяют двухранговые модули RDIMM емкостью 16 Гбайт или четырехранговые модули RDIMM емкостью 32 Гбайт.

Например, двух процессорный сервер с двадцатью четырьмя разъемами памяти можно сконфигурировать следующим образом: 

• Модули LRDIMM: 32 Гбайта x 24 = 768 Гбайт с частотой 1066 МГц и при напряжении 1,5В и 1,35В.
• Модули RDIMM: 32 Гбайт x 16 = 512 Гбайт с частотой 800 МГц и при напряжении 1,5В.

Еще один пример: Процессоры Intel Xeon E5 v3 содержат четырехканальный контроллер памяти и поддерживают до восьми логических рангов на канал. Всего можно установить максимум восемь четырехранговых модулей по 32 Гбайта на каждый процессор (по два на канал). Емкость памяти на двухпроцессорной плате в этом случае не может превышать 512 Гбайт. Одноранговых или двухранговых модулей можно поставить до трех на канал, но они будут иметь меньшую емкость.

Если использовать четырехранговые модули LRDIMM, которые контроллер памяти воспринимает как двухранговые, то можно установить до 12 модулей по 32 Гбайта на процессор – всего 768 Гбайт памяти, работающей на более высокой частоте. Сейчас появились LRDIMM на 64 и 128 Гигабайт, это позволяет получить фантастический объем памяти на сервере — до 1,5-2Тб! 

Заметим, что комбинировать LRDIMM и DIMM нельзя – система просто не запустится.

Особенности LRDIMM

Кроме увеличения емкости оперативной памяти и её быстродействия архитектура LRDIMM обладает рядом других полезных особенностей. iMB, буфер памяти LRDIMM, поддерживает средства тестирования DRAM и LRDIMM, включая прозрачный режим и MemBIST (Memory Built-In Self-Test), VREF (voltage reference) для шины данных (DQ) и команд/адресов (CA), проверку четности для команд, встроенное управление, аналогичное регистру 32882 для RDIMM, опциональный интерфейс SMBus (Serial Management Bus) для регистров конфигурации и состояния LRDIMM, а также интегрированный температурный датчик. 

• Прозрачный режим (Transparent Mode): используется для тестирования модуля памяти. Модуль работает просто как буфер и передает сигналы и данные на микросхемы DRAM.
• MemBIST: для инициализации DRAM и тестирования компонентов память LRDIMM поддерживает функцию MemBIST (Memory Built-In-Self Test). Она служит для полного тестирования DRAM. Тестирование выполняется с рабочей частотой, используется доступ по шине команд/адресов или по SMBus.
• VREF: модули LRDIMM могут использовать внешние параметры напряжения для данных (VREFDQ) и команд/адресов (VREFCA) или внутренние, из буфера памяти. Если VREF задается буфером памяти, то уровнем напряжения может управлять хост – контроллер памяти. Для этого используются регистры конфигурации буфера памяти. Программируемые уровни напряжения позволяют поставщикам модулей памяти и системных компонентов гарантировать надежность и устойчивую работу интерфейсов памяти LRDIMM.
• Проверка четности: чтобы выявить на шине команд/адресов искаженные команды, для входящих команд в буфере памяти выполняется проверка четности. При ошибке генерируется сигнал ERROUT_n. 
• Интерфейс SMBus: буфер памяти поддерживает управление по дополнительному последовательному каналу (out-of-band serial management bus). Оно позволяет записывать и читать данные из регистров состояния. 
• Температурный датчик: он встроен в буфер памяти и обновляется 8 раз в секунду. Обращаться к нему можно через интерфейс SMBus. Для передачи сообщения контроллеру памяти о высокой температуре можно использовать пин EVENT_n буфера. 

Как «разогнать» LRDIMM?

Небуферизированная шина данных остается слабым звеном системы памяти RDIMM. Например, четырехранговый модуль DDR3 RDIMM – это четыре электрических нагрузки на шине данных. Поэтому максимальная скорость четырехрангового DDR3 RDIMM – 1066 MT/с (млн. транзакций в сек) в конфигурации «один DIMM на канал» (один DPC) и 800 MT/с в конфигурации «два DIMM на канал» (два DPC). В LRDIMM буфер использует и шину данных, и шину команд/адресов. Это позволяет увеличить скорость передачи данных и плотность памяти. 

Ниже показана диаграмма шины данных четырехрангового модуля RDIMM в конфигурации «два DIMM на канал». Она демонстрирует, что при наличии 8 электрических нагрузок на шине данных целостность сигнала в канале памяти серьезно деградирует, что ограничивает частоту. При восьми электрических нагрузках и 1333 MT/с максимальное «окно данных» (data eye) на шине сокращается до 212 пс в идеальной точке VREF и не превышает 115 мВ при максимальном напряжении. «Окно данных» – это период времени, когда контроллер может считать данные, и этот период сокращается при росте частоты, на которой работает память.

Эффект сжатия окна данных означает, что два четырехранговых модуля RDIMM в конфигурации «два DIMM на канал» для работы на скорости 1333 MT/с не подходят. Приходится выбирать компромисс между емкостью памяти и её скоростью.

Ниже показана диаграмма окна данных в случае двух четырехранговых модулей LRDIMM в конфигурации «два DIMM на канал». Электрическая нагрузка 8 физических рангов DRAM заменена двумя электрическими нагрузками буфера памяти. Целостность сигнала значительно улучшилась. Хотя условия аналогичны предыдущей иллюстрации, окно данных увеличилось с 212 до 520 пс, а его максимальная высота выросла со 115 до 327 мВ. 

Улучшение целостности сигнала означает, что LRDIMM может работать на скорости 1333 MT/с и выше, даже при нескольких модулях LRDIMM на канал. Не нужно будет выбирать между емкостью и пропускной способностью памяти.

Больше о ёмкости системной памяти

Одно из главных преимуществ LRDIMM – это возможность значительно увеличить емкость ОЗУ, не жертвуя скоростью работы памяти. Благодаря электрической изоляции DRAM от шины данных можно добавлять к каждому DIMM дополнительные ранги при сохранении целостности сигнала, устанавливать на каждый канал памяти дополнительные микросхемы DIMM. Распространенный вариант – LRDIMM емкостью 32 Гбайта. Это 4Rx4 модуля по 4 Гбайта, DDP (dual-die package) DRAM. Поскольку каждый LRDIMM представляет для контроллера памяти одну электрическую нагрузку, можно также установить больше DIMM на канал. 

Возьмем, к примеру, двухпроцессорный сервер с тремя разъемами памяти DIMM на канал, четырьмя каналами на ЦП. С помощью LRDIMM емкость ОЗУ у него можно увеличить по сравнению с RDIMM в два-три раза. Ниже приведены максимальные емкости RDIMM и LRDIMM для различных скоростей и напряжений. 

Например, для памяти 1,5В DDR3 при скорости 800 MT/с у системы с полным комплектом RDIMM емкость ОЗУ при использовании 16GB 2Rx4 RDIMM на канал может достигать 384 Гбайт. Применение модулей LRDIMM позволяет удвоить эту емкость – до 768 Гбайт. Ограничения системной платы (обычно это 8 рангов DRAM на канал) преодолевается умножением рангов LRDIMM. В данном случае получается 12 физических рангов на канал. 

При скорости 1066 или 1333 MT/с ограничения целостности сигнала не позволяют использовать в конфигурации с RDIMM более трех DIMM на канал. Для памяти 1,5В DDR3 с быстродействием 1066 или 1333 MT/с максимальная емкость ОЗУ с RDIMM будет 256 Гбайт. У LRDIMM нет таких ограничений, и можно установить три DIMM на канал при 1066 MT/с (или 1333 MT/с). При этом общая емкость ОЗУ составит 768 Гбайта, то есть втрое больше. Для памяти 1,35В DDR3L со скоростью 1333 MT/с преимущество LRDIMM еще значительнее. 

А что с энергопотреблением LRDIMM?

Модули памяти LRDIMM не только позволяют увеличить емкость оперативной памяти севера, но и сделать это с минимальными потерями энергоэффективности. Хотя буфер памяти в LRDIMM в конфигурации «один DIMM на канал» потребляет больше, чем RDIMM в той же конфигурации, в конфигурациях высокой плотности – 2 и 3 DIMM на канал – разница нивелируется.

Ниже показано нормализованное энергопотребление на RDIMM или LRDIMM в конфигурациях с одним и с двумя DIMM на канал при различном быстродействии памяти. Поскольку фактическая потребляемая мощность зависит от плотности и используемой технологии DRAM, относительная мощность показана для модулей LRDIMM и RDIMM одного поколения DRAM. Это модули 4Rx4 емкостью 32 Гбайта. Мощность модуля RDIMM при 800 MT/с принята за единицу. Для измерения использовались стандартные тесты с 50% операция записи и 50% операций чтения. 

При 800 MT/с в конфигурации «один DIMM на канал» LRDIMM потребляет на 17% больше электроэнергии, чем RDIMM, но в конфигурации «два DIMM на канал» разница составляет всего 3%. При 1066 MT/с это 15%, но в конфигурации «два DIMM на канал» разница также невелика. При 1333 MT/с потребление мощности на LRDIMM в конфигурации «два DIMM на канал» на 28% меньше, чем в конфигурации «один DIMM на канал».

Ниже представлены аналогичные результаты для 100% чтения. Так как LRDIMM используется в основном в системах с высокой плотностью памяти, больший интерес представляет потребление на LRDIMM в конфигурации «два DIMM на канал». Потерь по энергоэффективности в этом случае практически нет.

Большая часть платформ Intel E5 может поддерживать два модуля LRDIMM на канал при частоте 1333 МГц и напряжении 1,5В и три модуля LRDIMM на канал при 1066 МГц, что позволяет использовать конфигурации с двенадцатью модулями LRDIMM на процессор; при использовании четырехранговых модулей RDIMM задействуются только 8 разъемов на процессор и максимальная скорость составляет 800 МГц.

Нужны ли модули LRDIMM?

Как узнать, нужно ли вообще использовать модули LRDIMM? Определите скорость передачи данных памяти для вашего сервера (см. документы вендора, касающиеся производительности). Если вам необходимо более 8 x 32 Гбайта на процессор, то нужны модули LRDIMM, в противном случае достаточно будет четырехранговых модулей RDIMM емкостью 32 Гбайта с частотой 800 МГц. Если необходимы частоты 1066 МГц или 1333 МГц, следует использовать только модули LRDIMM.

Ниже показаны ограничения по рангам и максимальным частотам функционирования памяти на примере двухпроцессорных материнских плат Supermicro X9 (LGA2011) и X10 (LGA2011-3) серий при установке процессоров Intel Xeon E5 2600 серии разных поколений. 

Двухпроцессорные платы Supermicro X10 Series не поддерживают небуферизированные модули памяти (UDIMM). Очевидно, что для достижения максимальной емкости оперативной памяти и максимальной скорости ее функционирования необходимы модули типа LRDIMM DDR4. 

1. Hynix HMTA8GL7AHR4C-PBM2: Оперативная память для сервера, емкость памяти: 64 Гбайта, пропускная способность: PC12800, тип: DDR3 LRDIMM.
2. Kingston KVR16LL114/32 – модуль памяти DDR3L, емкость 32 Гбайта, форм-фактор LRDIMM, 240-контактный, частота 1600 МГц, поддержка ECC, CAS Latency (CL): 11.
3. Модуль памяти Samsung DDR4 2133 Registered ECC LRDIMM 32Gb. Средняя цена – около 22 тыс. руб. Это 288-контактный модуль LRDIMM с частотой 2133 МГц. Есть поддержка ECC, CAS Latency (CL): 15.
4. Модуль памяти Samsung 32GB 288-Pin DDR4 SDRAM DDR4 2133 (PC4 17000) Server Memory Model M386A4G40DM0-CPB, Cas Latency 15.

В целом модули LRDIMM позволяют до 35% повысить пропускную способность оперативной памяти по сравнению со стандартными модулями RDIMM. 

Наибольший эффект применение LRDIMM даст для приложений, интенсивно использующих оперативную память, облачных вычислений и задач HPC (high-performance computing), когда надо загружать в ОЗУ и обрабатывать большие объемы данных. В виртуальной среде это дает возможность увеличить «плотность» виртуальных машин. В дата-центрах – повысить энергоэффективность и уменьшить TCO (Total Cost of Ownership).

Альтернатива? LRDIMM на 128Гб!

Технология не стоит на месте и Samsung представила новые модули памяти LRDIMM емкостью 128 Гбайт. В них применяется технология упаковки микросхем под названием TSV (Through Silicon Via) – чипы DRAM соединяются вертикально с помощью электродов, проходящих через микроскопические отверстия, как они сделали на 3D VNAND.

Память TSV DDR4 DRAM в модулях 128GB RDIMM считается настоящим технологическим прорывом. Ее преимущества – удвоенная по сравнению с прежними стандартными модулями емкость, высокая скорость и эффективность. Благодаря 20-нм техпроцессу у памяти 128GB TSV DDR4 на 50% снижено энергопотребление по сравнения с модулями 64GB LRDIMM.