NVIDIA, IBM и несколько университетов создали архитектуру, обеспечивающую быстрый “мелкозернистый доступ” к значительным объемам хранилища данных для приложений с ускорением на GPU. Эта технология принесет пользу в таких областях, как искусственный интеллект, аналитика и машинное обучение.

Big accelerator Memory, или BaM, представляет собой интригующую попытку снизить зависимость графических процессоров NVIDIA и сопоставимых аппаратных ускорителей от стандартного ЦП, например, при доступе к хранилищу, что повысит производительность и емкость.

Целью BaM является расширение емкости памяти ГП и повышение эффективной пропускной способности доступа к хранилищу, а также предоставление высокоуровневых абстракций для потоков ГП, позволяющих легко осуществлять мелкозернистый доступ по требованию к массивным структурам данных в расширенной иерархии памяти.

NVIDIA — самый видный член команды BaM, использующий свои обширные ресурсы для творческих проектов, таких как перенос рутинных задач, ориентированных на ЦП, на ядра производительности ГП. Вместо того, чтобы полагаться на трансляцию виртуальных адресов, загрузку данных по запросу на основе ошибки страницы и дополнительные стандартные механизмы на основе ЦП для управления значительными объемами данных, новый BaM будет предоставлять программную и аппаратную архитектуру, позволяющую ГП NVIDIA получать данные напрямую из памяти и областей хранения и обрабатывать эти данные, не полагаясь только на ядра ЦП.

Стратегия, ориентированная на ЦП, приводит к чрезмерным издержкам синхронизации ЦП и ГП и/или усилению трафика ввода-вывода, уменьшая эффективную пропускную способность хранилища для новых приложений с мелкозернистыми шаблонами доступа, зависящими от данных, такими как графы и анализ данных, рекомендательные системы и графовые нейронные сети.

BaM предоставляет пользовательскую библиотеку высокопараллельных очередей отправки/завершения NVMe в памяти графического процессора, которая позволяет потокам графического процессора, чей доступ по запросу отсутствует в кэше программного обеспечения, осуществлять доступ к хранилищу с высокой пропускной способностью. Этот подход на уровне пользователя влечет за собой небольшие накладные расходы на программное обеспечение для каждого доступа к хранилищу и поддерживает высокую степень параллелизма на уровне потоков.

Исследователи из трех групп экспериментировали с прототипом системы на базе Linux, используя BaM, стандартные графические процессоры и твердотельные накопители NVMe, чтобы продемонстрировать этот дизайн как жизнеспособную альтернативу нынешнему подходу, когда ЦП управляет всеми вопросами. Исследования объясняют, что доступ к хранилищу можно использовать одновременно, что ограничения синхронизации сняты, а пропускная способность ввода-вывода используется для повышения производительности приложений гораздо эффективнее, чем раньше.

Новые детали дизайна BaM будут открыты для оптимизации как аппаратного, так и программного обеспечения компании, чтобы другие компании могли создавать свои собственные проекты. Аналогичная функциональность есть у твердотельной видеокарты AMD Radeon, в которой флэш-память расположена рядом с процессором видеокарты.