Оптическая связка ПЛИС ускорила тестовый инференс нейросети почти в 149 раз

Исследователи Пекинского университета описали гибридную оптоэлектронную систему для распределённого инференса: пять ПЛИС соединены кремниевыми фотонными трансиверами и оптическим коммутатором. На задаче шумоподавления в небольшой свёрточной сети прототип обработал 1000 изображений за 105,16 мкс — почти в 149 раз быстрее контрольного GPU при существенно меньшей пиковой вычислительной мощности. Результат показывает, насколько сильным ограничителем может быть обмен данными между слоями модели, а не только число операций в секунду.

Команда Пекинского университета опубликовала в журнале National Science Review работу о гибридной оптоэлектронной системе для ускорения инференса нейросетей. Идея состоит не в повышении производительности отдельных вычислительных чипов, а в том, чтобы убрать задержки обмена данными между ними.

Прототип построен из пяти ПЛИС — программируемых логических интегральных схем, на каждую из которых был вынесен один слой пятислойной свёрточной нейросети. Между платами использовались кремниевые фотонные трансиверы на 400 Гбит/с и неблокирующий оптический коммутатор 16 × 16. Четыре канала по 100 Гбит/с передавались по одному волокну на разных длинах волн, а коммутатор теоретически может связать до 16 вычислительных чипов с совокупной пропускной способностью до 6,4 Тбит/с.

Ключевой эффект дала конвейерная обработка: каждый чип постоянно выполнял свой слой сети и сразу передавал промежуточный результат следующему чипу по оптическому каналу. Такой подход снижает зависимость от внешней памяти — той самой «стены памяти», из-за которой арифметические блоки GPU могут простаивать между этапами обработки.

В демонстрации использовалась небольшая пятислойная CNN для шумоподавления на наборе Fashion-MNIST. Система обработала 1000 изображений размером 32 × 32 пикселя за 105,16 мкс, тогда как контрольный GPU выполнил ту же задачу за 15,643 мс. При этом суммарная пиковая производительность задействованных DSP-блоков ПЛИС составляла около 1,97 Тфлопс против 16,96 Тфлопс у GPU, а эффективность использования вычислительных блоков достигла 94,7%.

Авторы отдельно отмечают ограниченность демонстрации: речь идёт о простой сети с ядрами 5 × 5, а не о больших языковых или современных генеративных моделях. Тем не менее эксперимент важен как пример совместной оптимизации алгоритма, микроархитектуры и межчиповых соединений — направления, которое может быть особенно полезно для низколатентного инференса и энергоэффективных вычислительных систем.