Допустим, можно, наверное, всей матрицей управлять несколькими платами Rpi, но как их соединить воедино
Вы когда спрашиваете - сразу уточняйте, о какой матрице речь. Как я выше написал, зависимость сложности от размера экспоненциальна.
Если 100x100 , то это можно сделать на одном контроллере Дуе, СТМ32 или RP2040.
Если речь о 300х300 - то ни один из известных мне чипов (включая мини-компы типа малинки) это не потянет - а значит надо разбивать матрицу на части и задействовать несколько контроллеров. Взаимодействие между ними - это совершенно отдельная задача, в которую я сам не знаю как сунуться.
Я бы вам посоветовал ограничится одно-контроллерной системой - а значит ваш потолок примерно 16-20 тыс пикселей, что дает в пределе матрицу 140х140 со скоростью обновления 20-25 fps. Зато не нужно думать о том, как несколько МК соединить воедино.