Если перейти на библиотечный вариант, переоткрывать порт с разными скоростями для разных слейвов (разбить их по группам), не быстрее получится?
Сначала опрос всех "быстрых" слейвов на скорости 115200, например, потом, переоткрываем порт со скоростью 9600 и опрашиваем "медленных", и так по кругу...
И да... как указал Филоненко Владислав, на библиотеках можно организовать групповой опрос, что позволит повысить "производительность"...