Здравствуйте!
Для решения подобной проблемы я использовал энкодер, имеющий еще и выход Z (референтная метка). При переходе на малую скорость погрешность устраняется округлением до количества импульсов кратного количеству импульсов на один оборот энкодера, по сигналу с выхода Z.