ээээ... вы настолько "упростили" модель, что могли легко сделать ее неустойчивой.
наводящий вопрос - поставили просто двигатель беговсего (или с маховиком, как и-нагрузку) и попробовали порегулировать. система станет устойчивой?
ну и еще в таких случаях обычно регулируют момент двигателя.