При положительной ошибке пропорциональная и интегральная составляющие тоже положительны. При таком большом KP на выходе ПИД и должно быть то, что видно в симуляторе (это легко считается). Почему в реале на выходе ПИД такое мизерное значение непонятно.