Была такая же проблема.
После того, как выделил функции работы с модемом в отдельную задачу с вызовом в 10мс и высоким приоритетом - все заработало.