Я бы посоветовал отложить программирование в сторону(пока). Будучи на вашем месте, я бы первым делом поискал эмулятор модбас мастера для линукс, и запустив его, убедился, что связка порт-преобразователь-провода-датчик работает, и вы получаете ответ от прибора. А уже будучи убежденным, что все это работает, можно браться за написание программы и изучение незнакомых библиотек. Может у вас тривиальным образом провода попутаны, или питания на приборе нет.