Про параметры вызова сразу ничего не скажу, напрямую я их ни разу не использовал.
По поводу SysLibCom - да, эта библиотека не поддерживает вывод ошибок, но есть библиотека Unm.lib, в которой всё необходимое для обработки обмена ( в т.ч. и флаги таймаутов между символами для режима RTU) есть. Пользуйтесь на здоровье!