используйте библиотеки работы с портом например SysLibCom или UNM. в них есть команды чтения записи данных в порт. как раз то что нужно для получения ответа от модема и организации собственного протокола. пример можно посмотреть тут: http://www.owen.ru/forum/showthread.php?t=11279