в принципе можно и оставить - пока по нему никто не связывается - нагрузки не будет.
но:
1. соблазн подключится у посторонних людей
2. лишняя антена для наводок.
3. так ли часто вы влазите в щит?
4. аккуратнее при подключении к Com порту (если у вас не Usb)