Регулярно читаете до получения нужного кол-ва (или таймаута) в свой буфер и тогда не будет парить размер буфера порта.Если, конечно, не делать МинЦ от 50мс