Кратно 4 байтам - где? В файл нельзя записать 3 байта?
Можно, но только считывать надо так, чтобы данные легли на кратные своим элементарным типам адреса. Ну то есть чтобы 32-битные (4-байтные) целые были на кратных четырём адресах, например. Оно само так и получается, как правило, но можно и начудить, скажем, прочитать структуру как массив байт, а потом обращаться к её элементам через типизированный указатель.