Добрый день.
Насколько правильно понял автора, то это вариант намоточного станка. Был опыт работы с намоточным станком, хочу помочь.
Проблема в укладке может быть не только в частотнике, но и в механике. Масштабировали станок, вылезли люфты, проскальзывания. Привод раскладки чем приводится в движение? Программа на контроллере или компьютере? Вы точно определили, что проблема в частотнике?
Т.к. форум по оборудованию ОВЕН и частотник его единственный представитель, давайте про него.

Векторный режим и адаптация двигателя проведена? Сигнал задания скорости аналоговый или цифровой? Если аналоговый, то вот и колеблется с учетом помех возле задания.
Механику не очень просчитали, что требуется крутить двигатель на рабочей скорости на 5 Гц. Для АД не лучший вариант.

Проверьте конфигурацию частотника по инструкции.

Попробуйте задать частоту с панели (не потенциометром). Как будет вести?

По энкодеру нужно на контакты M и B подать +24 В, на контакты K и L 0 В. Скорее всего от внешнего источника. Объединить 0 В источника с общей клеммой входов частотника (если входы PNP) и далее клемму 33 соединить с E (ранее советовали F или H, в принципе да). Но для Вас нужно пояснить, что есть 2 фазы сигнала и каждая фаза имеет прямой и инверсный выход (с черточкой). В вашем случае можно взять любой из одной фазы. Далее настраивать в разделе 7 параметров.

По частотнику можно попробовать фиксировать задание, либо выходную частоту дискретным входом. Группа 5 параметров "19" или "20" (не уверен, что подойдет мало опыта с овеновскими частотниками).

Для начала хватит.

P.S. По идеи скорость вращения оправки влиять не должна, т.к. контур управления строится не по скорости, а по положению. Укладчик следит за положением оправки и перемещается. А вот натяжка нити влиять может.