Предположительно идет конверсия в REAL, а затем извлечение корня. При конверсии получается ошибка.
число более IEEE754=FF 80 00 00hex считается числом -∞, извлекать корень из числа минус бесконечности как-то не очень разумно.
https://www.softelectro.ru/ieee754.html
ieee754_14.gif