СПК-207 + внешние накопители

[chizhik1980]

Добрый день!

Сталкивался ли кто-нибудь с проблемой самопроизвольного "отваливания" накопителей, как SD так и флеш?
Симптом в общем виде:
1. Вставленная флешка/карта монтируется таргетом (таргет 3.5.4.26, прошивка 5.480)
2. В процессе работы внезапно на уровне таргета, без команд, происходит пропадание флага монтирования и последующее его появление. Флаг "Drives Info" остаётся при этом включённым, проверяли.
3. Через несколько секунд флаг восстанавливается.

Частности:
1. Чаще всего пропадают оба флага монтирования, и флеш и SD.
2. В процессе эксплуатации СПК (~1,5 года работы в режиме "круглосуточно по несколько дней") всё чаще стало происходить не-монтирование вставленной флешки, причём иногда при этом очень сильно возрастает загрузка ЦП, замеренная таргетом (до 100 %).

40983

40984

Флешки форматировались как стандартной утилитой Windows, так и рекомендованной в документации утилитой HP; файловая система FAT32, объём от 8 до 16 Гб, марки - Kingston, Transcend, Silicon Power.

[Осинский Алексей]

Добрый день!


2. В процессе работы внезапно на уровне таргета, без команд, происходит пропадание флага монтирования и последующее его появление. Флаг "Drives Info" остаётся при этом включённым, проверяли.
Пока не знаю, в чем причина.
На сколько часто это наблюдается? Постараюсь повторить.


2. В процессе эксплуатации СПК (~1,5 года работы в режиме "круглосуточно по несколько дней") всё чаще стало происходить не-монтирование вставленной флешки, причём иногда при этом очень сильно возрастает загрузка ЦП, замеренная таргетом (до 100 %).
Скажите пожалуйста, флешку перед извлечением размонтируете через таргет-файл?

Наблюдал, что если этого не сделать может произойти ситуация, когда накопитель извлекается, в его расположении (например /mnt/ufs/media/sda1) образуется RAM-диск,
а после того, как накопитель физически вставили в разъем он монтируется уже по другому пути (например /mnt/ufs/media/sdb1).

А таргет-файл мониторит наличие только устройства с именем sda1 на месте флешки. И отображает, что этого устройства нет.

[chizhik1980]

На сколько часто это наблюдается? Постараюсь повторить.

По-разному. Однажды на реальной установке отмонтирования начались ночью (когда точно не было никакой пользовательской активности) и продолжались до замены флешки на другую с периодичностью в несколько минут. Иногда стоит несколько часов без особых проблем (если не считать проблемой одно-два отваливание флешки за эти несколько часов). Тот же самый проект на СПК, стоящем в лаборатории на стенде (без реальной приборной обвязки, только в паре с ПЛК-110) стоит у нас уже двое суток без "лавинных" отваливаний. Но единичные происходят всё равно. Также непонятна пока связь отваливаний флешки с внезапно возрастающей нагрузкой - что причина, что следствие. Загрузка вчера ночью тоже подскочила, например, без всякой пользовательской активности. Сотрудники, работавшие на площадке, где стоит установка, говорили, что флешка днём не монтировалась, будучи вставленной, и была ощутимо тёплой.



Скажите пожалуйста, флешку перед извлечением размонтируете через таргет-файл?

Наблюдал, что если этого не сделать может произойти ситуация, когда накопитель извлекается, в его расположении (например /mnt/ufs/media/sda1) образуется RAM-диск,
а после того, как накопитель физически вставили в разъем он монтируется уже по другому пути (например /mnt/ufs/media/sdb1).

А таргет-файл мониторит наличие только устройства с именем sda1 на месте флешки. И отображает, что этого устройства нет.
Обязательно через таргет. Указанную вами ситуацию видел на предыдущей версии таргета, где было штатного (кроме линуксовой команды) метода извлечения флешки.

[Осинский Алексей]

Также непонятна пока связь отваливаний флешки с внезапно возрастающей нагрузкой - что причина, что следствие.
пока что не знаю, но могу предположить, что возрастающая нагрузка - причина такого поведения.
А с какой частотой вы собираете отладочную информацию (параметр Debug pause)?
Можете прислать проект для СПК на почту support@owen.ru с пометкой "Для Осинского Алексея"?

Я залью в свой СПК, понаблюдаю за загрузкой ЦП, может еще какие идеи появятся.

[chizhik1980]

Debug Pause не записывали, оставили некое системное значение по умолчанию.

Архив проекта сегодня подготовлю и перешлю.
Кстати, про загрузку: ещё одна сильно мешающая особенность - это серьёзное повышение пиковой нагрузки (до 80-90%) при прокручивании с сенсорного экрана СПК таблиц, присутствующих в визуализации.
Мы сделали даже тестовый демо-проект, посылали его в пятницу в поддержку - но ответа пока не было.

[chizhik1980]

Отослал проект.

[chizhik1980]

В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:



"[89985.089379] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-932317uV
[89985.089430] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89986.339702] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89986.339753] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89987.589711] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89987.589764] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89988.839589] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-934375uV
[89988.839641] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89990.089872] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89990.089922] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89991.339642] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89991.339695] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)"

[Осинский Алексей]

Отослал проект.

Получил, спасибо.



В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:
Попрошу разработчиков прокомментировать.

[Осинский Алексей]

В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:

Разработчик комментирует:
У СПК вышел из строя основной регулятор напряжения.
Этот СПК

лучше выключить и больше не включать;
отослать в ремонт с пометкой "вышел из строя PMIC".


Иначе велика вероятность получить неремонтопригодный СПК.

[chizhik1980]

Понял.
А про возможные причины, из-за которых такое происходит, разработчик не комментировал?

[Осинский Алексей]

Понял.
А про возможные причины, из-за которых такое происходит, разработчик не комментировал?
Не комментировал, я думаю причина уже после ремонта прояснится.

[chizhik1980]

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?



[ 0.089378] _regulator_get: l3_main.0 supply vdd_core not found, using dummy regulator
[ 0.089504] am335x_opp_update: physical regulator not present for core(-22)
...
[ 2.878478] _regulator_get: 1-0018 supply IOVDD not found, using dummy regulator
[ 2.878576] _regulator_get: 1-0018 supply DVDD not found, using dummy regulator
[ 2.878671] _regulator_get: 1-0018 supply AVDD not found, using dummy regulator
[ 2.878752] _regulator_get: 1-0018 supply DRVDD not found, using dummy regulator

[Осинский Алексей]

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?
Уточняю. Завтра в течение дня смогу сообщить.

[Осинский Алексей]

Я загрузил Ваш проект в свой СПК. Загрузка ЦП не превышает 55%.
У меня СПК207.03-CS.WEB [m05]. У Вас тоже M05?

[chizhik1980]

1. Мы сейчас не знаем точно, который у нас М05, который M04 - они все, кроме одного побывали в ремонте. Можем собрать все ID (у нас 3 СПК), и вы нам наконец скажете, который из них какой.
2. Загрузка в обычном состоянии примерно такая и есть, но она повышается во-первых если прокручивать таблицу журнала непосредственно с экрана СПК (я могу вам прислать более простой проект, который наглядно показывает эту особенность), а во-вторых на том СПК, что у нас идёт в ремонт, она повышалась временами спонтанно.
3. Основной вопрос был в нестабильности смонтированного состояния флешки и/или карты. Вы можете вставить то и другое и подержать СПК на прогоне? И превышение загрузки, и отмонтирования флешки будут отображены на экране журнала, прокручивается поэкранно двойными стрелками, прокручивание на начала и на конец журнала - стрелками с "полочками".

[Осинский Алексей]

3. Основной вопрос был в нестабильности смонтированного состояния флешки и/или карты. Вы можете вставить то и другое и подержать СПК на прогоне? И превышение загрузки, и отмонтирования флешки будут отображены на экране журнала, прокручивается поэкранно двойными стрелками, прокручивание на начала и на конец журнала - стрелками с "полочками".

Сделаю. О результатах напишу

[chizhik1980]

Спасибо!
Подключили 3-й СПК - флешка ведёт себя так же. Попробуем поменять флешку и карту на свежие - может, те подпортил аварийный СПК...

[Осинский Алексей]

Уточняю. Завтра в течение дня смогу сообщить.

Как то я не уточнил, а разработчику нужно:

Какая версия прошивки на СПК с логом из поста #12?
Если известна версия прошивки, установленная в СПК, который едет в ремонт - ее тоже скиньте пожалуйста, для полноты картины.

[chizhik1980]

У обоих - 5.480
У третьего - пока 5.340, будем тоже перешивать.

[Осинский Алексей]

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?

СПК нужно отправить в ремонт.
Вывод свидетельствует о том что cpu не видит регулятор напряжений по шине i2c микросхему tps65910 которая регулирует напряжения питания в системе в зависимости от загрузки.

[Осинский Алексей]

Сделаю. О результатах напишу

С загрузкой ЦП ситуация не воспроизводится у меня.
Но за день было > 100 сообщений в логе об отвалившейся флешке. В момент, когда программа флешку не видит в Linux флешка примонтирована.
Продолжаю разбираться.

[chizhik1980]

Спасибо за сообщения. Вот и у нас аналогичные эффекты (хотя "домашний" наш СПК, в лабораторном стенде, отваливает флешку не так часто, но вам повезло увидеть эффект в его полноте :))
Про загрузку тогда отложим вопрос, я вам потом перешлю демо-прект, на котором хорошо можно увидеть загрузку от манипуляций с таблицей.

Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства? Эти сообщения у нас присутствуют в системных логах всех двух оставшихся живых СПК, мы не можем остаться в простое, отправив все наши СПК в ремонт. На всякий случай - высылаю на почту три лога для разработчиков, сегодняшний лог СПК с завода и два лога СПК из лаборатории. В лабораторном в одном (от 30 января) есть запись отсутствия core regulator и ещё четырёх; в его же логе от 1.02.2019 есть запись об обнаружении tps65910, но повторяется запись об остальных четырёх регуляторах.

[Осинский Алексей]

Добрый день!


Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства?
Уточняю у разработчиков.




Вот и у нас аналогичные эффекты (хотя "домашний" наш СПК, в лабораторном стенде, отваливает флешку не так часто, но вам повезло увидеть эффект в его полноте :))
Измените настройки задачи TaskUSBControl следующим образом:
Приоритет: 10
Интервал: t#10ms

За пол-дня работы с такими настройками ни одного "отваливания".
У Вас установлен t#100ms и (вероятно) периодически возникает ситуация, когда данные из Linux приходят быстрее, чем узел Drives успевает их обрабатывать.

[chizhik1980]

Спасибо, попробую. Хотя не совсем понятен механизм: я же в этой задаче только читаю состояние флага монтирования (и управляю флагом отмонтирования), но сам-то этот флаг порождается системой и должен, вроде бы, существовать независимо от моей задачи...

[Осинский Алексей]

Спасибо, попробую. Хотя не совсем понятен механизм: я же в этой задаче только читаю состояние флага монтирования (и управляю флагом отмонтирования), но сам-то этот флаг порождается системой и должен, вроде бы, существовать независимо от моей задачи...

Судя по всему Вы указали узлу Drives использовать эту задачу:
41047

[chizhik1980]

Ага, теперь, кажется, понятно, спасибо!

[Осинский Алексей]

Добрый день!


Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства?
Прошу прощения. Дезинформировал Вас.
Мы дополнительно изучили те логи, которые Вы прислали на почту: в ремонт нужно отправить только СПК из сообщения #7 (http://www.owen.ru/forum/showthread.php?t=30517&p=297987&viewfull=1#post297987).
Судя по логу 2 других СПК работают штатно и их можно продолжить использовать.


На текущий момент у нас с Вами остался нерешенный вопрос с загрузкой процессора при прокрутке таблиц. Я занимаюсь им. Постараюсь до пятницы прокомментировать.

[chizhik1980]

Спасибо большое, жду дальнейшей информации.

[chizhik1980]

Итак, результаты.
Отваливания устройств не пропали совсем, но стали случаться сильно реже - порядка одного-двух раз на несколько суток.
Есть и другая сторона проблемы, она никуда не делась: "дребезг" флага монтирования при отсоединении устройства. При взведении флага отмонтирования устройства (в нашем случае - карточки) флаг монтирования гаснет, снова самопроизвольно взводится на десяток секунд, потом гаснет окончательно.