СПК-207 + внешние накопители

Вид для печати

29.01.2019, 12:32
chizhik1980

Вложений: 2

СПК-207 + внешние накопители

Добрый день!

Сталкивался ли кто-нибудь с проблемой самопроизвольного "отваливания" накопителей, как SD так и флеш?
Симптом в общем виде:
1. Вставленная флешка/карта монтируется таргетом (таргет 3.5.4.26, прошивка 5.480)
2. В процессе работы внезапно на уровне таргета, без команд, происходит пропадание флага монтирования и последующее его появление. Флаг "Drives Info" остаётся при этом включённым, проверяли.
3. Через несколько секунд флаг восстанавливается.

Частности:
1. Чаще всего пропадают оба флага монтирования, и флеш и SD.
2. В процессе эксплуатации СПК (~1,5 года работы в режиме "круглосуточно по несколько дней") всё чаще стало происходить не-монтирование вставленной флешки, причём иногда при этом очень сильно возрастает загрузка ЦП, замеренная таргетом (до 100 %).

Вложение 40983

Вложение 40984

Флешки форматировались как стандартной утилитой Windows, так и рекомендованной в документации утилитой HP; файловая система FAT32, объём от 8 до 16 Гб, марки - Kingston, Transcend, Silicon Power.
30.01.2019, 10:06
Осинский Алексей

Добрый день!

Цитата:

Сообщение от chizhik1980

2. В процессе работы внезапно на уровне таргета, без команд, происходит пропадание флага монтирования и последующее его появление. Флаг "Drives Info" остаётся при этом включённым, проверяли.

Пока не знаю, в чем причина.
На сколько часто это наблюдается? Постараюсь повторить.

Цитата:

Сообщение от chizhik1980

2. В процессе эксплуатации СПК (~1,5 года работы в режиме "круглосуточно по несколько дней") всё чаще стало происходить не-монтирование вставленной флешки, причём иногда при этом очень сильно возрастает загрузка ЦП, замеренная таргетом (до 100 %).

Скажите пожалуйста, флешку перед извлечением размонтируете через таргет-файл?

Наблюдал, что если этого не сделать может произойти ситуация, когда накопитель извлекается, в его расположении (например /mnt/ufs/media/sda1) образуется RAM-диск,
а после того, как накопитель физически вставили в разъем он монтируется уже по другому пути (например /mnt/ufs/media/sdb1).

А таргет-файл мониторит наличие только устройства с именем sda1 на месте флешки. И отображает, что этого устройства нет.
30.01.2019, 10:32
chizhik1980

Цитата:

Сообщение от Осинский Алексей

На сколько часто это наблюдается? Постараюсь повторить.

По-разному. Однажды на реальной установке отмонтирования начались ночью (когда точно не было никакой пользовательской активности) и продолжались до замены флешки на другую с периодичностью в несколько минут. Иногда стоит несколько часов без особых проблем (если не считать проблемой одно-два отваливание флешки за эти несколько часов). Тот же самый проект на СПК, стоящем в лаборатории на стенде (без реальной приборной обвязки, только в паре с ПЛК-110) стоит у нас уже двое суток без "лавинных" отваливаний. Но единичные происходят всё равно. Также непонятна пока связь отваливаний флешки с внезапно возрастающей нагрузкой - что причина, что следствие. Загрузка вчера ночью тоже подскочила, например, без всякой пользовательской активности. Сотрудники, работавшие на площадке, где стоит установка, говорили, что флешка днём не монтировалась, будучи вставленной, и была ощутимо тёплой.

Цитата:

Сообщение от Осинский Алексей

Скажите пожалуйста, флешку перед извлечением размонтируете через таргет-файл?

Наблюдал, что если этого не сделать может произойти ситуация, когда накопитель извлекается, в его расположении (например /mnt/ufs/media/sda1) образуется RAM-диск,
а после того, как накопитель физически вставили в разъем он монтируется уже по другому пути (например /mnt/ufs/media/sdb1).

А таргет-файл мониторит наличие только устройства с именем sda1 на месте флешки. И отображает, что этого устройства нет.

Обязательно через таргет. Указанную вами ситуацию видел на предыдущей версии таргета, где было штатного (кроме линуксовой команды) метода извлечения флешки.
30.01.2019, 11:31
Осинский Алексей

Цитата:

Сообщение от chizhik1980

Также непонятна пока связь отваливаний флешки с внезапно возрастающей нагрузкой - что причина, что следствие.

пока что не знаю, но могу предположить, что возрастающая нагрузка - причина такого поведения.
А с какой частотой вы собираете отладочную информацию (параметр Debug pause)?
Можете прислать проект для СПК на почту support@owen.ru с пометкой "Для Осинского Алексея"?

Я залью в свой СПК, понаблюдаю за загрузкой ЦП, может еще какие идеи появятся.
30.01.2019, 11:46
chizhik1980

Debug Pause не записывали, оставили некое системное значение по умолчанию.

Архив проекта сегодня подготовлю и перешлю.
Кстати, про загрузку: ещё одна сильно мешающая особенность - это серьёзное повышение пиковой нагрузки (до 80-90%) при прокручивании с сенсорного экрана СПК таблиц, присутствующих в визуализации.
Мы сделали даже тестовый демо-проект, посылали его в пятницу в поддержку - но ответа пока не было.
30.01.2019, 12:02
chizhik1980

Отослал проект.
30.01.2019, 12:12
chizhik1980

В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:

Цитата:

"[89985.089379] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-932317uV
[89985.089430] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89986.339702] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89986.339753] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89987.589711] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89987.589764] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89988.839589] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-934375uV
[89988.839641] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89990.089872] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89990.089922] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)
[89991.339642] regulator_check_voltage: VDD1: unsupportable voltage range: 950000-930259uV
[89991.339695] smartreflex smartreflex: set_voltage: regulator_set_voltage failed! (err -22)"
30.01.2019, 16:21
Осинский Алексей

Цитата:

Сообщение от chizhik1980

Отослал проект.

Получил, спасибо.

Цитата:

Сообщение от chizhik1980

В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:

Попрошу разработчиков прокомментировать.
30.01.2019, 16:28
Осинский Алексей
Цитата:

Сообщение от chizhik1980

В день, когда была тёплая немонтировавшаяся флешка, в файле /Var/Logs/system обнаружено множество вот таких строк:

Разработчик комментирует:
У СПК вышел из строя основной регулятор напряжения.
Этот СПК
1. лучше выключить и больше не включать;
2. отослать в ремонт с пометкой "вышел из строя PMIC".
Иначе велика вероятность получить неремонтопригодный СПК.
30.01.2019, 16:36
chizhik1980

Понял.
А про возможные причины, из-за которых такое происходит, разработчик не комментировал?
30.01.2019, 17:05
Осинский Алексей

Цитата:

Сообщение от chizhik1980

Понял.
А про возможные причины, из-за которых такое происходит, разработчик не комментировал?

Не комментировал, я думаю причина уже после ремонта прояснится.
30.01.2019, 17:22
chizhik1980

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?

Цитата:

[ 0.089378] _regulator_get: l3_main.0 supply vdd_core not found, using dummy regulator
[ 0.089504] am335x_opp_update: physical regulator not present for core(-22)
...
[ 2.878478] _regulator_get: 1-0018 supply IOVDD not found, using dummy regulator
[ 2.878576] _regulator_get: 1-0018 supply DVDD not found, using dummy regulator
[ 2.878671] _regulator_get: 1-0018 supply AVDD not found, using dummy regulator
[ 2.878752] _regulator_get: 1-0018 supply DRVDD not found, using dummy regulator
30.01.2019, 20:21
Осинский Алексей

Цитата:

Сообщение от chizhik1980

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?

Уточняю. Завтра в течение дня смогу сообщить.
30.01.2019, 20:27
Осинский Алексей

Я загрузил Ваш проект в свой СПК. Загрузка ЦП не превышает 55%.
У меня СПК207.03-CS.WEB [m05]. У Вас тоже M05?
31.01.2019, 10:32
chizhik1980

1. Мы сейчас не знаем точно, который у нас М05, который M04 - они все, кроме одного побывали в ремонте. Можем собрать все ID (у нас 3 СПК), и вы нам наконец скажете, который из них какой.
2. Загрузка в обычном состоянии примерно такая и есть, но она повышается во-первых если прокручивать таблицу журнала непосредственно с экрана СПК (я могу вам прислать более простой проект, который наглядно показывает эту особенность), а во-вторых на том СПК, что у нас идёт в ремонт, она повышалась временами спонтанно.
3. Основной вопрос был в нестабильности смонтированного состояния флешки и/или карты. Вы можете вставить то и другое и подержать СПК на прогоне? И превышение загрузки, и отмонтирования флешки будут отображены на экране журнала, прокручивается поэкранно двойными стрелками, прокручивание на начала и на конец журнала - стрелками с "полочками".
31.01.2019, 11:07
Осинский Алексей

Цитата:

Сообщение от chizhik1980

3. Основной вопрос был в нестабильности смонтированного состояния флешки и/или карты. Вы можете вставить то и другое и подержать СПК на прогоне? И превышение загрузки, и отмонтирования флешки будут отображены на экране журнала, прокручивается поэкранно двойными стрелками, прокручивание на начала и на конец журнала - стрелками с "полочками".

Сделаю. О результатах напишу
31.01.2019, 11:42
chizhik1980

Спасибо!
Подключили 3-й СПК - флешка ведёт себя так же. Попробуем поменять флешку и карту на свежие - может, те подпортил аварийный СПК...
31.01.2019, 15:08
Осинский Алексей
Цитата:

Сообщение от Осинский Алексей

Уточняю. Завтра в течение дня смогу сообщить.

Как то я не уточнил, а разработчику нужно:
1. Какая версия прошивки на СПК с логом из поста #12?
2. Если известна версия прошивки, установленная в СПК, который едет в ремонт - ее тоже скиньте пожалуйста, для полноты картины.
31.01.2019, 15:13
chizhik1980

У обоих - 5.480
У третьего - пока 5.340, будем тоже перешивать.
01.02.2019, 11:42
Осинский Алексей

Цитата:

Сообщение от chizhik1980

Тогда ещё вопрос на всякий случай: вот такие записи про регулятор в логе второго нашего СПК - нормальны?

СПК нужно отправить в ремонт.
Вывод свидетельствует о том что cpu не видит регулятор напряжений по шине i2c микросхему tps65910 которая регулирует напряжения питания в системе в зависимости от загрузки.
01.02.2019, 11:45
Осинский Алексей

Цитата:

Сообщение от Осинский Алексей

Сделаю. О результатах напишу

С загрузкой ЦП ситуация не воспроизводится у меня.
Но за день было > 100 сообщений в логе об отвалившейся флешке. В момент, когда программа флешку не видит в Linux флешка примонтирована.
Продолжаю разбираться.
01.02.2019, 12:19
chizhik1980

Спасибо за сообщения. Вот и у нас аналогичные эффекты (хотя "домашний" наш СПК, в лабораторном стенде, отваливает флешку не так часто, но вам повезло увидеть эффект в его полноте :))
Про загрузку тогда отложим вопрос, я вам потом перешлю демо-прект, на котором хорошо можно увидеть загрузку от манипуляций с таблицей.

Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства? Эти сообщения у нас присутствуют в системных логах всех двух оставшихся живых СПК, мы не можем остаться в простое, отправив все наши СПК в ремонт. На всякий случай - высылаю на почту три лога для разработчиков, сегодняшний лог СПК с завода и два лога СПК из лаборатории. В лабораторном в одном (от 30 января) есть запись отсутствия core regulator и ещё четырёх; в его же логе от 1.02.2019 есть запись об обнаружении tps65910, но повторяется запись об остальных четырёх регуляторах.
04.02.2019, 14:21
Осинский Алексей

Добрый день!

Цитата:

Сообщение от chizhik1980

Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства?

Уточняю у разработчиков.

Цитата:

Сообщение от chizhik1980

Вот и у нас аналогичные эффекты (хотя "домашний" наш СПК, в лабораторном стенде, отваливает флешку не так часто, но вам повезло увидеть эффект в его полноте :))

Измените настройки задачи TaskUSBControl следующим образом:
Приоритет: 10
Интервал: t#10ms

За пол-дня работы с такими настройками ни одного "отваливания".
У Вас установлен t#100ms и (вероятно) периодически возникает ситуация, когда данные из Linux приходят быстрее, чем узел Drives успевает их обрабатывать.
04.02.2019, 14:37
chizhik1980

Спасибо, попробую. Хотя не совсем понятен механизм: я же в этой задаче только читаю состояние флага монтирования (и управляю флагом отмонтирования), но сам-то этот флаг порождается системой и должен, вроде бы, существовать независимо от моей задачи...
04.02.2019, 14:49
Осинский Алексей

Вложений: 1

Цитата:

Сообщение от chizhik1980

Спасибо, попробую. Хотя не совсем понятен механизм: я же в этой задаче только читаю состояние флага монтирования (и управляю флагом отмонтирования), но сам-то этот флаг порождается системой и должен, вроде бы, существовать независимо от моей задачи...

Судя по всему Вы указали узлу Drives использовать эту задачу:
Вложение 41047
04.02.2019, 14:57
chizhik1980

Ага, теперь, кажется, понятно, спасибо!
06.02.2019, 11:25
Осинский Алексей

Добрый день!

Цитата:

Сообщение от chizhik1980

Вопрос про ремонт СПК: насколько ситуация критична и требует немедленного вмешательства?

Прошу прощения. Дезинформировал Вас.
Мы дополнительно изучили те логи, которые Вы прислали на почту: в ремонт нужно отправить только СПК из сообщения #7.
Судя по логу 2 других СПК работают штатно и их можно продолжить использовать.

На текущий момент у нас с Вами остался нерешенный вопрос с загрузкой процессора при прокрутке таблиц. Я занимаюсь им. Постараюсь до пятницы прокомментировать.
06.02.2019, 14:32
chizhik1980

Спасибо большое, жду дальнейшей информации.
07.02.2019, 14:47
chizhik1980

Итак, результаты.
Отваливания устройств не пропали совсем, но стали случаться сильно реже - порядка одного-двух раз на несколько суток.
Есть и другая сторона проблемы, она никуда не делась: "дребезг" флага монтирования при отсоединении устройства. При взведении флага отмонтирования устройства (в нашем случае - карточки) флаг монтирования гаснет, снова самопроизвольно взводится на десяток секунд, потом гаснет окончательно.