Какие метрики используются при тестировании в рамках НИОКР аккумуляторов для оценки точности алгоритмов прогнозирования остаточного срока службы (RUL), и как время эксплуатационных испытаний влияет на точность прогноза?

Команды разработчиков аккумуляторов в основном используют MAE и MAPE для оценки точности алгоритмов RUL. Эти метрики сравнивают прогнозируемый остаточный срок службы с фактическим временем или количеством циклов до выхода аккумулятора из строя для протестированных ячеек. По мере проведения эксплуатационных испытаний точность прогнозирования обычно повышается, поскольку дополнительные данные о деградации — такие как потеря емкости и рост внутреннего сопротивления — снижают неопределенность и систематическую ошибку оценки параметров.

Ключевой вывод: Используйте MAE для оценки абсолютной ошибки RUL, MAPE для процентной ошибки, нормализованной по шкале, а RMSE или интервалы неопределенности — когда важны крупные ошибки и доверие к прогнозу. Больший объем эксплуатационных данных обычно повышает точность, но преимущество зависит от качества данных, обоснованности модели и репрезентативности профиля нагрузки, на котором проводилось тестирование.

Как измеряется точность RUL

Средняя абсолютная ошибка (MAE) измеряет практическое отклонение прогноза

MAE — это средняя абсолютная разница между прогнозируемым и фактическим RUL:

[ MAE=\frac{1}{N}\sum_{i=1}^{N}\left|\widehat{RUL}_i-RUL_i\right| ]

Она выражается в тех же единицах, что и целевой показатель, например, в циклах, часах или минутах.

Более низкое значение MAE означает, что алгоритм в среднем ближе к фактическому времени отказа. Это часто самая интуитивно понятная метрика для инженерных решений, поскольку она напрямую отвечает на вопрос: «Насколько сильно ошибается прогноз?»

Средняя абсолютная процентная ошибка (MAPE) нормализует ошибку

MAPE выражает абсолютную ошибку прогнозирования относительно фактического RUL:

[ MAPE=\frac{100}{N}\sum_{i=1}^{N} \left|\frac{\widehat{RUL}_i-RUL_i}{RUL_i}\right| ]

MAPE позволяет сравнивать производительность разных ячеек или тестовых сценариев с разным сроком службы.

Однако MAPE становится нестабильным, когда фактический RUL очень мал. Ближе к концу срока службы небольшая абсолютная ошибка может привести к непропорционально большой процентной ошибке, поэтому MAPE не следует интерпретировать без MAE или другой метрики абсолютной ошибки.

RMSE подчеркивает крупные ошибки прогнозирования

Среднеквадратичная ошибка (RMSE) также используется при валидации RUL литий-ионных аккумуляторов:

[ RMSE=\sqrt{\frac{1}{N}\sum_{i=1}^{N} \left(\widehat{RUL}_i-RUL_i\right)^2} ]

Поскольку ошибки возводятся в квадрат, RMSE наказывает за крупные промахи сильнее, чем MAE. Это полезно, когда несколько серьезных недооценок или переоценок могут создать риски для безопасности, обслуживания или гарантийных обязательств.

Относительная ошибка и повторяемость показывают более широкое поведение модели

Программы НИОКР также могут включать отчеты об относительной ошибке прогнозирования, стандартном отклонении ошибки и вариативности в повторяющихся циклах заряда-разряда.

Эти показатели помогают отличить модель, которая стабильно близка к истине, от той, которая иногда дает большие отклонения. Они особенно важны при сравнении алгоритмов для разных партий ячеек, условий старения или динамических профилей нагрузки.

Какие данные следует использовать для валидации алгоритма?

Фактическое время отказа — это эталонная цель

Прогнозы RUL должны сравниваться с определенным эталонным значением (ground truth), таким как фактический цикл или время, когда ячейка достигает порога окончания срока службы.

Этот порог может основываться на деградации емкости, внутреннем сопротивлении, поведении в конце разряда или другом критерии, специфичном для конкретного применения. Если определение отказа непоследовательно, метрики точности не будут иметь смысла.

Наблюдения за деградацией стимулируют обновление прогнозов

Полезные входные данные включают измерения емкости, прогрессию внутреннего сопротивления, состояние заряда (SoC), температуру, ток, напряжение и историю циклов.

Для динамических приложений системы тестирования также должны фиксировать статистику профиля нагрузки, такую как средний ток, изменение тока, максимальный и минимальный ток, а также длительность фаз. Эти переменные помогают прогностической модели учитывать разницу между стабильным лабораторным циклированием и реальными эксплуатационными требованиями.

Тестирование «Hardware-in-the-loop» проверяет надежность в реальных условиях

Автономной точности на исторических данных о циклировании самой по себе недостаточно. Тестирование «Hardware-in-the-loop» (HIL) позволяет подключить прогностический алгоритм к программируемому аккумуляторному оборудованию и подвергнуть его воздействию меняющихся нагрузок, условий окружающей среды и эксплуатационных ограничений.

Этот процесс проверяет, остается ли модель стабильной, когда ей приходится оценивать RUL в режиме онлайн, а не просто подгонять данные под завершенную запись о деградации.

Почему время эксплуатационных испытаний влияет на точность прогноза

Ранние прогнозы имеют ограниченные доказательства деградации

В начале теста алгоритм имеет лишь короткую историю поведения конкретной ячейки.

Он вынужден в большей степени полагаться на предположения о популяции, начальные оценки параметров или исторические данные о ячейках. Поэтому производственные отклонения и шум измерений на ранних циклах могут создавать существенную неопределенность RUL.

Дополнительные циклы раскрывают индивидуальный путь деградации

По мере продолжения тестирования система наблюдает больше данных о фактической траектории деградации ячейки.

Например, накопленные измерения внутреннего сопротивления могут помочь обновить темпы деградации и параметры модели рисков. Модель постепенно переходит от общей оценки популяции к прогнозу для конкретной ячейки, что обычно снижает MAE и MAPE.

Данные на поздних стадиях часто дают более высокую уверенность

Когда ячейка приближается к определенному порогу отказа, ее тренд деградации становится более идентифицируемым.

Это обычно позволяет алгоритму прогнозировать отказ с большей уверенностью, чем это было возможно на основе данных раннего срока службы. На практике интервал прогнозирования часто сужается по мере накопления информативных наблюдений в ходе теста.

Больше времени не гарантирует лучшие прогнозы

Дополнительное эксплуатационное время помогает только тогда, когда оно дает надежные и репрезентативные данные.

Шум датчиков, нерегулярная выборка, изменение температуры, немоделируемые условия нагрузки или некорректная модель деградации могут препятствовать повышению точности. Более длительный тест с некачественными или нерепрезентативными данными может быть менее ценным, чем более короткий тест с точными, информативными измерениями.

Как следует сообщать о неопределенности прогнозирования

Точечная точность не дает полной картины

MAE, MAPE и RMSE суммируют расстояние между прогнозами и фактическими результатами, но они не указывают, насколько уверенным является отдельный прогноз.

Поэтому системы RUL должны, по возможности, также сообщать интервалы прогнозирования, доверительные интервалы или распределения вероятностей.

Доверительные интервалы количественно определяют вероятные диапазоны ошибок

Распределение, подогнанное к результатам RUL, может использоваться для оценки интервалов, таких как 68% и 95% уровни доверия.

Эти интервалы помогают инженерам понять, является ли прогноз узко сконцентрированным или крайне неопределенным. Модель с низкой средней ошибкой, но плохо откалиброванными интервалами, все равно может быть небезопасной для планирования технического обслуживания или миссий.

Искаженные распределения отказов требуют осторожности

Время отказа аккумуляторов не всегда подчиняется нормальному распределению. Вариативность деградации и различия между ячейками могут приводить к искаженным распределениям RUL.

Для таких случаев можно выбирать интервалы фиксированной ширины, чтобы максимизировать вероятность того, что истинный RUL попадет внутрь интервала. Подходы с использованием интервалов максимальной мощности (Maximum Power Interval) решают эту задачу более прямо, чем просто центрирование интервала на среднем или медианном значении.

Понимание компромиссов

MAPE может преувеличивать ошибки вблизи отказа

MAPE привлекателен тем, что его легко сравнивать между наборами данных, но его знаменателем является фактический RUL.

По мере приближения фактического RUL к нулю MAPE может стать непропорционально большим. Используйте его вместе с MAE, RMSE или альтернативной процентной метрикой, а не как единственный критерий приемлемости.

Более низкая средняя ошибка может скрывать опасные выбросы

Модель может достичь благоприятного MAE, при этом иногда допуская серьезную ошибку прогнозирования.

RMSE, максимальную ошибку, процентили ошибок и результаты по отдельным ячейкам следует проверять, когда поздние прогнозы могут привести к чрезмерному разряду, пропуску технического обслуживания или преждевременной замене аккумулятора.

Точность на поздних стадиях может не отражать полезность на ранних стадиях

Алгоритм, который становится очень точным ближе к концу срока службы, может оставаться слишком неопределенным в течение ранних и средних периодов миссии или гарантийного срока.

Поэтому оценка должна быть стратифицирована по эксплуатационному возрасту, например, точки прогнозирования на ранних циклах, в середине срока службы и в конце.

Более быстрое тестирование может снизить наблюдаемость

Ускоренное старение сокращает календарное время, но может изменить механизмы деградации или условия нагрузки, наблюдаемые при нормальной эксплуатации.

Полученный алгоритм может точно предсказывать поведение при ускоренном тестировании, но плохо работать при реальных профилях. Валидация должна включать динамические профили и, при необходимости, тестирование «Hardware-in-the-loop» или репрезентативное эксплуатационное тестирование.

Правильный выбор для вашей цели

Наиболее полезная оценка — это набор метрик, соответствующий решению, которое должен поддерживать алгоритм RUL.

• Если ваш основной фокус — средняя инженерная точность: Используйте MAE в качестве основной метрики и указывайте ее в циклах, часах или минутах.
• Если ваш основной фокус — сравнение ячеек с разным сроком службы: Добавьте MAPE или относительную ошибку, при этом осторожно относитесь к результатам с RUL, близким к нулю.
• Если ваш основной фокус — избежание серьезных промахов в прогнозах: Включите RMSE, максимальную ошибку и распределения ошибок, чтобы выявить выбросы.
• Если ваш основной фокус — безопасность обслуживания или миссии: Сообщайте интервалы прогнозирования или откалиброванные уровни доверия в дополнение к метрикам точечной ошибки.
• Если ваш основной фокус — прогнозирование на раннем этапе: Оценивайте точность в нескольких точках эксплуатационного возраста, а не только финальную или позднюю производительность.
• Если ваш основной фокус — полевое развертывание: Валидируйте модель с использованием динамических профилей нагрузки, точных измерений деградации и тестирования «Hardware-in-the-loop».

Надежная оценка RUL сочетает в себе абсолютную ошибку, относительную ошибку, неопределенность и производительность в течение эксплуатационного времени, чтобы продемонстрировать повышенную точность, а не предполагать ее.

Сводная таблица:

Оптимизируйте ваши НИОКР в области аккумуляторов с помощью наших передовых решений для тестирования. Свяжитесь с нами сегодня, чтобы повысить точность прогнозирования RUL и продлить срок службы аккумуляторов. Связаться с нами!