매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

Time-Series Retrieval for Grounding Multimodal Language Models in Remaining Useful Life

arXiv:2608.192182026-08-21

고장 시점 예측하는 AI에게 '과거 비슷한 사례'를 보여주면 예측이 좋아진다

이 연구는 항공기 엔진 같은 장비가 앞으로 얼마나 더 쓸 수 있는지(잔존 유효 수명, RUL)를 이미지와 텍스트를 함께 이해하는 멀티모달 AI(MLLM)로 예측하는 방법을 다룬다. 핵심 아이디어는 예측할 장비의 센서 흐름과 비슷한 과거 고장 사례들을 검색해서 비교 그래프로 만들어 AI에게 함께 보여주는 것이다. 항공기 엔진 열화 데이터인 C-MAPSS의 FD001 세트로 실험한 결과, 무작위로 사례를 보여줄 때보다 비슷한 사례를 검색해서 보여줄 때 예측 오차가 줄고 결과가 더 안정적이었다.

무엇을 했나

  1. 센서 시계열 구간을 LSTM 기반 인코더로 벡터화하고, 테스트 장비의 최근 구간과 가장 비슷한 과거 정상/고장 구간들을 벡터 검색으로 찾아낸다.
  2. 검색된 과거 궤적과 테스트 장비의 궤적을 하나의 비교 그래프 이미지로 만들고, 이를 구조화된 프롬프트에 넣어 Gemini 계열 멀티모달 AI 3종(Flash-Lite, Flash, Pro)에게 RUL 수치와 설명 텍스트를 함께 요청한다.
  3. 같은 프롬프트 구조를 유지한 채 '무작위로 과거 사례 선택(MLLM+Random)'과 '검색 기반 사례 선택(MLLM+RAG)' 두 방식을 10회 반복 실험으로 비교했다.
  4. 세 모델 모두에서 검색 기반 방식이 무작위 방식보다 예측 오차가 낮고 결과 편차도 작았으며, 특히 성능이 높은 모델(Pro)일수록 검색된 정보를 더 잘 활용해 이득이 컸다.
  5. 다만 가장 좋은 검색 기반 설정도 기존의 전용 딥러닝 예측 모델보다는 아직 정확도가 떨어졌고, 평가는 C-MAPSS 중 가장 단순한 FD001 하나에 국한됐다.
Figure 1: Preprocessing workflow applied to the FD001 partition of the C-MAPSS dataset.
Figure 1: Preprocessing workflow applied to the FD001 partition of the C-MAPSS dataset.
Table 1: Overview of the main pipeline modules according to their inputs, transformations, and outputs.
ModuleInputTransformationOutput
Segment encoderNormalized sliding-window segmentEncode with an LSTM autoencoder.Fixed-dimensional embedding.
Retrieval memory builderTraining segments and RUL labelsSample by RUL bin and index embeddings.Balanced vector database.
Query retrieverLast observed test segmentEncode query and perform k-nearest-neighbor search.Top-k historical references.
Trajectory comparison builderQuery trajectory and retrieved referencesAlign trajectories and generate a multisensor plot.Trajectory-comparison image.
Prompt composerComparison image and task instructionsInsert visual evidence into a structured prompt.Multimodal prompt for RUL estimation.
Figure 2: Overview of the time‑series RAG mechanism: (a) offline indexing of encoded training segments; (b) online retrieval using the encoded test segment.
Figure 2: Overview of the time‑series RAG mechanism: (a) offline indexing of encoded training segments; (b) online retrieval using the encoded test segment.
Table 2: Configuration of the learned LSTM encoder used to generate retrieval embeddings.
AspectConfiguration
Input window lengthL=30 cycles
Input variablesSelected sensor features
Encoder typeLSTM encoder
Number of recurrent layers1
Embedding layerLinear projection
Embedding dimensiond=64
Hidden dimension128
Decoder typeFeed-forward head
Training objectiveFinal-step reconstruction
Loss functionMean squared error
OptimizerAdamW
Training epochs200
Batch size128
Learning rate10−3
Weight decay10−5
Embedding normalizationL2 normalization
(b) Query retriever. The last segment of the test trajectory is encoded and used to retrieve the nearest indexed train segments.
(b) Query retriever. The last segment of the test trajectory is encoded and used to retrieve the nearest indexed train segments.
Table 3: FD001 test-set comparison between baseline methods and Gemini-based RAG variants.
BaselinesGemini RAG
MetricMeanRandom predictorLSTM (?, ?)Flash-LiteFlashPro
RMSE41.98 ± 0.0057.19 ± 2.4914.5443.12 ± 2.7232.85 ± 3.3022.69 ± 1.44
MAE36.07 ± 0.0047.53 ± 2.66–32.91 ± 2.1922.47 ± 1.9917.91 ± 1.24
R2-0.021 ± 0.000-0.897 ± 0.165–-0.080 ± 0.1350.370 ± 0.1250.701 ± 0.037
PHM’08 Score20302 ± 0181531 ± 74903322.44127441 ± 6661027712 ± 158301488 ± 323
Figure 3: Multimodal prompt generation and example comparison artifact used for MLLM inference.
Figure 3: Multimodal prompt generation and example comparison artifact used for MLLM inference.

왜 중요한가

정비 현장에서는 예측 수치뿐 아니라 '왜 그런 판단을 내렸는지'에 대한 설명도 중요한데, 이 방식은 숫자 예측과 함께 사람이 이해할 수 있는 설명 텍스트를 같이 내놓는다는 점에서 실무 적용 가능성을 보여준다. 또한 범용 언어 AI를 특정 도메인에 억지로 재학습시키지 않고도, 검색으로 관련 사례만 붙여주면 성능이 개선된다는 점은 다른 산업 설비 진단 문제에도 적용해볼 만한 방향을 제시한다.

(b) Example of the trajectory-comparison image.
(b) Example of the trajectory-comparison image.

이 논문의 용어

  • RUL(잔존 유효 수명) · 장비나 부품이 고장 나기까지 남은 시간, 정비 계획 수립에 쓰이는 핵심 지표
  • MLLM(멀티모달 대형언어모델) · 이미지, 텍스트 등 여러 형태의 입력을 함께 이해하고 답할 수 있는 AI 모델
  • RAG(검색증강생성) · AI가 답을 만들기 전에 관련 자료를 먼저 찾아서 참고하게 하는 기법
  • C-MAPSS / FD001 · 항공기 터보팬 엔진의 열화 과정을 시뮬레이션한 대표적인 고장 예측 벤치마크 데이터셋, FD001은 그중 가장 단순한 조건의 부분집합
  • LSTM 인코더 · 시간에 따라 변하는 센서 데이터를 하나의 압축된 숫자 벡터로 요약하는 신경망 구조
Figure 4: Predictive performance over 10 repetitions for the three evaluated Gemini MLLMs under the two inference settings, MLLM+Random and MLLM+RAG.
Figure 4: Predictive performance over 10 repetitions for the three evaluated Gemini MLLMs under the two inference settings, MLLM+Random and MLLM+RAG.

논문 원문 초록 (영문)

Large language models (LLMs) and agentic AI systems are increasingly being explored for domain-specific maintenance and prognostics tasks, raising the question of whether they can effectively support prognostics and health management (PHM). In this paper, we investigate remaining useful life (RUL) estimation with multimodal large language models (MLLMs) grounded through time-series retrieval. We propose a framework in which historically similar degradation segments are retrieved from the training set and, together with the test trajectory, transformed into a visual comparison artifact that is processed by the MLLM through a structured multimodal prompt. The approach is evaluated on the FD001 partition of the C-MAPSS benchmark under repeated experiments comparing retrieval-based inference against a non-retrieval baseline based on random reference selection. The results show that time-series retrieval consistently improves MLLM-based RUL prediction across the evaluated models, yielding lower error and more stable performance. At the same time, the magnitude of the benefit depends on model capacity, indicating that retrieval is most effective when the underlying MLLM is able to exploit the retrieved evidence. Overall, the study shows that time-series RAG is a promising mechanism for improving multimodal prognostic reasoning, while also highlighting the current limitations of MLLM-based RUL estimation in practical PHM settings.

저자 · Valeriu Dimidov, Rapha\"el Frank

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Valeriu Dimidov et al., arXiv:2608.19218, arxiv-nonexclusive