매일 아침, 어제의 AI를 한 통으로 정리해 보내드립니다메일로 받아보기

METAL LAB

Scientific Data Skills: Enabling Agent-Ready Scientific Data Services at Scale

arXiv:2608.196252026-08-21

AI 에이전트가 과학 데이터를 스스로 찾고 이해하도록, 데이터셋을 '기술서'로 포장하는 방법

AI 에이전트가 과학 데이터를 찾고 해석해서 실제로 쓰기까지 여러 저장소에 흩어진 정보와 사람 위주로 쓰인 문서 때문에 어려움을 겪는다. 연구팀은 데이터셋 설명, 파일 구조, 사용법, 품질 검사, 출처 정보를 하나로 묶은 'Scientific Data Skill(SciDSK)'이라는 표준 포맷과 이를 만드는 파이프라인, 그리고 6개 분야 자료를 모아둔 온라인 플랫폼 Scientific Data Skill Bank를 만들었다. 검색 실험과 해석 사례 실험에서 SciDSK를 쓴 에이전트가 기존 방식보다 데이터셋을 더 잘 찾고 더 정확하게 해석했다.

무엇을 했나

  1. 문제: 과학 데이터가 여러 저장소에 흩어져 있고 문서는 사람이 읽기 편하게만 되어 있어, AI 에이전트가 스스로 데이터셋을 찾고, 파일 구조를 이해하고, 작업에 맞게 활용하기 어렵다
  2. 해결책: 데이터셋 설명, 과학적 맥락, 파일 구성, 사용 절차, 품질 점검, 출처 정보를 하나의 재사용 가능한 '에이전트 스킬' 패키지로 묶은 SciDSK를 정의하고, 원본 데이터는 원래 저장소에 그대로 둔 채 연결 정보만 유지
  3. 구성: SKILL.md 파일에 에이전트가 읽는 YAML 머리말(이름, 설명, 식별자 등)과 사람이 읽는 본문(개요, 접근법, 필드 설명, 사용 가이드, 품질 점검, 출처)을 함께 담는 2단 구조로 설계, 원본 근거자료에 기반해 만들고 검증하는 3단계 파이프라인 구축
  4. 플랫폼: 물리학·화학·지구과학·생물학·재료과학·컴퓨터과학 6개 분야에 걸쳐 SciDSK 자료를 공개하는 온라인 플랫폼 'Scientific Data Skill Bank'(scidsk.cn)를 구축, 각 자료에 영구 식별자(CSTR)를 부여해 원본 데이터셋과 서로 추적 가능하게 함
  5. 실험 결과: 104개 검색 질의로 구성한 벤치마크에서 SciDSK를 에이전트 스킬로 등록해 쓴 방식(Agent-SciDSK)이 전통적 메타데이터 검색이나 SciDSK를 단순 텍스트로만 쓴 방식보다 모든 지표에서 우수했고, CT 영상·인구밀도 지도·표 이미지·소셜미디어 이벤트 데이터 등 4개 사례에서도 24개 평가 기준 중 23개를 만족시켜(기존 방식은 22개) 더 정확한 해석을 제공
Figure 1: Key challenges in enabling AI agents to discover, interpret, and invoke scientific data.
Figure 1: Key challenges in enabling AI agents to discover, interpret, and invoke scientific data.
Table 1: Comparison of SciDK with existing dataset- and agent-oriented concepts.
Dataset MetadataDataset CardAgent SkillTool/MCPSciDSK(Ours)
Dataset description✓✓××✓
Scientific contextPartial✓Partial×✓
Task knowledge×Partial✓×✓
Operational guidance×Partial✓✓✓
Agent discoveryPartialPartial✓×✓
Dataset invocation××Partial✓✓
Figure 2: Schematic structure of a Scientific Data Skill.
Figure 2: Schematic structure of a Scientific Data Skill.
Table 2: Overall discovery performance on the test sets. All values are percentages, and the best result is shown in bold.
MethodHit@1Recall@5MRRnDCG@5
BM25-Raw47.1269.2357.5959.12
Agent-Raw71.1590.3879.0481.90
Agent-SciDSK-Text70.1990.3879.0181.92
Agent-SciDSK80.7794.2386.4188.40
Figure 3: Construction pipeline of a Scientific Data Skill.
Figure 3: Construction pipeline of a Scientific Data Skill.
Table 3: Results on the four dataset interpretation cases.
Evidence conditionCoverage (%)Satisfied criteria
ScienceDB page91.6722/24
Scientific Data Skill95.8323/24
Figure 4: The online Scientific Data Skill Bank, which can be visited at https://scidsk.cn/.
Figure 4: The online Scientific Data Skill Bank, which can be visited at https://scidsk.cn/.
Table 4: Comparison on the CT skull reconstruction case.
Evidence conditionTIFF sequence interpretationReported file-count handlingPre-use checksCoverage
Dataset information pageIncorrectly described the visible sequence as “200+ slices”Noted that the visible file tree may be incompleteProvided general checks for the image sequence and parameters5/6
Scientific Data SkillCorrectly identified 196 consecutive slicesDistinguished the reported total from the visible portion while preserving uncertaintySpecified continuity, non-empty-file, readability, parameter-file, and directory-completeness checks6/6
(b) Skill Discovery Page.
(b) Skill Discovery Page.
Table 5: Comparison on the Weibo rumor-event mapping case.
Evidence conditionFile organizationCross-file relationshipValidation checksCoverage
Dataset information pageIdentified events.txt as the label file and posts.zip as containing event-organized JSON contentLinked event identifiers to event-named JSON files but left corpus-wide completeness unresolvedSuggested general coverage and schema checks without explicit count and label-domain validation5/6
Scientific Data SkillIdentified 4,664 labeled events and clearly distinguished the roles of the two filesSpecified a one-to-one mapping between event records and event-named JSON filesRequired count validation, binary-label checks, archive extraction, orphan detection, and sampled content verification6/6
(c) Data Skill Detail Information.
(c) Data Skill Detail Information.

왜 중요한가

AI 에이전트가 과학 연구에 데이터를 자동으로 활용하려면 데이터셋을 찾고, 파일이 무엇을 뜻하는지 알고, 올바르게 다루는 방법을 알아야 하는데 기존 문서 체계로는 이 세 가지가 다 어려웠다. 이 연구는 데이터셋을 에이전트가 바로 쓸 수 있는 '스킬' 형태로 재포장하는 표준과 실제 플랫폼을 제시해, 데이터 중심 AI 연구 자동화의 실질적인 인프라 조각을 제공한다.

Figure 5: Human annotation interface for reviewing discovery benchmark queries.
Figure 5: Human annotation interface for reviewing discovery benchmark queries.

이 논문의 용어

  • AI 에이전트 · 스스로 계획을 세우고 도구를 사용해 여러 단계의 작업을 수행하는 AI 시스템
  • SciDSK (Scientific Data Skill) · 과학 데이터셋에 대한 지식과 사용법을 하나의 재사용 가능한 패키지로 묶은 표현 방식
  • 에이전트 스킬(Agent Skill) · AI 에이전트에게 특정 작업 지식과 절차를 모듈 형태로 제공하는 재사용 가능한 자료 단위
  • FAIR 원칙 · 데이터를 찾기 쉽고(Findable), 접근 가능하고(Accessible), 상호운용 가능하고(Interoperable), 재사용 가능하게(Reusable) 만드는 데이터 관리 원칙
  • CSTR · 자료를 개별적으로 식별하고 인용할 수 있게 부여하는 영구 식별자

논문 원문 초록 (영문)

Scientific data are increasingly used by AI agents, yet existing dataset representations provide limited support for autonomous discovery, interpretation, and invocation. This limitation stems from the fragmentation of scientific data across heterogeneous repositories and from dataset representations designed primarily for human use. To address this limitation, we introduce the Scientific Data Skill (SciDSK), an agent-ready representation that packages dataset-specific knowledge and operational guidance as a reusable agent skill. A SciDSK integrates dataset descriptions, scientific context, file organization, usage procedures, quality checks, and provenance information while retaining the underlying data in its original repository. We define a structured SciDSK specification and develop a systematic construction pipeline that grounds each SciDSK in authoritative dataset records and associated supporting materials. We further establish the Scientific Data Skill Bank, a unified platform that publishes SciDSK resources across six scientific disciplines and supports package access, persistent identification, and traceability to source datasets. We evaluate SciDSK through a retrieval benchmark for dataset discovery and controlled cases for dataset interpretation. The results show that SciDSK improves agent-driven dataset discovery and provides more precise and actionable support for dataset interpretation. These findings support the value of organizing dataset-specific knowledge in an agent-ready representation.

저자 · Xiaohan Huang, Qingqing Long, Xiaolei Du, Siyu Pu, Jiawen Xu, Haotian Chen, Chenyang Zhao, Jinbiao Liu, Xuezhi Wang, Hao

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL LAB 최신 기사

그림 출처: Xiaohan Huang et al., arXiv:2608.19625, arxiv-nonexclusive