피지컬 AI 연구개발 완전 가이드 (총 9편) | 7편 안전과 표준화: 신뢰할 수 있는 로봇을 만드는 법

시리즈: 피지컬 AI 연구개발 완전 가이드 (총 9편) | 7편

안전과 표준화: 신뢰할 수 있는 로봇을 만드는 법

휴머노이드가 사람 옆에서 일하려면 "잘하는 것"만으로는 부족해요. "안전한 것"이 먼저예요. 이 글에서는 물리적 안전부터 LLM 시대의 의미적 안전까지, 피지컬 AI의 안전 프레임이 어떻게 잡히고 있는지를 정리해 봤어요.

Summary

• 기술 발전 대비 "표준/평가/인증 공백"이 컸지만, 최근 6~12개월에 프레임이 잡히기 시작했어
• IEEE RAS는 휴머노이드 전용 위험군과 "행동 기반 안전" 필요를 공식 의제로 올렸어
• ISO WD 25785-1은 동적 안정성을 다루는 첫 표준 초안이야
• LLM 통합은 물리 안전 너머 "의미적 안전"이라는 완전히 새로운 과제를 만들었어

이 글의 대상

• 로봇 안전이 왜 이렇게 복잡한지 궁금한 분
• IEEE, ISO 같은 표준이 실제로 무슨 역할을 하는지 알고 싶은 분
• "의미적 안전"이라는 새로운 개념이 뭔지 이해하고 싶은 분

목차

1. 왜 기존 안전 프레임으로는 부족할까
2. IEEE RAS: 휴머노이드 전용 안전 의제
3. ISO WD 25785-1: 동적 안정성 표준의 시작
4. RoboTrust: "성공률"을 넘어선 신뢰성 평가
5. LLM 시대의 의미적 안전과 가드레일
6. 현재 가능한 신뢰 수준의 솔직한 정리

1. 왜 기존 안전 프레임으로는 부족할까

기존 산업용 로봇 안전은 울타리 안에서 정해진 동작만 반복하는 로봇을 전제로 만들어졌어. 근데 휴머노이드 피지컬 AI는:

• 사람과 같은 공간에서 움직여
• 자유도가 높아서 예측 못 한 동작을 할 수 있어
• LLM이 열린 지시를 처리하니까 행동 범위가 무한대에 가까워
• 넘어지거나 균형을 잃으면 사람에게 직접 물리적 위험이 돼

기존 ISO 10218(산업용 로봇)이나 ISO/TS 15066(협동로봇)은 이런 상황을 다루기에 역부족이야. 그래서 최근 6~12개월 사이에 휴머노이드 특화 표준과 평가 체계가 빠르게 형성되기 시작한 거야.

2. IEEE RAS: 휴머노이드 전용 안전 의제

IEEE 로보틱스·자동화학회(RAS)는 "Humanoid Robots in Human Spaces"라는 실행 요약을 발표했어. 핵심 내용은:

6개 위험군 체계화

휴머노이드가 만들 수 있는 위험을 체계적으로 분류했어. 기존 산업용 로봇 위험(충돌, 끼임 등)에 더해, 동적 안정성(넘어짐), 예측 불가 행동(LLM 기반), 인간 공간 상호작용 같은 새로운 범주가 추가됐지.

"행동 기반 안전 (Safety by Behaviour)"

기존 안전은 "여기에 가면 안 돼"(영역 제한) 중심이었어. 하지만 인간 공간에서 일하는 로봇은 영역을 제한할 수 없으니까, "안전하기 위해 무엇을 해야 하는가"를 정의해야 해. 이게 "행동 기반 안전"의 핵심이야.

전용 안정성 기준 필요

휴머노이드는 정지 상태가 아니라 동적으로 균형을 잡아야 해. 기존 로봇과 근본적으로 다르기 때문에, 별도의 안정성 측정 및 안전 기준이 필요하다는 권고가 나온 거야.

3. ISO WD 25785-1: 동적 안정성 표준의 시작

ISO에서 준비 중인 ISO WD 25785-1은 "능동 제어 안정성(actively controlled stability)"을 다루는 표준 초안이야.

이게 뭘 다루느냐면:

• 로봇이 걷거나 균형을 잡을 때의 동적 안정성 측정 방법
• 안정성 실패(넘어짐)에 대한 성능 기준과 시험 절차
• 5편에서 다룬 S0(1kHz 안정화 계층)와 직접 연결되는 표준이야

한편 ANSI/A3 R15.06-2025도 업데이트됐어. 산업용 로봇 안전 표준이 협동로봇, 사이버보안 등 변화된 요구를 반영해서 갱신된 거지.

표준화의 속도

물리 안전 표준(힘/속도 제한, 안정성 측정)은 비교적 빠르게 정착할 수 있어. 기존 프레임을 확장하면 되니까. 문제는 의미적 안전이야 — 이건 완전히 새로운 영역이거든.

4. RoboTrust: "성공률"을 넘어선 신뢰성 평가

기존의 로봇 평가는 단순했어. "100번 시도해서 몇 번 성공했는가?" 하지만 이건 현실의 복잡성을 반영하지 못해.

RoboTrust 벤치마크

RoboTrust는 멀티모달 LLM 기반 로봇 에이전트의 신뢰성을 인터랙티브 시나리오로 평가하는 벤치마크야.

평가에 포함되는 항목:

• 교란: 예상 못 한 장애물, 센서 오류, 명령 왜곡
• 사용자 다양성: 다양한 사용자의 다양한 지시 방식
• 진실성/팩트 그라운딩: 모르는 건 모른다고 하는지
• 강건성: 환경 변화에 얼마나 견디는지

왜 이게 중요할까?

산업 관점에서 이건 곧 조달 조건이 돼. "몇 번 성공했는가"보다 "어떤 상황에서 어떻게 실패하며, 실패 시 어떤 안전 동작을 하는가"가 더 중요해지는 거야.

5. LLM 시대의 의미적 안전과 가드레일

물리 안전만 잡으면 될 줄 알았는데, LLM이 들어오면서 완전히 새로운 문제가 생겼어.

의미적 안전 (Decision Safety)이란?

LLM이 자연어 지시를 이해하고 행동을 결정하는 과정에서 생기는 안전 문제야:

문제 유형	예시
잘못된 해석	"더 빨리 해"를 힘을 더 세게 쓰라는 뜻으로 이해
모호한 지시	"저거 치워"에서 "저거"가 뭔지 오인
과도한 일반화	학습 안 된 상황에서 자신감 있게 잘못된 행동
프라이버시	가정 환경에서 수집한 데이터의 보안

모듈형 가드레일의 부상

이 문제를 해결하기 위해 "모니터링 레이어 + 개입 레이어"로 구성된 모듈형 안전 가드레일이 제안되고 있어.

핵심 아이디어는:

• LLM의 결정을 별도 안전 레이어가 검토하고
• 위험 판단되면 행동을 차단하거나 수정하고
• 모든 과정을 감사 로그로 기록하는 거야

RoboGuard 같은 연구는 전통적 로봇 안전과 LLM 안전이 서로의 취약점을 메우지 못한다는 문제의식에서 출발해서, 언어 규칙을 실행 가능한 물리적 제약으로 변환하는 접근을 논의하고 있어.

6. 현재 가능한 신뢰 수준의 솔직한 정리

냉정하게 현재 상황을 정리하면:

환경	신뢰 수준	이유
통제된 산업 환경	상용 근접	공간 구조화, 안전 프로토콜 설계 가능, HITL 포함
반구조화 환경 (물류 등)	제한적 운영 가능	표준 기반 물리 안전 + 런타임 모니터링 필요
공공/가정 완전 자율	아직 부족	동적 안정성 장기 검증 부족, LLM 의미적 오판, 보안 위협

물리 안전은 표준화로 비교적 빠르게 정착할 수 있어. 하지만 의미적 안전(LLM 의사결정 책임, 감사 가능성, 프라이버시)은 기술·규제·운영 프로토콜이 동시에 필요해서 시간이 더 걸려.

결국 "완전히 안전한 로봇"은 아직 없어. 하지만 "안전을 체계적으로 다루는 프레임이 잡히기 시작했다"는 게 최근의 가장 큰 변화야.

핵심 정리

1. 기존 산업용 로봇 안전으로는 휴머노이드를 다루기 부족해
2. IEEE RAS: "행동 기반 안전" + 6대 위험군 체계화를 권고
3. ISO WD 25785-1: 동적 안정성 표준 초안 준비 중
4. RoboTrust: 성공률 넘어 교란·다양성·강건성까지 평가
5. LLM 통합 → "의미적 안전"이라는 새 과제, 모듈형 가드레일로 대응 시작

FAQ

Q: 행동 기반 안전이 기존 안전과 뭐가 달라?

A. 기존 안전은 "이 영역에 들어오지 마" 같은 공간 제한 중심이야. 행동 기반 안전은 "넘어지려고 하면 이렇게 반응해야 해", "사람과 접촉하면 이 힘 이상 주면 안 돼" 같이 로봇의 행동 자체에 안전 조건을 거는 거야.

Q: ISO WD 25785-1이 나오면 뭐가 바뀌어?

A. 동적 안정성의 측정 방법과 기준이 표준화되면, 제조사들이 공통 기준으로 안전을 입증할 수 있어. "우리 로봇이 안전해요"라고 말하는 대신 "ISO 25785 인증을 받았어요"라고 증명할 수 있게 되는 거지. 이건 구매 결정과 규제 승인에 직접 영향을 미쳐.

Q: 의미적 안전이라니, AI가 "의미"를 잘못 이해해서 위험하다는 거야?

A. 정확해. 예를 들어 "아이 방 좀 치워줘"라는 지시를 LLM이 "모든 물건을 버려라"로 해석하면 큰 문제잖아. 또는 "빨리 해"를 힘을 과도하게 쓰라는 뜻으로 이해할 수도 있어. 이런 열린 언어 지시의 오해석 → 물리적 행동으로 이어지는 위험이 의미적 안전의 핵심이야.

Q: 가드레일이 있으면 안전한 거야?

A. 가드레일은 완전한 해결책이 아니라 위험을 줄이는 장치야. 모니터링과 개입 레이어를 두면 위험한 행동을 상당 부분 걸러낼 수 있지만, 모든 상황을 예측할 수는 없어. 그래서 감사 로그(무슨 판단을 했는지 기록)와 HITL(위험 시 사람이 개입)이 함께 필요한 거야.

Q: RoboTrust 벤치마크를 기업들이 실제로 쓰고 있어?

A. 아직은 연구 단계에 가까워. 하지만 이런 벤치마크가 표준화되면, 로봇 조달/계약에서 "RoboTrust 기준 몇 점 이상"이라는 조건이 붙을 수 있어. "교란 상황에서 어떻게 실패하는가"를 정량화할 수 있으니까.

Q: Safe RL 같은 학습 차원 안전도 있어?

A. 맞아. 제약형 RL(CMDP), 제어 장벽 함수(CBF), 실시간 shielding 같은 기술이 진전 중이야. 학습 과정에서 안전 제약을 만족하도록 정책을 보정하는 접근인데, 아직 대규모 실물 적용은 제한적이야. 연구 수준에서는 유망하지만 산업 배치까지는 거리가 있어.

참고 자료 (References)

데이터 출처

출처	설명	링크
IEEE RAS	휴머노이드 전용 위험군 체계화, 행동 기반 안전	AutomationMag
ISO WD 25785-1	동적 안정성 표준 초안	ISO
ANSI/A3 R15.06-2025	산업용 로봇 안전 표준 업데이트	ANSI
RoboTrust	인터랙티브 신뢰성 벤치마크	OpenReview

핵심 인용

"Humanoid robots require dedicated stability standards that cover performance measurement and safety by behaviour, defining what a humanoid must do to be safe, not just where it must not go." — IEEE RAS 실행 요약

다음 편 예고

[8편] 상용화 현실 점검: Figure·BD·Tesla·Agility의 현재

• 각 기업의 실제 배치 현황과 한계
• RaaS 모델과 TCO(총소유비용)의 현실
• "데모"와 "상용"의 진짜 간극