STPA-RL: Analyzing Loss Scenarios in STPA with Reinforcement Learning
- 31 July 2023
- journal article
- research article
- Published by Korean Institute of Information Technology in The Journal of Korean Institute of Information Technology
- Vol. 21 (7) , 39-48
Abstract
시스템의 위험 분석 기법인 STPA(System Theoretic Process Analysis)에서는 안전하지 않은 제어 행동(Unsafe Control Action)으로 야기된 위험의 원인과 결과 관계를 설명하는 손실 시나리오 식별이 필수적이다. 지금까지는 전문가의 수작업, 주관적, 비체계적인 방법으로 손실 시나리오를 식별하였다. 이에 본 논문에서는 강화학습(RL, Reinforcement Learning)을 결합하여, 손실 시나리오를 자동으로 도출하는 STPA-RL을 제안한다. 이를 위하여 STPA 분석 결과를 바탕으로 안전한 제어 행동을 강화 학습하는 환경을 모델링하고, 이어서 위험상태에 도달하는 시스템 상태 전이 과정을 탐색한다. 산업 공정 시스템을 사례연구로 실험한 결과, 약 400개의 손실 시나리오를 생성할 수 있었다. 그 결과, 높은 빈도를 갖는 위험을 파악할 수 있었을 뿐만 아니라 위험에 이르는 상태 변화 과정을 시각화하여 손실 시나리오 이해를 높일 수 있었다.Keywords
Funding Information
- Ministry of Science and ICT
- Institute for Information and Communications Technology Promotion (2021-0-00122)
This publication has 10 references indexed in Scilit:
- Analysis of Hyper-parameters in Solving Sokoban using Q-learningThe Journal of Korean Institute of Information Technology, 2022
- Multiple-UAV Reinforcement Learning Algorithm Based on Improved PPO in Ray FrameworkDrones, 2022
- Complete Safety Analysis of Known and Unknown Scenarios in Autonomous Vehicles Based on STPA Loss ScenariosSAE International Journal of Advances and Current Practices in Mobility, 2022
- The study of statistical features of the evolution of complex physical systems using adaptive machine learning methodsJournal of Physics: Conference Series, 2022
- Deep learning, reinforcement learning, and world modelsNeural Networks, 2022
- Reinforcement-Learning-Based Vibration Control for a Vehicle Semi-Active Suspension System via the PPO ApproachApplied Sciences, 2022
- Using a system theory based method (STAMP) for hazard analysis in process industryJournal of Loss Prevention in the Process Industries, 2019
- System safety assessment based on STPA and model checkingSafety Science, 2018
- Fault tree analysis: A survey of the state-of-the-art in modeling, analysis and toolsComputer Science Review, 2015
- Extending and Automating a Systems-Theoretic Hazard Analysis for Requirements Generation and Analysis2012