Survey of research status and development of runtime assurance technology

doi:10.11772/j.issn.1001-9081.2024030318

Journal of Computer Applications ›› 2025, Vol. 45 ›› Issue (3): 1003-1015.DOI: 10.11772/j.issn.1001-9081.2024030318

• Frontier and comprehensive applications •

Survey of research status and development of runtime assurance technology

Lei DONG¹^,², Qi WANG¹^,³, Xi CHEN¹^,²(), Jiachen LIU¹^,³

^1.Key Laboratory of Civil Aircraft Airworthiness Technology （Civil Aviation University of China），Tianjin 300300，China
^2.Science and Technology Innovation Research Institute，Civil Aviation University of China，Tianjin 300300，China
^3.College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China

Received:2024-03-21 Revised:2024-05-15 Accepted:2024-05-16 Online:2024-06-17 Published:2025-03-10
Contact: Xi CHEN
About author:DONG Lei， born in 1983， Ph. D.， associate research fellow. His research interests include civil aircraft avionics system airworthiness certification.
WANG Qi， born in 2000， M. S. candidate. His research interests include intelligent avionics system.
LIU Jiachen， born in 1996， Ph. D. candidate. His research interests include intelligent avionics system， civil aircraft system safety design and assessment.
Supported by:
National Key Research and Development Program of China(2021YFB1600600);Fundamental Research Funds for Central Universities(3122022QD07)

运行时保证技术的研究现状与发展综述

董磊¹^,², 王琦¹^,³, 陈曦¹^,²(), 刘嘉琛¹^,³

^1.民航航空器适航审定技术重点实验室（中国民航大学），天津 300300
^2.中国民航大学科技创新研究院，天津 300300
^3.中国民航大学安全科学与工程学院，天津 300300

通讯作者: 陈曦
作者简介:董磊（1983—），男，天津人，副研究员，博士，主要研究方向：民机航电系统适航审定
王琦（2000—），男，内蒙古呼伦贝尔人，硕士研究生，主要研究方向：智能航电系统
刘嘉琛（1996—），男，陕西西安人，博士研究生，主要研究方向：智能航电系统、民机系统安全性设计与评估。
基金资助:
国家重点研发计划项目(2021YFB1600600);中央高校基本科研业务费专项资金资助项目(3122022QD07)

Abstract

Abstract:

While advanced technologies such as Artificial Intelligence （AI）， big data， and cloud computing are developing rapidly， the difficulties to explain， certify and other issues of the technologies limit the practical application of them in various industries. Meanwhile， through monitoring the system state， RunTime Assurance （RTA） technology achieves the function switching， making “complex” into “simple”， thereby providing a preliminary solution to some complex system behaviors’ problems of difficulties to predict and explain， insecurity， unexplained results， with a broad prospect for development in the future. Therefore， a review was conducted on the current research status and development of RTA to offer researchers insights into the latest research trends and developmental directions in RTA technology. Firstly， the development history of RTA technology was reviewed， on the basis of describing the basic principle architecture and the switching logic of RTA， the current application research status of RTA in the fields of intelligent aviation， Unmanned Aerial Vehicle （UAV）， intelligent aerospace， and automated vehicle driving， as well as on Cyber-Physical System （CPS） and safe reinforcement learning were sorted out systematically. Finally， the development prospects of RTA technology were discussed.

Key words: RunTime Assurance (RTA), complex function, switching logic, replacement certification, intelligent aviation

摘要：

人工智能（AI）、大数据、云计算等先进技术发展突飞猛进的同时，它们自身具有的难解释、难认证等问题限制了它们在各行业的实际应用。而运行时保证（RTA）技术通过监控系统状态实现了功能之间的切换，化“复杂”为“简单”，初步解决了一些复杂系统行为难预测、难解释、不安全、非预期结果的问题，在未来有着广阔的发展前景。因此，对RTA的研究现状与发展进行综述，为研究者了解最新的RTA技术研究动态、发展趋势提供参考。首先，回顾RTA技术的发展历程；其次，在描述RTA的基本原理架构以及切换逻辑的基础上，对当前RTA在智能航空、无人机（UAV）、智能航天和自动驾驶汽车领域中及信息物理系统（CPS）和安全强化学习上的应用研究现状进行系统性梳理；最后，对RTA技术的发展前景进行讨论。

关键词: 运行时保证, 复杂功能, 切换逻辑, 替换认证, 智能航空

CLC Number:

N949

Lei DONG, Qi WANG, Xi CHEN, Jiachen LIU. Survey of research status and development of runtime assurance technology[J]. Journal of Computer Applications, 2025, 45(3): 1003-1015.

董磊, 王琦, 陈曦, 刘嘉琛. 运行时保证技术的研究现状与发展综述[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 1003-1015.

Figures/Tables 25

References 81

1	BEYERER J， PFROMMER J， USLÄNDER T. AI Systems Engineering — systematic development and operation of AI-based systems ［J］. at-Automatisierungstechnik， 2022， 70（9）： 753-755.
2	DONG Y， HUANG W， BHARTI V， et al. Reliability assessment and safety arguments for machine learning components in system assurance ［J］. ACM Transactions on Embedded Computing Systems， 2023， 22（3）： No.48.
3	GROSS K H， CLARK M A， HOFFMAN J A， et al. Run-time assurance and formal methods analysis nonlinear system applied to nonlinear system control ［J］. Journal of Aerospace Information Systems， 2017， 14（4）： 232-246.
4	Office of the US Air Force Chief Scientist. Technology horizons： a vision for air force science and technology during 2010-30 ［EB/OL］. ［2023-11-02］. .
5	FULLER J G. Run-time assurance： a rising technology ［C］// Proceedings of the AIAA/IEEE 39th Digital Avionics Systems Conference. Piscataway： IEEE， 2020： 1-9.
6	SHA L. Using simplicity to control complexity ［J］. IEEE Software， 2001， 18（4）： 20-28.
7	SETO D， FERRIERA E， MARZ T F. Case study： development of a baseline controller for automatic landing of an F-16 aircraft using Linear Matrix Inequalities （LMIs）［R/OL］. ［2024-01-23］. .
8	CRENSHAW T L， GUNTER E， ROBINSON C L， et al. The simplex reference model： limiting fault-propagation due to unreliable components in cyber-physical system architectures ［C］// Proceedings of the 28th IEEE International Real-Time Systems Symposium. Piscataway： IEEE， 2007： 400-412.
9	BAK S， CHIVUKULA D K， ADEKUNLE O， et al. The system-level simplex architecture for improved real-time embedded system safety ［C］// Proceedings of the 15th IEEE Real-Time and Embedded Technology and Applications Symposium. Piscataway： IEEE， 2009： 99-107.
10	BAK S， MANAMCHERI K， MITRA S， et al. Sandboxing controllers for cyber-physical systems ［C］// Proceedings of the IEEE/ACM 2nd International Conference on Cyber-Physical Systems. Piscataway： IEEE， 2011： 3-12.
11	PHAN D T， GROSU R， JANSEN N， et al. Neural simplex architecture ［C］// Proceedings of the 2020 International Symposium on NASA Formal Methods， LNCS 12229. Cham： Springer， 2020： 97-114.
12	荘露，陆中，宋海靖，等. 一种机载系统研制保证等级分配的优化方法［J］. 系统工程与电子技术， 2022， 44（8）： 2688-2698.
	ZHUANG L， LU Z， SONG H J， et al. An optimization method for development assurance level assignment of airborne system［J］. Systems Engineering and Electronics， 2022， 44（8）：2688-2698.
13	DeVORE M， COOPER J， WALLINGTON A， et al. Run time assurance for electric vertical takeoff and landing aircraft： NASA/CR-20210026909［R/OL］. ［2023-12-18］. .
14	FULLER J G， HOOK L， HUTCHINS N. Accounting for helpful and harmful human reactions in run-time assurance frameworks［C］// Proceedings of the IEEE/AIAA 36th Digital Avionics Systems Conference. Piscataway： IEEE， 2017： 1-8.
15	COFER D， AMUNDSON I， SATTIGERI R， et al. Run-time assurance for learning-based aircraft taxiing ［C］// Proceedings of the AIAA/IEEE 39th Digital Avionics Systems Conference. Piscataway： IEEE， 2020： 1-9.
16	COFER D， SATTIGERI R， AMUNDSON I， et al. Flight test of a collision avoidance neural network with run-time assurance ［C］// Proceedings of the IEEE/AIAA 41st Digital Avionics Systems Conference. Piscataway： IEEE， 2022： 1-10.
17	MEHMOOD U， SHEIKHI S， BAK S， et al. The black-box simplex architecture for runtime assurance of autonomous CPS［C］// Proceedings of the 2022 International Symposium on NASA Formal Methods， LNCS 1326. Cham： Springer， 2022： 231-250.
18	董磊，刘嘉琛，陈曦，等. 面向适航符合性的智能航电系统认证研究进展［J］. 航空工程进展， 2023， 14（3）：26-40.
	DONG L， LIU J C， CHEN X， et al. Research progress of AI-based avionics system certification for airworthiness compliance ［J］. Advance in Aeronautical Science and Engineering， 2023， 14（3）：26-40.
19	卢新来，杜子亮，许赟. 航空人工智能概念与应用发展综述［J］. 航空学报， 2021， 42（4）： 251-264.
	LU X L， DU Z L， XU Y. Review on basic concept and applications for artificial intelligence in aviation ［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 251-264.
20	NAGARAJAN P， KANNAN S K， TORENS C， et al. ASTM F3269 — an industry standard on run time assurance for aircraft systems ［C］// Proceedings of the 2021 AIAA Scitech Forum. Reston， VA： AIAA， 2021：No.0525.
21	SKOOG M A， HOOK L R， RYAN W. Leveraging ASTM industry standard F3269-17 for providing safe operations of a highly autonomous aircraft ［C］// Proceedings of the 2020 IEEE Aerospace Conference. Piscataway： IEEE， 2020： 1-7.
22	PETERSON E M， DeVORE M， COOPER J， et al. Run time assurance as an alternate concept to contemporary development assurance processes： NASA/CR-2020-220586 ［R/OL］. ［2023-11-03］. .
23	赵越让. 适航的理念与原则［J］. 大飞机， 2022（8）： 8-17.
	ZHAO Y R. Airworthiness philosophy and principles ［J］. Jetliner， 2022（8）： 8-17.
24	殷时军，孙建红，王大蕴. 适航审定“三性”理念与模型分析［J］. 南京航空航天大学学报， 2022， 54（5）： 843-850.
	YIN S J， SUN J H， WANG D Y. Concept and model analysis of airworthiness certification “Three Principles” ［J］. Journal of Nanjing University of Aeronautics and Astronautics， 2022， 54（5）： 843-850.
25	BRAT G P， YU H， ATKINS E， et al. Autonomy verification &amp； validation roadmap and vision 2045 ［R/OL］. ［2024-12-02］. .
26	ROWANHILL J， HOCKING A B， ZUTSHI A， et al. Bridging the gap： applying assurance arguments to MIL-HDBK-516C certification of a neural network control system with ASIF run time assurance architecture ［EB/OL］. ［2024-02-14］. .
27	BARTLETT P， CHAMBERLAIN L， SINGH S， et al. A near-term path to assured aerial autonomy ［J］. SAE International Journal of Aerospace， 2023， 16（3）：325-335.
28	TORENS C， NAGARAJAN P， SCHIRMER S， et al. Certification aspects of runtime assurance for urban air mobility ［C］// Proceedings of the AIAA SCITECH 2024 Forum. Reston， VA： AIAA， 2024： No.1464.
29	HOOK L R， CLARK M， SIZOO D， et al. Certification strategies using run-time safety assurance for part 23 autopilot systems ［C］// Proceedings of the 2016 IEEE Aerospace Conference. Piscataway： IEEE， 2016： 1-10.
30	FULLER J G， HOOK L， HUTCHINS N， et al. Toward run-time assurance in general aviation and unmanned aircraft vehicle autopilots ［C］// Proceedings of the IEEE/AIAA 35th Digital Avionics Systems Conference. Piscataway： IEEE， 2016： 1-9.
31	ZHAO Y， WEN P， BAI L， et al. Service-oriented intelligent avionics system architecture ［C］// Proceedings of the 10th Chinese Society of Aeronautics and Astronautics Youth Forum， LNEE 972. Singapore： Springer， 2023： 492-503.
32	HE Y， SCHUMANN J， YU H. Toward runtime assurance of complex systems with AI components ［J］. PHM Society European Conference， 2022， 7（1）： 166-174.
33	GUO C， SUN Y， SU S， et al. Risk assessment method for controlled flight into terrain of airlines based on QAR data ［J］. Aircraft Engineering and Aerospace Technology， 2023， 95（8）： 1184-1193.
34	SMITH J， BROMFIELD M A. General aviation loss of control in flight accidents： causal and contributory factors ［J］. Journal of Air Transportation， 2022， 30（4）： 137-153.
35	LA COUR-HARBO A， SCHIØLER H. Probability of low-altitude midair collision between general aviation and unmanned aircraft［J］. Risk Analysis， 2019， 39（11）： 2499-2513.
36	KIRKENDOLL Z. Automatic loss of control prevention using longitudinal and lateral control for run-time assurance in general aviation ［C］// Proceedings of the IEEE/AIAA 41st Digital Avionics Systems Conference. Piscataway： IEEE， 2022： 1-8.
37	GHORI S， KHAMVILAI T， FERON E， et al. Runtime assurance for distributed avionics architecture ［C］// Proceedings of the IEEE/AIAA 41st Digital Avionics Systems Conference. Piscataway： IEEE， 2022： 1-6.
38	ZHU Y， PAN M， ZHOU W， et al. Intelligent direct thrust control for multivariable turbofan engine based on reinforcement and deep learning methods ［J］. Aerospace Science and Technology， 2022， 131（Pt A）： No.107972.
39	WONG E， SCHIERMAN J D， SCHLAPKOHL T， et al. Towards run-time assurance of advanced propulsion algorithms ［C］// Proceedings of the 50th AIAA/ASME/SAE/ASEE Joint Propulsion Conference. Reston， VA： AIAA， 2014： No.3636.
40	SCHIERMAN J D， NEAL D， WONG E， et al. Runtime assurance protection for advanced turbofan engine control ［C］// Proceedings of the 2018 AIAA Guidance， Navigation， and Control Conference. Reston， VA： AIAA， 2018： No.1112.
41	COSTELLO D， XU H. Using a run time assurance approach for certifying autonomy within naval aviation ［J］. Systems Engineering， 2023， 26（3）： 271-278.
42	CAO M E， COOGAN S. Trajectory tracking runtime assurance for systems with partially unknown dynamics ［C］// Proceedings of the 2024 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2024： 11525-11531.
43	KOPARDEKAR P. Urban air mobility： initial reflections［R/OL］. ［2023-10-23］..
44	EDWARDS T， PRICE G. eVTOL passenger experience final report： NASA/CR-2020-220460［R/OL］. ［2023-10-02］. .
45	AVRAM R， ZHANG X， MUSE J A， et al. Nonlinear adaptive control of quadrotor UAVs with run-time safety assurance ［C］// Proceedings of the 2017 AIAA Guidance， Navigation， and Control Conference. Reston， VA： AIAA， 2017： No.1896.
46	CHAKI S， DE NIZ D. Certifiable runtime assurance of distributed real-time systems ［C］// Proceedings of the 2017 AIAA Information Systems-AIAA Infotech @ Aerospace. Reston， VA： AIAA， 2018： No.0561.
47	BATEMAN A J， GRESSICK W， GANDHI N. Application of run-time assurance architecture to robust geofencing of SUAS ［C］// Proceedings of the 2018 AIAA Information Systems-AIAA Infotech @ Aerospace. Reston， VA： AIAA， 2018： No.1985.
48	SCHIERMAN J D， DeVORE M， RICHARDS N D， et al. The introduction of software runtime protection for autonomous aerospace systems ［C］// Proceedings of the 2017 AIAA Information Systems-AIAA Infotech @ Aerospace. Reston， VA： AIAA， 2017： No.0560.
49	HOOK L R， SKOOG M， GARLAND M， et al. Initial considerations of a multi-layered run time assurance approach to enable unpiloted aircraft ［C］// Proceedings of the 2018 IEEE Aerospace Conference. Piscataway： IEEE， 2018： 1-11.
50	SCHIERMAN J D， DeVORE M D， RICHARDS N D， et al. Runtime assurance for autonomous aerospace systems ［J］. Journal of Guidance， Control， and Dynamics， 2020， 43（12）： 2205-2217.
51	许智宁. 基于运行时保证机制的无人机韧性控制技术研究［D］. 北京：军事科学院， 2022： 15-69.
	XU Z N. Research on UAV resilience control technology based on run-time assurance［D］. Beijing： Academy of Military Science， 2022： 15-69.
52	SCHOPFERER S， SCHIRMER S， JÜNGER F， et al. Map-based height above ground estimation for safe operation monitoring of unmanned aircraft in very low level airspaces ［EB/OL］. ［2024-01-02］..
53	LI S， SHE Y. Recent advances in contact dynamics and post-capture control for combined spacecraft ［J］. Progress in Aerospace Sciences， 2021， 120： No.100678.
54	黄旭星，李爽，杨彬，等. 人工智能在航天器制导与控制中的应用综述［J］. 航空学报， 2021， 42（4）： 106-121.
	HUANG X X， LI S， YANG B， et al. Spacecraft guidance and control based on artificial intelligence： review ［J］. Acta Aeronautica et Astronautica Sinica， 2021， 42（4）： 106-121.
55	HOBBS K L， DAVIS J， WAGNER L， et al. Formal specification and analysis of spacecraft collision avoidance run time assurance requirements ［C］// Proceedings of the 2021 IEEE Aerospace Conference. Piscataway： IEEE， 2021： 1-16.
56	DUNLAP K， VAN WIJK D， HOBBS K L. Run time assurance for autonomous spacecraft inspection ［EB/OL］. ［2023-10-23］..
57	ABATE M， MOTE M， DOR M， et al. Run time assurance for spacecraft attitude control under nondeterministic assumptions ［J］. IEEE Transactions on Control Systems Technology， 2024， 32（3）： 862-873.
58	VAN WIJK D， MAJJI M， HOBBS K L. Fault tolerant run time assurance with control barrier functions for rigid body spacecraft rotation ［C］// Proceedings of the AIAA SCITECH Forum 2024. Reston， VA： AIAA， 2024： No.0991.
59	付新科，蔡英凤，陈龙，等. 不确定性环境下的自动驾驶汽车行为决策方法［J］. 汽车工程， 2024， 46（2）：211-221.
	FU X K， CAI Y F， CHEN L， et al. Decision-making for autonomous driving in uncertain environment ［J］. Automotive Engineering， 2024， 46（2）：211-221.
60	KABIR S， SOROKOS I， ASLANSEFAT K， et al. A runtime safety analysis concept for open adaptive systems［C］// Proceedings of the 2019 International Symposium on Model-Based Safety and Assessment， LNCS 11842. Cham： Springer， 2019： 332-346.
61	BOGOMOLOV S， HEKAL A， HOXHA B， et al. Runtime assurance for autonomous driving with neural reachability ［C］// Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems. Piscataway： IEEE， 2022： 2634-2641.
62	WANG Q， KOU G， CHEN L， et al. Runtime assurance of learning-based lane changing control for autonomous driving vehicles ［J］. Journal of Circuits， Systems and Computers， 2022， 31（14）： No.2250249.
63	ASLAM I， ANICULAESEI A， BURAGOHAIN A， et al. Runtime safety assurance of autonomous vehicles used for last-mile delivery in urban environments ［M］// PROFF H. Next chapter in mobility： technische und betriebswirtschaftliche aspekte. Wiesbaden： Springer Gabler， 2024： 399-414.
64	潘峰，鲍泓. 强化学习的自动驾驶控制技术研究进展［J］. 中国图象图形学报， 2021， 26（1）：28-35.
	PAN F， BAO H. Research progress of automatic driving control technology based on reinforcement learning ［J］. Journal of Image and Graphics， 2021， 26（1）：28-35.
65	CHEN S， SUN Y， LI D， et al. Runtime safety assurance for learning-enabled control of autonomous driving vehicles ［C］// Proceedings of the 2022 International Conference on Robotics and Automation. Piscataway： IEEE， 2022： 8978-8984.
66	PENG Y， TAN G， SI H， et al. DRL-GAT-SA： deep reinforcement learning for autonomous driving planning based on graph attention networks and simplex architecture ［J］. Journal of Systems Architecture， 2022， 126： No.102505.
67	PENG Y， TAN G， SI H. RTA-IR： a runtime assurance framework for behavior planning based on imitation learning and responsibility-sensitive safety model ［J］. Expert Systems with Applications， 2023， 232： No.120824.
68	RAJHANS A， BHAVE A， RUCHKIN I， et al. Supporting heterogeneity in cyber-physical systems architectures ［J］. IEEE Transactions on Automatic Control， 2014， 59（12）： 3178-3193.
69	陈功谱，曹向辉，孙长银. 信息物理系统安全问题研究进展［J］. 南京信息工程大学学报（自然科学版）， 2017， 9（4）： 372-380.
	CHEN G P， CAO X H， SUN C Y. A survey on the security of cyber physical systems ［J］. Journal of Nanjing University of Science and Technology （Natural Science Edition）， 2017， 9（4）： 372-380.
70	DEMENTYEVA V， HICKERT C， SARFARAZ N， et al. Runtime assurance for intelligent cyber-physical systems ［C］// Proceedings of the 13th ACM/IEEE International Conference on Cyber-Physical Systems. Piscataway： IEEE， 2022： 288-289.
71	ABATE M， FERON E， COOGAN S. Monitor-based runtime assurance for temporal logic specifications ［C］// Proceedings of the IEEE 58th Conference on Decision and Control. Piscataway： IEEE， 2019： 1997-2002.
72	HOBBS K L， MOTE M L， ABATE M C L， et al. Runtime assurance for safety-critical systems： an introduction to safety filtering approaches for complex control systems ［J］. IEEE Control Systems Magazine， 2023， 43（2）： 28-65.
73	NIGAM V， TALCOTT C. Automating recoverability proofs for cyber-physical systems with runtime assurance architectures ［C］// Proceedings of the 2023 International Symposium on Theoretical Aspects of Software Engineering， LNCS 13931. Cham： Springer， 2023： 1-19.
74	YALCINKAYA B， TORFAH H， DESAI A， et al. Ulgen： a runtime assurance framework for programming safe cyber-physical systems ［J］. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems， 2023， 42（11）： 3679-3692.
75	XU X， ZUO L， HUANG Z. Reinforcement learning algorithms with function approximation： recent advances and applications［J］. Information Sciences， 2014， 261： 1-31.
76	王雪松，王荣荣，程玉虎. 安全强化学习综述［J］. 自动化学报， 2023， 49（9）： 1813-1835.
	WANG X S， WANG R R， CHENG Y H. Safe reinforcement learning： a survey ［J］. Acta Automatic Sinica， 2023， 49（9）： 1813-1835.
77	LAZARUS C， LOPEZ J G， KOCHENDERFER M J. Runtime safety assurance using reinforcement learning ［C］// Proceedings of the AIAA/IEEE 39th Digital Avionics Systems Conference. Piscataway： IEEE， 2020： 1-9.
78	DUNLAP K， MOTE M， DELSING K， et al. Run time assured reinforcement learning for safe satellite docking ［J］. Journal of Aerospace Information Systems， 2023， 20（1）： 25-36.
79	HOBBS K L， HEINER B， BUSSE L， et al. Systems theoretic process analysis of a run time assured neural network control system ［C］// Proceedings of the AIAA SCITECH Forum 2023. Reston， VA： AIAA， 2023： No.2664.
80	HAMILTON N， DUNLAP K， JOHNSON T T， et al. Ablation study of how run time assurance impacts the training and performance of reinforcement learning agents ［C］// Proceedings of the IEEE 9th International Conference on Space Mission Challenges for Information Technology. Piscataway： IEEE， 2023： 45-55.
81	XIAO Y， YANG Z， ZHOU Y， et al. Run-time assured reinforcement learning for safe spacecraft rendezvous with obstacle avoidance ［C］// Proceedings of the 2023 International Symposium on Dependable Software Engineering： Theories， Tools， and Applications， LNCS 14464. Singapore： Springer， 2023： 298-313.

功能	功能实施的设计与操作复杂度	认证方法
功能	功能实施的设计与操作复杂度	标准方法	RTA方法	新兴保证方法
任务规划	复杂度较低	√	—	—
任务规划	复杂度难以确定	—	√	—
避障功能	复杂度较低	√	—	—
避障功能	复杂度难以确定	—	√	—
防撞功能	复杂度较低	√	—	—
	防撞系统行为复杂等原因导致功能实施复杂度适中	√	√	—
	人工智能技术引入等原因导致功能实施复杂度较高	√	√	√

功能	功能实施的设计与操作复杂度	认证方法
功能	功能实施的设计与操作复杂度	标准方法	RTA方法	新兴保证方法
任务规划	复杂度较低	√	—	—
任务规划	复杂度难以确定	—	√	—
避障功能	复杂度较低	√	—	—
避障功能	复杂度难以确定	—	√	—
防撞功能	复杂度较低	√	—	—
	防撞系统行为复杂等原因导致功能实施复杂度适中	√	√	—
	人工智能技术引入等原因导致功能实施复杂度较高	√	√	√

文献来源	具体问题	架构改进与创新	复杂功能	备用功能	备用功能持续时间	备用功能目的	切换逻辑
文献［32］	飞机自主中心线跟踪问题	引入高级统计分析框架SYSAI为其他组件提供重要信息	人工智能组件	备用组件	永久	均有	简单
文献［36］	通用航空自动失控预防问题	利用独立纵向和横向飞行控制分解的方式同时激活安全系统增强安全保证	高优先级的失控预防功能	分别对应多个运行区域的安全功能	临时	均有	复杂
文献［39］	飞机发动机控制问题	将RTA技术架构与基于模型的发动机控制仿真模型进行集成	先进的推力控制器	发动机压力比控制器	临时	恢复	简单
文献［46］	四旋翼无人机自适应控制器失效问题	使用Lyapunov稳定性判据检测控制器故障	自适应控制器	可信线性控制器	永久	替换	简单
文献［51］	无人机外环制导功能安全保障问题	包含不同反馈级别的RTA交互，并针对外环制导反馈级提出更详细的RTA系统设计	高级控制指令输出	安全的控制指令输出	临时	恢复	复杂
文献［59］	航天器状态突变故障情况下的安全关键控制问题	提出一种扩展的RTA滤波器，结合故障检测方案对系统进行自适应故障检测及控制响应	主控制器	控制障碍函数	临时	替换	简单
文献［68］	车辆自动驾驶决策安全问题	基于责任敏感安全模型定义可恢复状态和控制逻辑，为自动驾驶决策安全提供避免机器学习故障模式的方法	注意力生成对抗性模仿学习控制器	基于责任敏感安全模型的安全控制器	临时	恢复	简单
文献［72］	传统基线控制器需要静态验证的问题	存储CPS系统模型的仿真或可达性分析结果，决策时可以直接调用命令	先进控制器	前瞻性基线控制器	临时	均有	简单
文献［75］	CPS系统异步进程的交互复杂性	可以处理RTA技术架构中具有不同语义的并发交互组件	未保证的控制器	有保证的控制器	临时	均有	复杂
文献［81］	如何用RTA技术保证强化学习算法的安全	用RTA监视器和/或决策模块确定强化学习agent的期望动作是否安全并进行过滤	不安全的agent动作	安全的agent动作	永久	替换	复杂

文献来源	具体问题	架构改进与创新	复杂功能	备用功能	备用功能持续时间	备用功能目的	切换逻辑
文献［32］	飞机自主中心线跟踪问题	引入高级统计分析框架SYSAI为其他组件提供重要信息	人工智能组件	备用组件	永久	均有	简单
文献［36］	通用航空自动失控预防问题	利用独立纵向和横向飞行控制分解的方式同时激活安全系统增强安全保证	高优先级的失控预防功能	分别对应多个运行区域的安全功能	临时	均有	复杂
文献［39］	飞机发动机控制问题	将RTA技术架构与基于模型的发动机控制仿真模型进行集成	先进的推力控制器	发动机压力比控制器	临时	恢复	简单
文献［46］	四旋翼无人机自适应控制器失效问题	使用Lyapunov稳定性判据检测控制器故障	自适应控制器	可信线性控制器	永久	替换	简单
文献［51］	无人机外环制导功能安全保障问题	包含不同反馈级别的RTA交互，并针对外环制导反馈级提出更详细的RTA系统设计	高级控制指令输出	安全的控制指令输出	临时	恢复	复杂
文献［59］	航天器状态突变故障情况下的安全关键控制问题	提出一种扩展的RTA滤波器，结合故障检测方案对系统进行自适应故障检测及控制响应	主控制器	控制障碍函数	临时	替换	简单
文献［68］	车辆自动驾驶决策安全问题	基于责任敏感安全模型定义可恢复状态和控制逻辑，为自动驾驶决策安全提供避免机器学习故障模式的方法	注意力生成对抗性模仿学习控制器	基于责任敏感安全模型的安全控制器	临时	恢复	简单
文献［72］	传统基线控制器需要静态验证的问题	存储CPS系统模型的仿真或可达性分析结果，决策时可以直接调用命令	先进控制器	前瞻性基线控制器	临时	均有	简单
文献［75］	CPS系统异步进程的交互复杂性	可以处理RTA技术架构中具有不同语义的并发交互组件	未保证的控制器	有保证的控制器	临时	均有	复杂
文献［81］	如何用RTA技术保证强化学习算法的安全	用RTA监视器和/或决策模块确定强化学习agent的期望动作是否安全并进行过滤	不安全的agent动作	安全的agent动作	永久	替换	复杂

[1]	LU Yu-ming CAI Ye LI Ming. Hierarchical cellular genetic algorithm based on polycentric urban strategy [J]. Journal of Computer Applications, 2011, 31(12): 3309-3311.
[2]	Peng-Jun ZHAO San-Yang LIU Chao LI. Attraction-repulsion mechanism-based particle swarm optimization algorithm [J]. Journal of Computer Applications, 2009, 29(2): 542-544.

Survey of research status and development of runtime assurance technology

运行时保证技术的研究现状与发展综述

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 25

References 81

Related Articles 2

Recommended Articles

Metrics