罗思民， 彭海媛， 吴宏伟
(福建省科学技术信息研究所， 福州 350003)
科技重大专项是科技计划体系的重要组成部分，通过加强科技资源整合，可以集中力量解决经济社会发展中的关键共性技术问题，促进科技成果的转化和产业化。为了及时掌握专项实施进展情况需进行中期绩效评价，需客观评价项目中期阶段的执行情况和取得的经济与社会效益，促进项目有效执行。目前中期绩效评估以同行专家评议和现场考察等定性评估为主，无法确定项目的技术状态和潜在风险，技术就绪度(technology readiness level，TRL)评价方法引入中期评估增加了量化技术指标，直观展现专项实施进展和目标完成情况，发现项目承担过程中的薄弱环节和关键技术成熟情况，同时与其他评议方法相辅相成，更加准确反映专项实施的进展和成效，为后续管理决策提供有效支撑。本文在研究基础领域技术就绪度评价标准和细则的基础上，提出专项中期绩效TRL评价可操作方案，提高了TRL标准的适用性，为构建省级科技重大专项的简化、规范和智能化绩效评估系统平台打下基础。
技术成熟度是指技术的发展状态，反映了技术对于预期目标的满足程度。技术成熟度评价是基于技术发展客观规律，对指定技术的成熟程度进行定量评价的科学方法。技术成熟度的评价有多种方法，包括TIRZ技术预测法、技术生命周期法、专利及文献计量法和指标分析法等。技术就绪度是一种比较系统的技术成熟度评价标准，将技术或者产品从原理概念、技术可行、技术可靠到技术完备的研发流程划分为 9 个等级，反映了从原理提出、技术验证、模拟运行到实际环境运行的各阶段，通过一定的评判标准来衡量一项技术达到某种技术状态等级(表1)。
表1 技术就绪度等级
技术就绪度的概念由美国国家航空航天局 (NASA) 首先提出，目的是考察新技术是否能满足项目需求，20 世纪 70 年代中期，NASA 引入技术就绪水平，1995年NASA正式发布TRL 技术白皮书，发布了现在广泛应用的9级TRL标准，涵盖了技术从发现基本原理到装备成功执行任务的全过程。目前TRL在各国得到大范围推广和应用，主要国家和机构也推出了适用于自身的标准规范和政策管理文件[1]，美国审计署(GAO)的技术就绪度评估指南(2020年)介绍了一个5个步骤的流程，为规划、评估和报告提供了基本框架[2]。
TRL的应用从最初航天和军工装备扩展到硬件、软件、生物医学和制造等领域。出现了制造就绪度(MRL)、集成就绪度、能力就绪等级、商业就绪水平(CRL)和市场就绪度(market readiness level)等多种评价标准。国内在军工装备和新材料等专业领域推出了TRL标准，同时在医药和医疗器械、农业、环保技术等领域也有相关应用和研究。
国内最初的技术就绪度主要应用在军工科研单位及管理部门，并推广应用于科研项目管理中。2009年，《科学技术研究项目评价通则》的发布推动了TRL评价方法在科技项目评价和管理中的应用[3]。2012 年，陈华雄等建议在科技计划项目管理中应用TRL评价，提出可应用到立项论证、中期检查和结题验收等项目管理环节中[4]。周小林等介绍了TRL方法在国家重大科学仪器设备开发专项中期评估中的应用，并对其内涵及实施细则进行了本土化设计[5]。李达等通过技术成熟度评价国家科技重大专项关键核心技术的基线状态、当前状态和预期状态的技术成熟度级别，了解专项技术攻关进展情况和存在的差距[6]。2017年，国务院印发的《国家技术转移体系建设方案》提出促进产学研协同技术转移，推广技术成熟度评价，促进技术成果规模化应用[7]。近年来国家科技部在重点专项年度项目申报指南中提出项目管理改革举措，提出“十四五”重点研发计划探索实行技术就绪度管理，申报指南中将明确技术就绪度要求，并在后续的评审立项、考核评估中纳入技术就绪度指标。
TRL评价方法也在地方科技计划项目管理中得到应用。2016年，广东省科技厅引进技术就绪度评估方法并委托国家科技评估中心、广东省技术经济研究发展中心及工业和信息化部电子第五研究所等专业机构具体组织实施，对省级重大科技专项项目进行中期评估，为掌握项目实施进展、经费后续拨付等管理决策提供依据，同时广东省也将TRL方法推广到应用型科技研发项目和基础研究项目评价[8-10]。广东省 2018年起将技术就绪度评价方法嵌入重点领域研发计划全过程管理之中，明确提出每个项目都需要在项目立项、中期评估和结题验收时明确定义技术就绪度水平。对申报项目进行技术就绪度等专业化评估，重点领域研发计划主要支持技术就绪度4～6级的项目，项目完成时技术就绪度一般应达到7～9级，原则上项目完成后技术就绪度应有3级以上提高。2021年，山东省科技厅发布《山东省重点研发计划(重大科技创新工程)项目技术成熟度评价实施细则(试行)》，提出探索推进项目技术成熟度评价，在立项评价、节点评价、验收评价和跟踪评价等4个环节进行技术成熟度评价，技术成熟度评价结果作为项目立项、过程管理以及绩效评价等的重要依据[11]。黑龙江省也针对重点科技研发计划和重大科技成果转化项目提出了技术成熟度要求。
科技重大专项中期绩效评估中的TRL评价流程包括确定项目的关键技术元素并进行技术领域归类、对每个关键技术元素进行TRL初评和细则评价、评价项目的TRL等级。具体流程如图1所示。
图1 中期绩效评估中的TRL评价流程
3.1 基础技术领域分类
传统的TRL评价主要包括软件和硬件等技术领域。由于不同专业领域的产品开发流程、环境和成果各不相同，使用原有的技术就绪度评价标准难以满足各领域、各类别项目的评价要求，需要重新定义评价标准和细则。通过确定若干个基础技术领域的评价标准，并分别制定评价标准细则，大部分的关键技术可以归类到某个基础技术领域，大幅简化不同领域需要重新制定TRL评价标准的工作。
广东省科技重大专项TRL评价将评价对象分为一般硬件产品、软件产品、干细胞与组织工程、生物医疗3D打印技术及产品、生物领域产品及新药研发、方法研究和平台建设7类[9]。福建省发布“省科技重大专项专题申报选题表”，科技重大专项的技术领域主要集中在新材料、智能制造、集成电路、农业与海洋技术、医疗新技术和环保技术等方面，涉及十几个技术领域。通过重大专项选题专业领域分析，提出了硬件、软件、新材料、制造工艺、药物、医疗器械、育种和方法类8个技术领域的TRL评价标准和细则，基本能够满足所有专项的关键技术领域归类要求。其中软件领域包括应用软件、云计算、大数据、人工智能、移动互联网和物联网等领域相关软件系统、工业领域配套软件，以及其他与软件相关的技术研究。硬件包括大部分工业领域产品，如电子信息、集成电路、5G通信、新能源汽车、高端装备、新型显示等领域的硬件产品研发，以及与硬件相关的技术研究。新材料包括新出现的具有优异性能和特殊功能的材料,及传统材料改进后性能明显提高或产生新功能的材料，如先进金属、陶瓷、半导体、有机高分子和复合材料等。药物研发指生物领域的生物制品、创新药物、现代中药等方向的技术和产品，也可包括动物用新药。医疗器械领域主要指先进医疗器械，包括医学影像、医用电子、临床检验、微创介入、放射治疗、激光治疗、手术机器人、分子生物医学诊断等高端医疗器械研发。育种技术包括农林牧渔业的农作物、林木、畜禽和水产品等动植物育种。制造工艺指工业产品相关的制造设备、生产工艺和流程等。方法类技术包括检测技术、评估方法、重大疾病防治技术等，以及项目技术方案如环境保护治理与生态修复技术、资源综合与循环利用技术的研究及其应用。
3.2 确定关键技术元素
关键技术元素(critical technical elements，CTE)是指完成项目规定的性能要求和任务所必需依赖的新颖技术，筛选通常基于工作分解结构(WBS)方法，可以通过技术分解、工作分解、产品分解或功能分解的方式进行分析。科技重大专项中期绩效评估中的CTE分解一般不宜过细，以形成相对独立的最终成果为原则，同时具备重要性和新颖性两大要求。重要性指该技术对系统的性能、功能、风险有重大影响，创新性指该关键技术是否具有新颖性或应用于新的领域，通过WBS的重要性和创新型评估表，经审查后形成最终的CTE清单[12]。
3.3 关键技术元素评价
3.3.1 初步判断TRL等级
TRL等级的定义就是完成该等级技术载体和通过对应环境的验证。对于不同领域的评价对象，技术载体和验证环境都不相同，见表2。因此TRL等级初步判断可以关键技术元素是否完成该等级的技术载体和验证环境确定。基于技术载体-验证环境对照表，分析项目承担单位自评报告中期完成情况，初步判断CTE的TRL等级。
表2 主要基础领域TRL等级技术载体
3.3.2 细则评价
基于初评的TRL等级，进行对应细则清单的判定。针对该等级每条细则判断其符合情况，符合状态分为完全符合、基本符合和不符合3个级别，对应的得分百分比分别为100%、66%和0，再根据权重计算该等级得分。得分达80分以上可以认为达到该TRL等级标准。若达不到该等级，进行退一个等级的细则评判，直到符合该等级评分要求。
3.4 项目的技术就绪度
完成每个关键技术元素的就绪度自评价后，进行项目整体的技术就绪水平评定。可采用所有关键技术元素的技术就绪等级的加权平均值方法，得到项目的技术就绪指数，或者采用木桶原理，即关键技术元素中最小等级就是该项目的技术就绪等级。进一步分析项目各关键技术元素的当前状态和存在问题，形成项目TRL评价报告。
省级科技重大专项中期绩效评估是指专题执行中期对项目研发任务的完成、经费管理使用和组织管理等情况开展的核查、评价、监督等管理活动。客观评价项目中期阶段的执行情况和取得的经济与社会效益，促进项目有效执行。分析各专项原有目标和技术路线，发现存在的问题，为调整专项资助方向和完善组织管理工作提供决策参考。中期评估内容包括评估工作基本情况和研发任务完成情况、经费落实及使用和组织管理情况等，技术部分包括研究开发内容和技术方案、 技术经济指标和阶段成果完成情况。中期绩效评估针对科技重大专项实施过程关键节点实行“里程碑”式管理，引入TRL评价的指标体系，完善原有现场中期检查与会议汇报中期检查相结合的方式。
中期绩效评估工作由主管部门、评估承办单位(第三方机构)、专家组和项目承担单位共同配合完成。其中的TRL评价主要评估承办单位负责，专家组和项目承担单位配合，这也符合国家优化重点研发计划项目管理、减轻科研人员负担的精神。具体流程如图2所示。
图2 引入TRL的中期绩效评估流程
4.1 编制项目评估考核指标
中期绩效评估设置了两个评估指标体系，分别为任务完成情况评估指标体系(表3)和经费管理情况评估指标体系，任务完成指标包括项目实施情况、技术指标完成情况、技术就绪度、项目阶段性成果、本阶段项目条件保障、技术资料完备等方面；
经费管理指标包括经费到位和拨付情况、会计核算和经费使用情况、预算执行与调整情况。除上述一级指标外可设置若干个二级指标。根据项目特点、任务书中期任务要求和实际需求，可以对上述指标(权重)进行调整。其中任务完成情况评估指标体系权重一般情况下占比80%，经费管理使用情况评估指标体系权重一般情况下占比20%。
表3 中期绩效评估任务完成情况指标及指标权重
4.2 项目承担单位自查
项目承担单位提交科技重大专项专题中期执行情况与经费开支报告和科技重大专项专题执行情况总结，对中期阶段完成指标需提供充分的佐证材料。
4.3 案卷分析与TRL初评
评估承办单位汇总整理评估考核材料和专家意见表，编制评估要求，供评估会议汇报或现场评估使用。分析项目承担单位项目任务书和提交的自评价材料初步评估项目实施情况。评估承办单位通过分析项目任务书的“研发内容与主要创新点”进行关键技术元素识别；
基于自评价材料分析中期完成情况，对照基础技术领域类别完成CTE的TRL等级初评；
依据项目特点调整CTE对应领域TRL评价细则，对照提交的中期项目实施情况报告和佐证材料进行细则清单初步评判，并与项目承担单位进行确认。
4.4 现场评估与确定TRL等级
现场评估工作通过专家组进行实地调研，核查项目承担单位提交的自评价材料的真实性。评估专家组通过现场评估会议在听取汇报、现场考察、审查相关材料、质询基础上，独立打分填写中期绩效评估指标，依据项目CTE的初评等级、佐证材料和对应领域细则确定TRL等级，经研究讨论形成最终项目技术就绪度和总评意见。项目按期完成任务书本阶段约定的目标和任务，并合规合理管理和使用项目经费，评估总分不少于85分为中期绩效评估通过。
4.5 编制评估报告
编制中期绩效评估工作报告，并完成专题项目评估报告的提交、档案归档工作。对评估过程中提出存在问题和整改意见，反馈项目承担单位并督促落实整改。
基于国内外科技项目技术就绪度评价的理论研究和实践成果，构建8类基础技术领域TRL评价标准和细则，使得大部分专项的关键技术元素可以归属到上述基础技术领域，大幅简化不同领域TRL评价标准制定工作。以第三方机构为主的TRL初评和细则确认两阶段评价方案减轻项目承担单位的工作量。通过2021年度的福建省科技重大专项中期绩效评估实例分析确认TRL方案的可操作性和有效性，对于加强科技项目过程管理、强化目标导向、提高项目管理水平具有重要意义。
在科技计划项目的立项、中期、验收评价全过程引入技术就绪度是必然趋势。目前国内多省已经对重大专项在立项申报时要求进行TRL评价，大量的TRL评价需要制定统一规范的流程，探索应用软件评价工具以提高工作效率，持续完善和优化基础专业领域的TRL评价标准和细则适应现代科技的高速发展，加强TRL评价结果的应用，特别是验收TRL为高等级项目的跟踪评估，促进项目成果向现实生产力转化。
猜你喜欢 关键技术专项领域 牛繁育与健康养殖关键技术今日畜牧兽医(2022年10期)2022-12-23电子战领域的争锋军事文摘(2022年17期)2022-09-24小麦春季化控要掌握关键技术今日农业(2021年8期)2021-11-28棉花追肥关键技术今日农业(2021年13期)2021-11-26将现代科技应用于Hi-Fi领域 Perlisten S7tse家庭影院技术(2021年8期)2021-11-02老苹果园更新改造的关键技术落叶果树(2021年6期)2021-02-12“七选五”阅读专项训练新世纪智能(英语备考)(2020年11期)2021-01-042020 IT领域大事记计算机世界(2020年50期)2020-01-15领域·对峙青年生活(2019年23期)2019-09-10“专项巡视”,打虎上山再出发浙江人大(2014年4期)2014-03-20