系统评价——综合评价方法（三）

综合评价（Comprehensive Evaluation，CE），也叫综合评价方法或多指标综合评价方法，是指使用比较系统的、规范的方法对于多个指标、多个单位同时进行评价的方法。它不只是一种方法，而是一个方法系统，是指对多指标进行综合的一系列有效方法的总称。综合评价方法在现实中应用范围很广。综合评价是针对研究的对象，建立一个进行测评的指标体系，利用一定的方法或模型，对搜集的资料进行分析，对被评价的事物作出定量化的总体判断。用于评价的方法一般是主客观结合的，方法的选择需基于实际指标数据情况选定，最为关键的是指标的选取，以及指标权重的设置，这些需要基于广泛的调研和扎实的业务知识，不能说单纯的从数学上解决的。评价方法的主要区别在确定权重的方法上。一类是主观赋权法，多数采取综合咨询评分确定权重，如综合指数法、模糊综合评判法、层次分析法、功效系数法等。另一类是客观赋权，根据各指标间相关关系或各指标值变异程度来确定权数，如主成分分析法、因子分析法、理想解法（也称TOPSIS法）等。目前国内外综合评价方法有数十种之多，其中主要使用的评价方法有主成分分析法、因子分析、TOPSIS、秩和比法、灰色关联法、熵权法、层次分析法、模糊评价法、物元分析法、聚类分析法、价值工程法、神经网络法等。

一、综合评价概述

1.1 基本概念

运用多个指标对多个参评单位进行评价的方法，称为多变量综合评价方法，或简称综合评价方法。其基本思想是将多个指标转化为一个能够反映综合情况的指标来进行评价。如不同国家经济实力，不同地区社会发展水平，小康生活水平达标进程，企业经济效益评价等，都可以应用这种方法。

1.2 综合评价问题的五个要素

综合评价问题的五个要素：

被评价对象：被评价对象就是综合评价问题中所研究的对象，或称为系统。通常情况下，在一个问题被评价对象是属于同一类的，且个数要大于1，不妨假设一个综合评价问题中有n个被评价对象（或系统），分别记为$S_1，S_2，… ,S_n(n>1)$。
评价指标：评价指标是反映被评价对象（系统）的运行（发展）状况的基本要素。通常的问题都是有多项指标构成，每一项指标都是从不同的侧面刻画系统所具有某种特征大小的一个度量。一个评价指标都是从不同的侧面刻画系统所具有的某种特征大小的一个度量。一个综合评价问题的评价指标一般可用一个向量表示，即称为综合评价的指标体系。不妨设系统有$m$个评价指标（属性），分别记为$x_1，x_2，… ,x_m（m > 1)$,即评价指标向量为$x = （x_1，x_2，x_3，… ,x_m)^T$。
权重系数：针对某种评价目的，各评价指标之间的相对重要性是不同的，这种相对重要性的大小勇权重系数来刻画。如果用$W_j$来表示$x_j（j = 1，2，… ,m)$的权重系数，则应有$wj >= 0(j = 1)$,且$w_j$的总和为1。
注意：当被评价对象和评价指标值确定后，综合评价就完全依赖权重系数，即权重系数确定的合理与否，关系到评价结果的可信度，甚至影响到最后决策的正确性。
综合评价模型:通过建立数学模型将多个评价指标综合成为一个整数指标，作为综合评价的依据，得到综合评价结果。
评价者:评价者是直接参与评价的人，某一个人，或一个团体。对于评价目的选择、评价指标确定、评价模型的建立和权重系数确定都与评价者有关。

综合评价的一般步骤与流程：

1.3 常用综合评价方法

综合评价的方法有很多种，每种方法又各有优缺点，这就导致很多人遇到综合评价，不知道该如何选择方法。
下表是一些综合评价方法示例。

研究者也可以基于研究目的选取合适的评价方法，每种方法得到的结果可能并不一致，这也是综合评价法的不足之处。
综合评价法大致可分为四类：

确定权重类
分组类
排序类
人工智能类

二、常见的评价方法——分组类

2.1 模糊综合评价

1965年，美国加利福尼亚大学的控制论专家查德，第一次成功地运用精确的数学方法描述了模糊概念，宣告了模糊数学的诞生。模糊综合评判（FCE）是就是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化一种综合评价方法。分为如下步骤：

1）给出备择的对象集：$X=(x_1,x_2,…,x_t)$
2）找出因素集（或称指标集）：$U=(u_1,u_2,…,u_m)$,表明从评判事物的哪些方面进行评判描述。
3）找出评语集：$V=(v_1,v_2,…,v_n)$, 一般用(优,良,中等,较差,差)。
4）确定评判矩阵：$R=(r_{ij})_{m×n}$
5）确定权数向量：$A=(a_1,a_2,…,a_m)$
6）选择适当的合成算法并计算评判指标。

模糊综合评判方法很好地解决了判断的模糊性和不确定性问题。所得结果包含的信息量丰富，克服了传统数学方法结果单一性的缺陷。模糊综合评判法的缺点:（1）不能解决评价指标间相关造成的评价信息重复问题。（2）各因素权重的确定带有一定的主观性。（3）在某些情况下，隶属函数的确定有一定困难。尤其是多目标评价模型，要对每一目标、每个因确定隶属度函数，过于繁琐，实用性不强。模糊综合评价法在消费者偏好识别、决策中的专家系统、证券投资分析、银行项目贷款对象识别等拥有广泛的应用前景。

2.2 数据包络分析

数据包络分析（DEA）是1978年由美国A.Charnes 和W.W.Coope等人首先提出来的，是以“相对效率”概念为基础，根据多指标投入和多指标产出对相同类型的单位（部门）进行相对有效性或效益评价的一种新的系统分析方法。它是处理多目标决策问题的好方法。

DEA方法应用的一般步骤为：明确评价目的、选择决策单元（DMU）、建立输入输出评价指标体系、收集和整理数据，DEA模型的选择和进行计算、分析评价结果并提出决策建议。

其优点为：在处理多输入－多输出的有效性评价方面，DEA具有绝对优势；在实际应用中，投入指标和产出指标均有不同的量纲，但这并不构成使用DEA时的困难，决策单元的最优效率指标与投入指标值及产出指标值的量纲选取无关；DEA最突出的优点是无须任何权重假设，每一输入输出的权重是由决策单元的实际数据求得的最优权重，因此，它排除了很多主观因素，具有很强的客观性。但是DEA只表明评价单元的相对发展指标，无法表示出实际发展水平。
DEA 方法的应用领域也很广泛, 可以用于多种方案之间的有效性评价、技术进步评估、规模报酬评价及企业效益评价等。

2.3 主成分法

主分析法是由卡尔和皮尔逊最早在1901年提出，只不过当时是应用于非随机变量。1933年霍林将这个概念推广到随机变量。它是一种数学变换方法，把给定的一组相关变量通过线性变换转为另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。

各主因子的线性转换模型为：$F_i=U_i^TX(i=1,2,…..m) $ {$U_i$是协方差阵的第$i$大特征值$λ_i$对应的标准化特征向量。在进行综合评价时，首先以累计贡献率≥85为界限，据此定出主因子个数。再根据公式$Z=∑CR_i*F_i$作出最后评价。
主次分析法是根据评价指标中存在着一定相关性的特点，用较少的指标来代替原来较多的指标，并使这些较少的指标尽可能地反映原来指标的信息，从根本上解决了指标间的信息重叠问题，又大大简化了原指标体系的指标结构。

在主成份分析法中，各综合因子的权重不是人为确定的，而是根据综合因子的贡献率的大小确定的。这就克服了某些评价方法中人为确定权数的缺陷，使得综合评价结果唯一，而且客观合理。但是主成分分析法的计算过程比较繁琐，且对样本量的要求较大；主成分分析法是根据样本指标来进行综合评价的，所以评价的结果跟样本量的规模有关系。主成分分析法假设指标之间的关系都为线性关系。但在实际应用时，若指标之间的关系并非为线性关系，那么就有可能导致评价结果的偏差。

2.4 耦合协调度

耦合协调度模型用于分析事物的协调发展水平。耦合度指两个或两个以上系统之间的相互作用影响，实现协调发展的动态关联关系，可以反映系统之间的相互依赖相互制约程度。协调度指耦合相互作用关系中良性耦合程度的大小，它可体现出协调状况的好坏。

耦合协调度模型是一种新型的调度模型，它具有较强的动态特性，可以在复杂的、不确定的生产流程中有效地控制作业的执行情况。耦合协调度模型也称为“耦合调度模型”或“可变耦合调度模型”，它包含如下四个基本要素：
1）作业调度：根据时间、资源和约束条件进行调度，使得工作流程能够有效高效地执行。
2）系统配置：定义系统的结构、组件、传感器和控制器等，以便实现调度算法的实现。
3）协调：根据复杂的系统状态，采用适当的协调方式，使得系统能够有效地处理复杂的环境变化。
4）预测：对未来的状态进行预测，以优化系统状态并实现最优化的调度结果。

耦合协调度模型的主要目标是尽可能实现最优化的性能，使得调度算法能够充分利用资源，降低耗时，加快作业执行速度，提高生产效率。耦合协调度模型的典型应用在于大型生产系统，如航空、汽车制造等。在这些系统中，需要同时考虑多个因素，如时间、资源、约束条件等，以实现最优化的调度结果。耦合协调度模型可以有效地满足上述需求，并且可以根据实际的环境条件动态调整调度参数，从而实现调度的有效性。耦合协调度模型是一种具有较强动态特性的调度模型，它的出现极大地提高了工业生产的效率，为大型生产系统的可靠运行提供了可靠的保障。

三、常见的评价方法——排序类

3.1 优劣解距离法（TOPSIS）

TOPSIS（逼近于理想解）是由Hwang 和Yoon于1981年首次提出的，是有限方案多目标决策分析中常用的一种科学方法。

基本模型为：$C_i=D_i^+/[D_i^++D_i^-]$，其中$D_i^-$为评价方案到最劣方案间的距离，$D_i^+$为评价方案到最优方案间的距离，$C_i$为样本点到最优样本点的相对接近度}。$C_i$接近于1时评价方案越接近于最优方案。它的基本思路是：在基于归一化后的原始数据矩阵中，确定出理想中的最佳方案和最差方案，然后分别计算出评价对象与最优方案和最差方案之间的距离，从而获得该方案与最优方案的接近程度。

TOPSIS法对数据分布及样本量、指标多少无严格控制，数学计算亦不复杂，其应用范围广，具有直观的几何意义；它对原始数据的利用比较充分，信息损失少。但也存在不足：权重值通常是主观值，具有一定的随意性；当评判的环境及自身条件发生改变时，有可能使“最优点”与“最差点”发生变化，导致评判结果不具有唯一性；该方法同样不能解决评价指标间相关造成的评价信息重复的问题。TOPSIS法适用于工业经济效益综合评价，由于上述的优点，它即适用于少样本资料，也适用于多样本的大系统，评价对象既可以是空间上的，也可以是时间上的。尤其适用于数值型的效益性指标的分析。

3.2 灰色综合评价法

灰色系统理论主要是利用已知信息来确定系统的未知信息，使系统由“灰”变“白”。其最大特点是对样本量没有严格的要求，不要求服从任何分布。
灰色关联度便是灰色系统理论应用的主要方面之一。它是针对少数据且不明确的情况下，利用既有数据所潜在之讯息来白化处理，并进行预测或决策的方法。

灰色关联度分析的基本原理：灰色关联度分析认为若干个统计数列所构成的各条曲线几何形状越接近，即各条曲线越平行，则它们的变化趋势越接近，其关联度就越大。因此，可利用各方案与最优方案之间关联度的大小对评价对象进行比较、排序。该方法首先是求各个方案与由最佳指标组成的理想方案的关联系数矩阵，由关联系数矩阵得到关联度，再按关联度的大小进行排序、分析，得出结论。

灰色关联度分析的优点是：计算简单，通俗易懂，数据不用进行归一化处理;无需大量样本，也不需经典的分布规律，只要具有代表性少量样本即可。缺点：现在常用的灰色关联度量化模型所求出的关联度总为正值，不能全面反映事物之间的关系;该方法不能解决评价指标间相关造成的评价信息重复问题，因而指标的选择对评判结果影响很大；灰色关联系数的综合评价具有“相对评价”的全部缺点，另外还需要确定“分辩率”，而它的选择没有一个合理的标准。灰色系统理论应用领域包括企业的经济效益评价、农业发展水平评估、国防竞争力测算、工程领域等。

四、常见的评价方法——人工智能类

人工神经网络评价方法（ANN）是常见的职能类学习算法。ANN是模拟人脑的神经网络工作原理，建立能够“学习”的模型，并能将经验性知识积累和充分利用，从而使求出的最佳解与实际值之间的误差最小化。在综合评价领域研究较多是反向传播（BP）神经网络，它是一种多层次反馈型网络，所使用的是有“导师”的学习算法。基于人工神经网络的综合评价方法的步骤如下：

1）确定评价指标集，指标个数为BP网络中输入节点的个数。
2) 确定BP网络的层数，一般采用具有一个输入层，一个隐含层和一个输出层的三层网络模型结构。
3) 明确评价结果，输出层的节点数为1。
4) 对指标值进行标准化处理。
5) 用随机数（一般为0~1之间的数）初试化网络节点的权值与网络阈值。
6) 将标准化以后的指标样本值输入网络，并给出相应的期望输出。
7) 正向传播，计算各层节点的输出。
8) 计算各层节点的误差，反向传播，修正权重。
9) 计算误差。当误差小于给定的拟合误差，网络训练结束，否则转到7），继续训练,训练后的网络权重就可以用于正式的评价。

基于BP人工神经网络的综合评价方法具有运算速度快、问题求解效率高、自学习能力强、容错能力强等优点，较好地模拟了评价专家进行综合评价的过程，因而具有广阔的应用前景, 但其精度不高，需要大量的熟练样本等。基于BP人工神经网络方法应用领域不断扩大，涉及银行贷款项目、股票价格的评估、城市发展综合水平的评价等。