二、图书馆管理与建设

区域数字图书馆绩效评估框架研究

——以ZADL为例

钱佳平 袁辉 范全青

[摘要]以省域数字图书馆联盟运行管理与风险控制为目的，基于联合体服务体系产出状况的全面揭示，以投资价值（Value on Investment, VOI）为运行效益的表征，构建了省域数字图书馆绩效评估框架，并基于浙江省高校数字图书馆（ZADL）的运行实践，提出了具体的指标及其测度方法。指出对联合体服务体系运行状况与产出效益的多维度揭示是区域性数字图书馆运行监测管理的重要基础。

[关键词]区域性数字图书馆 投资价值 多目标综合评价 条件价值评估法

作为数字化网络化环境下资源共建共享的组织实施机构，我国建成的各类区域性信息资源共享系统，大多已经发展成为区域数字图书馆联合体（联盟），其核心职能是组织资源技术共建共享，为区域内目标用户提供公共资源发现与获取利用服务平台，同时履行数字图书馆业务培训组织者、成员馆交流与协作推动者的职能[1]。然而众所周知，区域数字图书馆联盟的持续运行和效益发挥，与单体图书馆相比，要面临更多更大的风险和挑战[3]。由于联盟建设与服务高度依赖于成员机构的共同参与和协作，而成员馆参与的积极性及持久动力取决于联盟运行对自身的贡献程度；政府财政是支持联盟持续运行发展的命脉，其支持力度则取决于联盟运行对主管部门决策目标的实现程度，因而运行中的区域数字图书馆联盟普遍面临如何向主管部门（投资者）和成员机构有效证明产出效益与自身价值的压力。而有调查研究表明，我国曾有多家图书馆表示对共建共享系统的“投入大于收益”[4]，显示出联盟运行管理面临的挑战及其严峻性。关于数字图书馆联盟绩效评估的研究，因其对数字图书馆联盟管理与风险防范的关键性作用而成为研究的热点。以CNKI平台为例，收录主题为信息资源共享系统或图书馆联盟绩效评估的文献已达百篇以上，梳理分析相关研究可以发现，除了述评国外相关研究进展与成果的文献，本土化研究的内容几乎已涵盖数字图书馆联盟绩效评估的所有核心问题，包括绩效评估的要素及其与运行机制的关系探讨、评估模型与指标体系的构建，以及评估实施方法流程和实证研究，并产生了一批重要研究成果。其中，肖希明教授构建了用户导向型信息资源共享系统绩效评估体系[5]；刘磊教授基于用户需求满足开展了系统性的信息资源共享评估理论与实证研究[7]；此外，李卓卓[8]、常青、侯家麟[10]、陈晋[11]、伍清霞[12]等学者相继发表了各自理论与实证研究的成果，提出了多种图书馆联盟或共享系统绩效评估模型和各具特色的评估指标体系。大量的相关研究为数字图书馆联盟绩效评估与管理的实践者提供了从指导思想、支撑理论、评估模型、指标体系，到评估实施流程的指南与工具。然而，对于联盟运作者、主管部门（投资者）和成员机构共同关注的，尤其是前者与相关各方进行有效沟通所需要的，能清楚而有说服力地揭示联盟运行对成员馆和最终用户的利用价值与贡献的数据，相关研究似乎并没能提供可操作的获取方案。或者说，运用已有绩效评估方案获得的结果数据与联盟利益相关者的核心关注点还没有足够的契合度。鉴于此，本文以浙江省高校数字图书馆（ZADL）为例，采用源自组织管理研究领域的投资价值（Value on Investment, VOI）概念，以VOI绩效表征方法为框架，基于ZADL核心服务体系的作用范围，以成员机构、最终用户以及社会的不同角度考察项目的产出效益，构建了本地化的高校数字图书馆联盟绩效评估框架，以期抛砖引玉，为同行学者专家全方位揭示数字图书馆运行效益的研究提供新的思路。

1 VOI概念及其在相关领域的应用

1.1 VOI概念的由来

人们常常用投资回报率（Return on Investment, ROI）来衡量一个组织机构的运行效益。由于ROI仅适用于揭示一个机构可以量化的经济效益，而处在新经济时代，一个机构的无形资产，包括知识、流程、组织架构、合作能力，对机构的绩效显然具有重要贡献与影响，如果仅关注和测评可量化的投资回报率，就容易导致一个机构忽略或失去通过“软”创新获得价值增长的机会。基于此，美国高德纳（又名顾能公司）前副总裁和著名分析师凯茜·哈里斯（Kathy Harris）等人于2001年提出了投资价值（Value on Investment, VOI）概念，提倡应以VOI而不是ROI来定义或评估一个机构项目或活动的效益[13]。辨析Gartner对于两个概念的具体描述，ROI测评的是一个机构或项目运作获得的有形或可量化的收益，VOI则包含但不仅限于ROI测评，它还包括并侧重对其无形效益或软性收益（如员工工作激情、主动性和团队合作意识提升或盲目性减少等行为变化）的测评。显然，基于VOI视角，经营者和参与者都会更加深刻、全面地发现实施一个项目或参加一项活动的价值。

1.2 VOI概念在相关领域的渗透与应用

尽管经过文献调研，到目前为止并未见有关应用VOI的测评方法体系和指导框架类的文献发布，却由此引发了不同领域的研究者对特定项目VOI的关注和探索发现的兴趣。在产业界，如一个商业协会组织者意识到可以依据VOI概念框架，引导成员通过检视参加协会所获得的信息、活动方案、有益影响、在业界的影响力、同行交互、指导、深刻见解等软性收益，来自我发现和定义参会的真正价值[14]。在高等教育研究领域，VOI应用已有明显进展，以至有研究者提出，以往致力于发现或仅仅关注高等教育乃至培训项目投资回报的做法是不恰当乃至错误的[15]。文献[16][17]表明，已有不同研究者分别应用VOI概念实施了教学技术和移动网络学习环境的投资价值评估，通过确认并综合经济层面的投资回报和受众群体的获益（价值）反馈，得出的结论是：与单纯从经济角度测评投资回报率相比，应用投资价值概念的评估可以更为清晰地勾画出项目的成本效益图。尤其值得关注的是，近年来国外高校图书馆界也已经在图书馆价值评估研究中引述VOI投资价值概念。在美国ARL在研项目Lib-Value研究进展报告[18]中，明确表述图书馆价值由可测算的经济价值（Financial value）和无形或隐性的影响力价值（Impact value）两部分构成。报告还表明，项目动员和鼓励大学图书馆员，围绕图书馆提供的资源服务对于学校教学、研究与社会服务贡献与价值的揭示，开展不同视角的研究与探索，旨在清晰而全方位地揭示大学图书馆服务对于所属学校的投资价值。显然，作为公共服务机构的图书馆及其联盟，无形的社会价值无疑是其效益产出的重要组成部分，科学合理地揭示这部分价值（尤其是由受众根据自身获益的感知来认定其贡献或价值），对图书馆和图书馆联盟意义重大。

2 ZADL及其绩效评估需要

2.1 ZADL项目简介

ZADL是浙江省教育厅直接领导，由省财政拨款建设的全省高校数字图书馆的简称。根据项目建设方案，ZADL的总体建设目标是要联合全省高校图书馆，以教科网CERNET为依托，以CALIS和CALIS华东南地区文献信息中心为后盾，基本建成浙江省研究级学科文献保障体系的基础框架，建成全省高校共享的国内一流的数字化文献信息资源库；建立覆盖全省高校的数字图书馆服务体系；培养一支数字图书馆管理与服务的优秀人才队伍。项目于2008年立项建设，2010年底开通试运行，次年底通过各子项目的专家验收评估，并正式投入运行。作为全省高校数字图书馆的联合体，ZADL成员馆由浙江省内28所本科院校和近60所高等职业技术学院共计80余所高校组成，项目服务中心为实质性管理机构。建成运行的ZADL核心服务体系由引进数字资源联合采购、特色资源数字化与利用服务、一站式资源发现与获取服务（将全省高校联合目录、统一检索、全文资源链接与区域内云文献传递服务无缝集成）和面向全体成员单位的人员培训构成[19]。

2.2 数字图书馆联盟的利益相关者及其评估诉求

如前所述，作为浙江省域高校数字图书馆联合体（联盟），ZADL的核心职能是组织成员单位实施数字图书馆资源服务体系的协同建设与共享，基于成员单位各类优势资源的整合和共享机制的确立施行，建立面向最终用户（省内高校师生）的数字图书馆资源服务共享平台，为其提供超越单体图书馆的资源发现与利用服务；通过组织一系列面向成员馆的数字图书馆业务培训与交流，以及面向最终用户的数字图书馆资源服务营销推广活动，在推进成员馆提升服务能力的同时，引导或促进最终用户对ZADL资源服务的认知和利用。因此，浙江省所有高校及师生、高校图书馆，以及政府主管部门，都可以说是ZADL的利益相关者。其中，ZADL目标用户就由作为机构用户的成员馆和作为最终用户的高校师生群体构成。作为政府投资项目的目标用户，ZADL资源服务体系就是为满足成员馆和高校师生需求建设和运行的，理应被赋予评价联合体履行职能及其服务价值的权利；而政府决策主管部门是目前联合体建设与运维经费的主要提供者，尤其是在政府日益关注财政资金使用效益的情形下，势必要关注前期投入的资金是否有预期或足够的效益产出，核心是ZADL资源服务体系运行是否对区域内高等教育发展起到了应有的支撑或助推作用，获得ZADL运行产出效益的可靠数据，为其下一步规划和预算提供决策依据。事实上，主管部门已明确要求ZADL服务中心组织项目绩效评估，并提供可信的评估结果。显然，投资价值是相关各方支持ZADL持续运行的共同诉求，评估揭示ZADL作为区域数字图书馆联合体运行的投入产出效益与价值，对于联合体运行与发展具有多重意义：

首先，不可否认，并非所有相关群体都会关注到ZADL的存在及其服务体系的运行，使相关群体认同并参与ZADL工作更不是一件容易的事。对最终用户群体而言，只有当数字图书馆联合体提供了比学校单体图书馆更多更好的资源服务，才值得或吸引其去使用，联合体因此才具备最终用户利用价值；同样，作为成员馆，区域内高校图书馆对ZADL的关注度和认同度，从根本上取决于ZADL服务体系运行对扩充其可用资源和提升自身服务能力的帮助与贡献程度，并以此决定相应人力与物力的投入力度。对数字图书馆联盟实施VOI评估，基于联盟资源服务的展示，面向成员机构和最终用户征询其获益与否、获益方式与获益程度的测评活动，实际上是与受众就联盟的性质、目标、任务及其利用价值进行全面的沟通，并给予其表达意见的机会和评价的权利，客观上还有助于唤起其对联盟利用价值的关注和认知，从而有效调动成员机构参与联盟建设与协同服务的积极性，促进目标用户对联盟资源服务的利用。

其次，VOI评估获得的是来自受众群体的评价确认联盟服务价值的数据，只要评估实施过程合乎规范，相比专家评估，其评估结果更易得到各方认同。一旦评估结果数据证实数字图书馆联合体具有良好的运行价值，并能提供合理解释，无疑就为联盟获取后续经费预算提供了极为有利的条件。

同样重要的是，测评结果中成员机构和最终用户对于联盟服务的评价，尤其是关于自身获益状况的中肯评价，无论是正面还是负面评价抑或是未满足需求的表达，都将有助于实施者和管理者洞悉受众群体所关注的服务内涵、品质及其价值观，明确联盟运行中的问题与风险所在，并据此调整联盟工作思路和目标定位，发展和增进受众群体所关注的重要服务功能，最终促成联盟资源服务价值链全过程的最佳组合。因此，即使评估结果不尽理想，VOI评估也不失为联盟运行诊断管理的有效途径。

3 基于VOI的ZADL绩效评估体系架构

如前所述，联盟的作用对象通过联盟获得的收益往往是超越了经济层面的，如对成员馆而言，从资源保障、合作水平、服务能力，到员工成长等不同方面都可以获益于成功的联盟运作，而VOI概念实质上是对ROI概念的延伸与拓展，依据VOI概念，我们除了评估图书馆联盟资源服务在经济学意义上的投资回报率，更要考察其资源服务对于受众的帮助、贡献或利用价值。因此，我们尝试将VOI概念应用于区域数字图书馆联盟效益评估，试图从成员馆、最终用户以及社会的不同视角，构建多维度揭示联盟产出效益的评估框架，包括发现和揭示联盟对于不同对象群体常常被忽略和未被预期的收益。

3.1 评估客体对象

评估是评估主体根据评估模型对评估客体进行测试与衡量的过程。基于VOI的ZADL绩效评估就是要考察ZADL作为区域高校数字图书馆联盟运行的功用与产出价值。显然，ZADL运行的产出效益是评估的客体。由于ZADL运行效益主要体现在它对区域内成员馆和作为最终用户的高校师生的服务价值，及其作为社会信息与文化环境重要组成的存在价值，因此，在评估操作层面上，评估客体对象应该是ZADL核心服务体系运行的产出效益。剖析ZADL核心服务体系，其引进数字资源联合采购，旨在帮助成员馆有效降低采购成本，同时减少重复工作，提高资源采访的质量与效率；项目组织实施的特色资源数字化建设属于区域社会文化建设范畴，服务于区域文化发展与繁荣；通过组织整合全省高校图书馆资源和一站式揭示，资源共享服务平台为最终用户提供了便捷有效的全省可用资源发现与获取利用服务；成为联盟规定动作的数字图书馆业务培训和交流，目的是帮助成员馆提升人员业务素养与技能，推进成员馆间的合作与协作。因此，项目核心服务体系对各受众群体的实际贡献是考察数字图书馆联盟产出成效最根本的落脚点，而且应以用户的体验感知和获益为考察点。

3.2 评价内容与层次

我们认为，联盟运行的效益和价值高低主要取决于联盟资源服务在目标作用对象中的利用或渗透程度、利用的效果，以及产生的影响（主要体现在受众群体对数图联盟资源服务的认知度和服务体验的满意度）。为便于产出效益或价值的展现和测评，数字图书馆联合体核心服务体系按功能划分为资源建设、资源发现与获取、业务培训与交流三个模块（见图1），并将各模块再分为服务提供（利用或渗透）、服务效能和服务影响力三个层面，在此基础上构建效益评估指标体系。其中，服务提供层面重点考察联合体提供的核心服务在区域内成员馆和最终用户群体中的渗透与利用状况；服务效能层面主要关注项目运行所引发的成员馆机构资源、服务以及人员素养技能全方位的提升与发展状况；服务的影响则主要通过受众群体对相关资源服务的认知度和基于利用体验的满意度来确认。同时我们认为，技术与管理虽是数字图书馆建设与运行不可或缺的部分，但其水平和运行状况最终会反映到成效，并在上述三个层面得到体现，因此不必也不宜直接面向技术和管理设置评价指标。

3.3 评估主体构成

评估主体是基于一定目的主动实施评估行为的实体。本文所述的评估体系是管理评估和用户评估的综合体，且重在用户评估，即评估主体主要由客体的作用对象或受众构成。这里所指的用户是作为最终用户的师生个体，也包括作为联盟服务对象的成员机构及员工。基于数字图书馆联盟服务的输出与利用，以用户的感知衡量其服务的效能与价值。因此，资源建设成效的评估主体，主要由两个群体构成：其中引进资源联合采购的成效，评估主体由参加联合采购的成员馆组成；对特色资源建设（数字化保存）成效及社会价值的考察评估，评估主体则由主管部门认定的专家组成。同理，考察ZADL业务培训对促进成员馆服务提升和员工成长的成效，评价主体就应该是参加培训的成员馆和接受培训的员工组成。而联盟资源发现与获取一站式服务平台的评价主体则是作为最终用户的区域内高校师生用户，基于利用体验，他们能对平台的利用效果与利用价值做出最中肯的评价。

3.4 评估指标体系

为使指标体系能够全面、准确和有效地检测ZADL服务体系运行效益，项目组在构建评估指标体系中，制订了四项设计准则：（1）指标全覆盖。即评价指标体系需要涵盖构成ZADL核心服务体系的主要服务项目，包括引进资源联合采购、特色资源数字化保存与利用、ZADL资源服务共享平台（含联合目录、统一检索、全文链接、云文献传递和联合咨询服务），以及培训与交流，以便实施项目投入产出效益的全面考察；（2）定量、定性测评的有机结合与转换。所构建的指标体系中，除了服务提供层面主要采用定量指标考察ZADL核心服务在成员机构与最终用户群体中的渗透与利用情况，在服务效能和服务影响力两个层面，设置了大量定性评价指标，以便从整体上揭示受众群体通过联盟服务获得的难以用量化指标反映的无形或软性收益。考虑到评估结果的准确性和显示度，项目组还运用特定的定性定量转换模型，实现定性收益的量化测度。比如在最后，基于前面调查评估内容的铺垫，我们设计了ZADL资源服务的条件价值评估指标，以此获得受众群体对ZADL资源服务总体使用或存在价值的赋值认定数据，实现联盟服务总体效益基于用户感知的量化揭示。（3）展示性。即注重评价指标对所要评价的具体服务内容及其功能特质的展示，以有效消除评估主体对客体的认知误区，保障评估结果数据的精准性，更可兼顾评估活动的宣传推广效应。以用户对ZADL共享平台资源服务知晓率的评估为例，我们认为对共享平台资源发现获取功能的评估要深入到浏览、检索、结果精炼、数据关联、全文链接下载、文献传递及其选择模式等功能特质，才能避免仅得到笼统的评价，确保评估活动及获得结果所包含的信息量是丰富而有价值的；（4）受众主体性。即以受众为主、专家为辅构成评估主体。从服务效能到服务影响层面的大量定性指标，包括体现联盟服务影响力的用户认知度和满意度测评，评估的主体自始至终都是服务的目标用户群体即受众，让受众基于感知以及实际服务的利用体验进行确认。因为只有受众，才能对相关服务做出中肯的评价，只有受众感知或亲身体验到了服务的价值，联盟所提供的服务才算真正体现出了价值。由此获得的反馈才可能最真实地反映客观实际。表1是在遵循上述准则的基础上，为评估ZADL核心服务体系产出效益设计的指标体系。

3.5 数据采集与分析

3.5.1 数据来源与获取方式

对数字图书馆联盟运行效益（价值）的评估是一项系统工程，其服务体系运行效益的多维性决定了评估指标的多样性和复杂性。如表1所列，指标集除了涉及六大类服务且涵盖服务提供、服务效能和服务影响三个层次的26项定量指标，涉及各类服务的定性指标多达40个。为各项评价指标选择确定最合适的数据来源和数据获取方法，以保障数据结果的可靠性，成为构建评估框架的重要内容。其中，服务提供层面的评价指标主要由定量指标构成，数据可采自ZADL相应业务与工作记录、门户网站及服务系统数据统计。从受众主体性出发，确认ZADL服务效能和服务影响力层面的定量和定性指标数据则主要采用面向受众群体（包括成员馆机构、员工个体和最终用户，尤其是资深用户）的调查和结合必要的专家评估方式获得。

需要说明的是，所述定性指标仅仅是为评估调查提供结构化的提纲，评估实施中，为获得尽可能丰富、详尽和贴近实际的数据，除了获得调查对象对封闭式问题及所列选项的确认应答，还要引导和鼓励其自由表达对评估客体的利用体验、意见和建议。根据我们的经验，这部分个性化评价信息将为调查数据提供可靠的印证和解释。因此，我们强调采用半结构化访谈或在问卷调查中设置开放式有效提问来获取受众群体对于联合体VOI的陈述和评价信息，使评估结果对联盟产出效益具有良好的区分和显示度。限于篇幅，这里只能简单提一下，服务平台及其资源服务的条件价值评估是ZADL核心服务体系影响力评估的重要组成部分，我们认为，运用社会科学计量学方法，接受最终用户对联合体服务体系产出和利用价值的检验赋值，需要一定的勇气和底气，也正是这种不含侥幸的检验，才可能使评估结果具备我们需要的公信力和影响力。

3.5.2 数据分析与处理

VOI评估数据既有来自联盟工作记录和门户网站后台管理统计数据（此类数据属于定量统计数据），又有来自各类服务受众调查的反馈数据（此类数据中既有量化数据，又有定性评价数据），评估数据构成具有明显的多元性和复杂性特征。同时为支持联盟相关各方对联合体效益监测评估的不同诉求，包括建立有预警机制的联合体运行管理模式，意味着没有参与数据收集过程的人员，也将利用调查数据对ZADL运行管理和决策面临的各种问题进行分析。面对多种类型的复杂调查数据，数据结果的处理不仅要进行描述性统计，还不可避免地涉及以样本为基础的推断性分析，因而对数据的准确性、可靠性，以及规范性和可比性均有严格的要求。相应地，结果数据的统计分析就不是简单的运行回归分析的技术性问题。这是因为，实地调查中的操作问题，如抽样框的建立、由复杂抽样导致的抽样权重等问题都可能对统计推断产生重要的影响，并可能导致有偏差和误导性的结果，而目前包括SPSS、SAS，及Excel在内的常用工具软件，通常是基于简单随机抽样的假定进行数据的统计分析[22]，这就要求我们在数据处理与分析中，要对调查采用的方法可能有的影响（如抽样设计对抽样方差估计的影响）或引发的偏差（如复杂抽样调查可能引起的抽样权重问题及其调整）做特别的分析性考虑，以明确各项数据的局限性和可能潜在的错误。

此外值得一提的是，VOI评价并不强调对众多结果数据的归一化处理，相反，要尽力避免数据处理过程中有价值信息的丢弃与流失。比如，我们可以应用模糊综合评判法处理和定量化揭示联盟定性或模糊效益[23]，以此获得具有良好的优劣区分度的最终评价数据，同时还要注重中间数据如评价集数据的揭示与呈现，以印证和检验量化的评价结果，支持风险预警。

4 结语

为推进区域数字图书馆基于运行财务、经济和社会效益全面衡量的绩效监测与管理，本文构建了遵循最终用户价值取向的联合体运行VOI评估体系，试图突破以考察经济效益为主的效益评估模式，将社会效益或无形价值产出也纳入绩效的考察范围，以更加全面、客观地揭示联盟运行的效益和价值。需要指出的是，本文提出的评估框架还未经实证检验，后续我们将据此设计具体评估实施方案，包括开发面向ZADL成员馆和最终用户的调查问卷，通过本地化的实施应用，检验评估方法的适用性和可操作性，并根据应用实际和发现的问题对评估指标体系进行修正与完善。

参考文献

[1]马志杰．我国省域高校数字图书馆联盟建设现状调查与分析[J]．图书馆建设，2012（1）:73—78

[2] Qian, Jiaping. et. al. User Value Oriented Functional Architecture and Implementation of Regional Digital Library:The Case of ZADL Project[J].Lecture Notes in Computer Science,2011, V7008LNCS:232—236

[3]常青．数字图书馆信息资源共享系统的风险防范机制[J]．情报资料工作，2012（2）:70—72

[4]李宏．图书馆共建共享投入—产出情况分析[J]．图书馆理论与实践，2007,101（5）:16—17

[5]肖希明，郭以正．用户导向的信息资源共享系统绩效评估探讨[J]．国家图书馆学刊，2010（3）:18—22

[6]肖希明．信息资源共享系统绩效评估研究[M]．北京：学习出版社，2013

[7]刘磊．信息资源共享评估研究——以JALIS为例[M]．南京：南京大学出版社，2010.10

[8]李卓卓．信息资源共享系统绩效评估研究[D]．武汉大学，2009

[9]李卓卓．面向多模式区域信息资源共享的评估架构研究．图书情报工作，2011,55（17）:17—21

[10]侯家麟．知识服务模式下高校图书馆绩效及价值评估研究[D]．天津大学，2012

[11]陈晋．图书馆联盟资源共享平台的绩效评估研究[J]．图书馆建设，2012（10），25—27,31

[12]伍清霞．数字图书馆联盟效益评估探索——以珠江三角洲数字图书馆联盟为例．图书馆论坛，2012,32（4）:52—57,135.

[13] Harris, K.et al.Changing the View of ROI to VOI-Value on Investment[EB/OL]. [2013-03-06].http://www.gartner.com/id=348953

[14]Hight, C.Move From ROI to VOI（Value on Investment）[EB/OL].[2013-11-04]. http://institute.uschamber.com/move-from-roi-to-voi/

[15]Karl, M.Value of Investment（VOI）vs.Return on Investment[EB/OL].[2014-01-06].http://karlkapp.com/value-of-investment-voi-vs-return-on-investment/

[16]Mott1, J.et al.Mobilized E-Learning:Promoting Quality Learning[J].[2014-01-06].http://140.118.59.33/GCJCE/papers/journal202.pdf

[17] Norris, D.M.Value on Investment in Higher Education[J].Research Bulletin, Issue 18, 2003. [2014-01-06 ]. https://net.educause.edu/ir/library/pdf/erb0318.pdf

[18]Oakleaf, M.Value of Academic Libraries:A Comprehensive Research Review and Report（2010）[R].[2012-12-14].https://www.acrl.ala.org/value

[19]浙江省高校数字图书馆省中心．[2013-03-07].http://zadl.zj.edu.cn/wps/portal.

[20]钱佳平，刘兹恒．国外基于投资回报的图书馆价值研究：述评与启示[J]．中国图书馆学报，2008（6）:84—89.

[21]钱佳平．应用CVM法测评高校图书馆服务价值的适用性初探[J]．图书馆，2012（2）:83—85.

[22]（美）苏尔李等著，吴晓刚编．数据分析方法五种[M]．上海：格致出版社，2011

[23]杨纶标，高英仪．模糊综合评判[M]．广州：华南理工大学出版社，2002