浅谈气象服务社会满意度评价指标的设计

1、引言：问题的提出 当前气象服务涉及（渗透到）方方面面，充分体现了气象服务与经济社会发展的紧密结合，气象服务以适应社会公众需求为发展宗旨的目的性越来越明确。主要展现： 1、信息内容丰富：从常规天气要素、灾害性天气预警报信息到生活气象指数； 2、信息时效宽泛：从临近0-2小时到一周至一旬，甚至更长； 3、信息方式多样性：广播、电视、报刊、手机短信、声讯电话、公众显示屏、网络； 在现有成绩面前更需为发展来思考“气象服务社会公众认可度问题”： ？哪些气象服务的“成分”是社会满意,比较认同 ？哪些气象服务的“成分”社会认为是欠缺或不足,有需求差距？其由因是什么? 社会认同的作为经验发展，社会有意见或建议

2、的要及时作出完善、改进。 “居安思危”，一切需要发展,一切为了发展。 气象服务社会满意度评价体系基本假设 气象服务社会满意度评价指标层次设计 气象服务社会满意度评价指标度量设计 浙江省公众气象服务满意度调查实例分析 进一步提高气象服务社会满意度若干建议 1、气象服务是可以用满意度评价的一种公共产品2、公共产品“顾客满意度”可以定义为: 顾客在使用某种产品或享受某项服务以后，形成满意或不满意的态度。 其社会满意度评价来源于公众对其相关评价成分的关注程度，社会对其各相关评价成分各自满意程度的“综合”即为其总体满意程度。 类似当前社会上开展的多“评选”:幸福城市、易居城市、最有竞争力城市、 目前国际

3、上通常把感知质量和顾客期望作为产品和服务评判顾客满意度的两大基本要素。 感知质量评价标准不同于普通意义上的质量，其好坏取决于在一定范围内，企业所提供产品或服务与顾客所期望产品或服务之间的差距，其通常用整体质量、可靠性、产品或服务能满足顾客需求3个程序变量来测量。 顾客期望是顾客利用过去经验性或非经验性信息对企业未来所提供产品或服务质量进行判断与预测。这种期望是基于其消费经验和对企业行为逐步了解建立起来的，是一种累计认识，其所包含信息不是实际消费经历为基础，而是从外部资源中获得关于质量的累计性信息，如口碑、媒体评价满意度。基本假设下的重点关注: 气象信息作为一个公共信息产品，评价其满意度的指标在

4、上述感知质量和顾客期望两大要素方面反映出的信息是什么？ 搜索到的国外同类事件基本情况： 除灾害性天气预报警报服务由官方业务部门提供外，其他公众服务（包括面向公众个体经营的商业活动服务）一般采取与我国现行专业气象服务类似的方式。 一个显著特点（现象）：商业化气息很强 美国采用的气象服务满意度指数是从服务质量发展而来，评价因子主要是服务产品上网数量、专业广播覆盖率等； 澳大利亚采用多类预报质量的综合评价； 日本、加拿大等国主要考虑服务的投诉率等可统计测量指标； 上述情况显示西方国家一般采取一个或几个简单的“终极性”指标来评价衡量公众气象满意度。 这种评价方式似乎重结果、轻过程，与我国社会文化背景、

5、公众气象服务宗旨等有较明显差异。 中国气象局业务体制改革发展要求，我国公众气象服务要求各级气象台站在充分考虑服务受众群体不同需求时，要更多地要体现气象服务的过程化和人性化：无微不至、无处不在。 各省多年来一直在积极探索相关评价方法，但客观上由于各地经济社会发展需求有差别，各地公众实践工作中对气象服务满意度内涵有不同的理解（了解气象专业内涵水平、应用气象领域与范围、对气象因科学技术发展能力而“失误”的“容忍程度”等），因此目前全国尚未形成一致性或相对标准的气象服务满意度评价体系。 浙江省积极探索气象服务满意度评价体系，采取的主要方式是：以需求定目标（“倒置法”），体现需求牵引理念，让社会来帮我们

6、回答问题。 问计社会的方式社会调查 未知情况下的通用社会调查方式“访谈法”，主要是最大程度克服调查主观影响程度，体现“非诱导性”。 “防谈法”总体围绕公共服务产品普遍关注要点： 1、你眼中的气象是怎么回事？（切入点） 2、为什么我要关心气象？（需求问题） 3、我关心气象什么信息、到什么程度？（评价指标） 4、我对其使用消费满意程度（投入与期望之比）。 结合气象信息属性提炼上述访谈陈述内容要点，近两年时间随机走访广场、社区、行政单位等近500人，经分析汇总，社会对气象信息关注“成分”集中体现在以下对其需求目的性四个方面： 1 1、信息针对性、信息针对性：该产品或服务核心内容是否在提供的信息中可以

7、得到。 2 2、信息准确性：、信息准确性：按照一定评判规则，这些信息与实际情况相比较的差异程度。 3 3、信息时效性、信息时效性：信息提供是否满足客户对其时效需求，换言之信息是否能在客户所需要时间限度内送达客户目的地。 4 4、信息便易性、信息便易性：客户基于本体实际情况，能否“随心所欲”清楚地获取想需要信息的方便程度。 按照通用调查分析理论，上述四大特性可以作为气象服务社会满意度评价的基本指标体系。 当然具体客户群体上述四大特征指标又有不同需求。如“信息准确性”，公众对其定性关注程度有时比关注定量更明显；又如“信息时效性”，一般城镇公众重点关心白天时段气象信息（主要是晴雨信息），时效在12小

8、时以内，而乡村公众关心是第二天气象信息，时效在12小时以上。 为什么这样归纳是可行的上述基本指标体系客观性和科学性需要检验： 方式：把上述指标以问题形式隐含于书面调查问卷中，即采取“扩大”调查内容范围方式，参考中国气象局公众气象服务满意度调查试行规定附录调查问卷内容，结合浙江气象服务实践，设计出相关调查问卷（16个单项或多项选择、2个建议陈述）。检验方式： 采用主成分分析方法。 根据特征值大于1原则（前4个公共因子其累计方差贡献率为82.63%）确定以下5个为入选问题： 第2题“您关注气象信息主要目的是哪项需要？” 第3题“您目前获取气象信息主要渠道？” 第6题“您关注哪些类型气象信息” 第7

9、题“您最关心的天气预报时效是多少？” 第8题“您对目前天气预报准确率总体感觉” 上述结果与“访谈法”提炼评价指标要素基本一致。从中可以认定“针对性”、“准确性”、“时效性”和“便易性”可以作为评价社会公众气象服务满意度的第一层次指标体系。 多次（多年）调查实例表明： 单项需求选择分析，九成以上社会公众对气象信息关注的第一目的是为了生活安排，如衣着、出行等，只有不足一成社会公众关心气象信息的第一目的是为了生产管理目的，如运输安排、产量控制等。 多项需求选择分析，生活安排仍是社会公众关注气象信息的第一目的，同时还有生产管理类服务需要。 上述分析：目前浙江公众对气象服务认识与其专业内涵相比差距很大，

10、气象服务的趋利避害、发展经济、提高生活质量等方面中的作用尚未在公众中充分体现，气象服务融合社会需求的道路仍很漫长。 为体现社会服务公共性（普遍性）原则，以下仅对公众气象服务的针对性、准确性、时效性、便易性展开讨论。 1、针对性是服务客户目的所在，即社会客户关心的内容。 从调查结果折射出信息表明，公众关心气象对其生活方方面面影响，重点体现在生活安排和减少灾害性天气影响两大方面，特别是灾害性天气影响的关注程度列所有调查项目的首位，充分说明公众对其敏感程度，因此从针对性分析，灾害性天气信息和常规气象要素应作为社会满意度评价的核心内容。 相关内容今后应随着公众对气象应用的理解不断丰富。 2、准确性是服

11、务客户期望所在。 从其要件分析，具体应包括定性评价和定量分析两部分，“有”“无”定性评价是服务满意度底线，差异程度的定量核定是服务优化与提高的关键。 从这一层次分析，现有中国气象局2005年制定的“梯级”短期预报评分办法和浙江省局2003年制定等级“误差”短期评分办法都体现了这一评价思想，即实现了对准确性的基本衡量。3、时效性是服务客户合理利用气象信息前提 没有时效，信息就是废品。 公众对气象信息的时效性关注内容分两方面： 一是信息内容所覆盖的时效长度，如0-72小时； 二是信息内容的提前量（预报预警时效）。 前一方面反映的是业务可预报性问题，公众层面上反映的只是总体感觉，对其实际业务有效性应

12、由业务专业管理办法所评价。 后一方面基于社会需求和业务能力两大因素决定，因此在评定时应充分考虑公众期望值和实际业务预警预报能力。 建议应针对不同天气尺度过程，其评判指标采取正向误差值（实际预警预报时机与期望时效之差）或以其两者比值衡定。 实际操作中，对一些诸如冷空气等易提前预报预警天气过程设定阀值，调查表明公众最关心时效是0-72小时。 对同一事件，过早、过频的预报预警反而引起公众警觉程度降低。亲属圈、同学圈、朋友圈等调研，他们一般问我“后天天气”占极大多数（大概“明天天气”手机短信、电视上已有），更长时间的几乎没有。 法国气象专家观点：3天以内的预报是比较可信的，3天以后？4、便易性是气象信

13、息取得最大程度覆盖的基础 调查分析反映，公众对气象信息便捷性包括以下若干方面： 一是气象信息覆盖城乡程度； 二是获取途径是否便捷，是否充分利用了现有经济社会发展的信息传播手段； 三是信息提供的“生动性”，专业部门在表述气象信息时是否采用公众易于接受的表达形式，对客户有亲和力，公众愿意接受； 四是获取信息的可理解性，即公众对专业部门提供的气象信息理解应用的全面程度； 五是日常接受气象信息宣传的方便程度。 综合上述分析，可以把气象服务社会满意度评价设计为两个层次指标，上一层次指标可具体分离为一个或若干个下一层次指标，具体如下： 针对性：信息容量丰富度 准确性：定性准确性、定量误差程度 时效性：预报

14、时效满足度、预报预警提前量 便易性：覆盖面、获取方式便利度、表述方式亲和力、可理解程度、信息宣传广泛性 上述指标，除“信息容量丰富度”和“预报时效满足度”一般只能进行定性评定外，其他指标均可从定性评定向定量评定转化。 根据上述分析，可以把气象服务社会满意度评价设计为两个层次指标，上一层次指标可具体分离为一个或若干个下一层次指标，具体如下： 针对性：信息容量丰富度 准确性：定性准确性/定量误差程度 时效性：预报时效满足度/预报预警提前量 便易性：覆盖面/获取方式便利度/表述方式亲和力/可理解程度/信息宣传广泛性 上述10个指标，除“信息容量丰富度”和“预报时效满足度”一般只能进行定性评定外，其他

15、指标均可从定性评定向定量评定转化。定性评价与定量评价 按照定性和定量评价普遍原则，气象服务社会满意度评价指标也可度量设计： 定性评价 “量表测量法” 四级：“很满意”、“较满意”、“一般”、“不满意” 五级：“很满意”、“较满意”、“一般”、“不满意”、“很不满意” 定量评价直接以百分比显示，如78%。定量评价也可转化为定性评价 可以根据以往或现有调查成果为“基准量值”（参照系），在此基础上根据“质量提高程度”进行分级判定，按分级情况再进行定性评价来衡定其满意度，即把基本满意程度重新分类为相对满意程度。 如某类气象信息以往定性准确率为80%，以此为“基准量值”，以每提高1.5%、0.5-1.5

16、%、-0.5-0.5%、-0.5%为满意度提高很好、较好、一般、不好标准，则如下一年度实际定性准确率为79%时，则其相对满意程度评定为“不好”等级。 社会关注的应是专业部门重点思考的。 为切实掌握社会关注重点内容，针对评价体系中所列指标项目，随机访谈公众客户，分别采用两种方式请公众客户评价气象服务关注程度，主要是为了了解结果有什么差异： 一是对上述10个指标按关注程度进行排序，目的是分析掌握公众最关注气象服务哪些方面； 二是直接对各个指标以定量百分比方式评价满意度，综合了解公众对各指标的期望值。结果： 第一种方式结论是公众最关注前3个热点是“预报定性准确率”、“预报预警提前量”和“表述亲和力”

17、（“表述亲和力”挤入前三甲可能与电视作为主要气象信息传播手段有关）。 第二种方式结论是公众总体对气象信息各满意度指标中“覆盖面”和“获取方式便利度”得分最高，超过85%，其他指标得分定量百分比基本在70-80%。 浙江省气象局在2006年7-8月集中对公众气象服务效益开展调查评估工作。浙江省公众气象服务满意度调查实例分析一一被调查者的身被调查者的身份（职业）分份（职业）分类类工人工人农民农民科技人员科技人员教教师师学生学生干部干部军军警警医务人医务人员员商业人商业人员员个体人个体人员员离退休人离退休人员员其他人其他人员员人人数数130181884153379991315371426405618

18、9679557231258% %14.511.86.17.011.811.03.14.77.47.35.69.7被调查者的常住地被调查者的常住地分类分类城镇城镇乡村乡村人数人数12760101472613% %79.520.5被调查者年龄被调查者年龄分类分类1 11414岁岁15156060岁岁6060岁以上岁以上人数人数1299247911616897% %3.789.46.9几项重点内容，本次调查结果如下： 1、关于“您关注哪些类型的气象信息（多项选项）”，公众对气象信息准确性评价较高，“准确”和“基本准确”率累计达到85.5%； 2、关于“您对我国天气预报准确性评价”，“灾害性天气预报警

19、报”、“天气实况信息”和“未来3天的逐日天气预报”是公众关心重点，三项人数均超过被调查者人数一半； 3、关于“您目前获取气象信息主要渠道（多项选择）”，“电视”（81.7%）、手机短信（42.1%）和广播（33.2%）列前三位； 4、关于“您较关注或是收听（看）什么时间播出的天气预报（多项选择）”，公众获取气象信息明显集中在“早晨”和“晚上”两个时段； 5）关于“您认为气象预报服务工作应优先改进什么”，公众明显表现出“预报准确率”和“预报警报发布途径”是其最关心的焦点。 1、始终要把坚持提高预报准确率作为气象服务的根本关键，重点要加强灾害性天气的预警能力。 从调查情况分析，公众对中小尺度灾害性

20、天气的关注程度远远高于其他信息（目前我国公众认同、需要气象主要目的还是防灾）。从气象服务发展引导出发，努力加强对此类业务能力的提高是气象部门永恒的业务重点。 一个客观事实：不加事前说明，目前公众很容易把准确率等同于满意度。 对灾害性天气的敏感程度很大程度上与其业务经历有关，各级气象部门一要加强相关科研与业务能力建设基础上，二要稳定、提高预报员队伍建设来作为今后提高预报准确率的保障措施。进一步提高气象服务社会满意度若干建议2、加强气象信息发布的适时性 公众在使用（消费）气象信息越有心理上渴望时，其关注程度越高（声讯拨打率可以充分说明）。 绝大部分公众使用（消费）气象信息目的性比较明确，一般比较重

21、视“眼前”需求。从调研结果分析，气象部门应强化36小时时效以内气象信息服务，以此对作为公众服务重点，在评价时应突出此时段评价权重。 同时社会公众关注一些敏感的生活、生产时段，对此时段（时期）的气象信息评价直接影响到气象服务满意度的总体评价（病人总是在不恙时候最需要医生），气象部门在业务能力保证基础上应尽可能满足此需要，“不定期”（非无限期）延长气象信息发布时效，如“黄金周”、“中秋”、“春节”等重大节假日，春播春耕、茶叶采摘期、捕捞等生产关键期，应适时延长（提前）预报时效，即相应的气象信息适时提前发布（不是所有的信息越早越好）。 “罗莎”期间公众主动参与十分有利于政府组织防灾。3、优化气象信息传播方式 公众在接受调查时对气象信息传播方式（主要是电视发布形式）比较感兴趣。 超过七成被调查者更希望倾向与专家学者讲述型发布气象信息。 被调查者在陈述原因时都不约而同地认为气象信息作为一项科技产品，不能简单等同于名人或佳丽做产品销售与消费广告，应体现科技产品的权威性，一个很重要的公众心理反应是专家陈述从心底里感觉“更塌实”，即使同样的信息也更易于被公众所认同。 建议大力培育专业型气象先生、气象小姐作为公众气象服务的信息传播使者。 4、加强预报业务人