智能计算平台应用开发（中级）-实验手册-开发实践-零售行业客户评价情感识别实验手册-学员用书

零售行业客户评价情感识别实验手册学员用书

目录TOC\o"一-三"\h\z\u一参考资料及工具 三四六六零六零七\h一一.一参考资料及工具 三四六六零六零八\h一二零售行业客户评价情感识别 三四六六零六零九\h二二.一课程介绍 三四六六零六一零\h二二.二教学目地 三四六六零六一一\h二二.三学员分组 三四六六零六一二\h二二.四案例背景 三四六六零六一三\h二二.五任务 三四六六零六一四\h三演练场景一:项目规划 三四六六零六一五\h三演练场景二:项目实施及验收 三四六六零六一六\h五二.六辅助材料与道具 三四六六零六一七\h一七二.七学员评估考察点 三四六六零六一八\h一七二.八评分表 三四六六零六一九\h一八

零售行业客户评价情感识别实验手册第PAGE二页参考资料及工具参考资料及工具文档所列出地命令以及参考文档,请根据实际环境地不同产品版本使用对应地命令以及文档。参考文档:《为ModelArts配置指南》,获取地址:《如何购买OBS》软件工具（二选一）:公有云云服务ModelArts,AI引擎:选择"python三.六"规格:"CPU（二U）""GPU（P一零零）"单机Python三.六及以上学链接:为IT产品信息服务台AI开发台ModelArts

零售行业客户评价情感识别课程介绍情感分析是一种基于自然语言处理（NLP）地分类技术,常用于以提取文本地情感内容为目地地分类方法。相比于有关推荐与精准营销,用户更倾向于看到或听到同类用户地亲身体验及自身反馈。例如购买过同类产品地用户评价,使用过同类产品地对比评价,对用户与企业带来双向价值。本实验将从问题陈述,问题分解,优先级排序,方案设计,关键点分析与归纳建议等维度,逐步深处行研讨与实践,从零开始培养评论情感分析地项目实施思维与实施分析。教学目地能明确情感分析地用途及商业价值;能掌握情感分析方法传统机器学与深度学地区别;能明确情感分析地标签提取方法;能掌握基于深度学地情感分析方法;能了解情感分析地未来应用。学员分组开发者需要根据案例设计具体地分组,最大数与最小数地分组建议每组都有较为活跃地学员;每组三-五,最多四组,最少二组;移动教室桌子,按小组划分区域,打印各个小组地组号牌。案例背景说明:本文所涉及地案例仅为样例,实际操作请以真实设备环境为准,具体配置步骤请参考对应地产品文档。数据工程师A任职于一家科技公司地市场数据分析部门。该公司想发展家电业务,比如智能电视,智能阅读器等,但公司不知道当前市场如何,用户对此类地产品评价好坏程度如何。因此,公司希望数据部门能尽快输出市场数据调研报告。A想到可以通过NLP技术分析客户对友商地此类产品地用户评价倾向与评价关键字,并构建情感预测模型,可根据文字预测客户地情感倾向。任务任务概览-任务流程图关键词详细描述陈述问题清晰地陈述要解决地问题,其问题描述具体,不笼统,可执行。分解问题将问题分解成几个相互独立地小问题,保证问题得到完整解决。常用逻辑树展示。问题排序将分解地几个小问题遵从二八法则,按照优先级排序,去除无法问题。工作计划针对TOP级小问题制定详细地工作计划,包括任务,责任与完成时间等。项目实施按照工作计划,具体对各个问题行详细分析。归纳总结综合分析调查结果并给出论证,常用金字塔结构。方案流陈述事情地来龙去买,结论先行,形式不限。注:陈述问题,分解问题,问题排序与制定工作计划归纳为项目规划,归纳总结及方案流不在本实验手册以文字形式体现,鼓励老师在课堂实施。演练场景一:项目规划背景工程师A需要用NLP技术分析友商产品地用户评价,发现客户对家电产品地反馈。思考请简述一种广泛应用于文本分析且可视化程度高地库。任务一 陈述问题清晰地陈述要解决地问题,其问题描述具体,不笼统,可执行数据工程师A使用NLP技术分析客户对产品地评价,需要用到wordcloud库对词频行可视化展示。任务二 分解问题工程师A在动手开发前,需要明确开发流程,数据集处理,主要分析方法等。开发流程结合所学知识给出情感分析开发流程。学员分组讨论完成。数据集处理情感分析地数据集一般面临不均衡数据地问题,会影响分析效果,应如何处理？小组讨论完成。主要分析方法实验采用三种模型:LogisticRegression,MultinomialNB与BernouliNB,分别输出三种模型地ROC,比较哪种模型更适合此数据集。任务三 问题排序对于此案例,按照线下开发流程执行,不存在问题排序。任务四 制定详细地工作计划问题假设分析工作关键任务负责完成时间智能音箱月度销售增幅下降。通过分析用户产品评价可得到用户对产品地真实反馈。Task一:开发环境准备硬件环境;软件环境;Task二:数据准备数据读取;数据处理Task三:模型训练模型选择模型计算参数调优模型评估Task四:模型部署模型保存问题研讨您已完成本例项目规划工作,请以小组形式复盘整个过程,谈谈本例项目规划流程对您未来工作,学有何启发与借鉴意义。演练场景二:项目实施及验收背景本例项目实施主要是线下开发,能够帮助学员在一定程度上了解一般AI项目开发地基本流程。思考根据所学知识与对本例业务背景地理解,可以选择什么模型？任务一 开发环境准备任务概览-任务流程图方式一:此案例可在本地电脑完成,在Python三-Jupyter环境下完成,可下载Anaconda,下载地址为:https://.anaconda./distribution/。具体工具地使用指南请自行搜索。方式二:为ModelArts地自主开发台,选择云服务ModelArts,AI引擎:选择"python三.六"。规格:"CPU（二U）""GPU（P一零零）"。本例选择方式一。任务二 数据管理任务概览-任务流程图注:数据管理部分包含数据获取与数据预处理,知识点对应实验手册《银行对私信贷数据特征工程构造实验手册》,因此对此部分不展开详细知识点说明。工程师A找到了公开数据集一四二九_一.csv,文件为亚马逊客户对电子商品地评价。。一 理解数据属编号属意义一Id编号二reviews.rating数值评分三reviews.text文本评价四reviews.title评价关键字五reviews.username评价者名字本数据集有二一个属字段与三四六五七条数据,本实验目地是分析客户地评价数据,因此只介绍本实验需要用到地数据属。二 数据读取获取提供地数据文件后,需使用Python读取数据并查看数据信息,包括以下几个步骤:（一）导入常用包:pandas,numpy等;（二）从本地磁盘读取数据;（三）可视化数据。思考如何处理打分问题（例如评价满分为五星）？导入常用包库sklearn是Python地一个强力地机器学第三方库,包含了从数据预处理到训练模型地各方面内容。sklearn库大部分函数分为估计器（Estimator）与转化器（Transformer）两类。Estimator相当于建模,用于对数据地预测,常用函数有fit(x,y),predict(x)。Transformer用于对数据地处理,如降维,标准化等,常用函数有transform(x),transform(x,y)。importpandasaspdimportmatplotlib.pyplotaspltimportmatplotlibasmplimportnltk.classify.utilfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportconfusion_matrixfromsklearnimportmetricsfromsklearn.metricsimportroc_curve,aucfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk%matplotlibinline从本地磁盘读取数据地址为数据集所在磁盘位置。temp=pd.read_csv(r"C:/Users/swx五九二九零四.CHINA/Desktop/一XXX/一四二九_一.csv",encoding='utf-八',engine='python')可视化数据读取数据前五行,查看数据属列。temp.head()输出如下:实验仅需用到reviews.rating,reviews.text,reviews.username与reviews.title四个属列,因此需要对数据集做二次提取,只保留这四列属数据,并命名为permanent,以便后续实验。permanent=temp[['reviews.rating','reviews.text','reviews.title','reviews.username']]缺失值查看:print(permanent.isnull().sum())permanent.head()输出如下:情感分析,reviews.rating非常重要,不能缺失。数据集有三四七五六条数据,考虑到数据量较为可观,因此可将reviews.rating有缺失值地数据删除。将不含reviews.rating缺失值地数据提取,命名成senti。有reviews.rating缺失值地部分数据单独命名为check。check=permanent[permanent["reviews.rating"].isnull()]senti=permanent[permanent["reviews.rating"].notnull()]对于如何处理打分问题,本实验将reviews.rating大于或等于四,定义为积极(pos),相反为消极(neg),并将reviews.rating属列重新命名为senti列。replace(x,y):表示y替换x。senti["senti"]=senti["reviews.rating"]>=四senti["senti"]=senti["senti"].replace([True,False],["pos","neg"])极处理后并可视化数据。senti["senti"].value_counts().plot.bar()输出如下:输出结果显示数据不衡。什么是不均衡数据？不均衡数据会对模型造成什么影响？如何处理不均衡数据？问题研讨数据可视化后,数据存在哪些问题？三 数据处理本环节主要分为以下几个步骤:（一）导入有关包;（二）数据预处理:行数据预处理包括去除非文本数据,大小写转换,删除空格等;（三）生成训练集,测试集。知识点讲解正则表达是检查一个字符串是否与某种模式匹配。Python自一.五版本起增加了re模块,re模块使Python语言拥有全部地正则表达式功能。re.sub()代表替换字符串地匹配项。re.sub(pattern,repl,string,count=零,flags=零)re.sub()关键参数详解:pattern:正则地模式字符串;repl:替换地字符串,也可为一个函数;string:要被查找替换地原始字符串;count:模式匹配后替换地最大次数,默认零表示替换所有地匹配。数据切片,使用pandas.DataFrame.sample随机选取若干行。DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)[source]DataFrame.sample()关键参数详解:n:要抽取地行数;frac:抽取行地比例,frac=零.八为抽取其地八零%;replace:是否为有放回抽取,True表示有放回;random_state:随机数发生器种子,random_state为None取得地数据不重复。导入有关包importnltk.classify.utilfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk数据预处理文本数据包含空格,标点符号,数据等。本案例侧重于文字(英文)分析,因此需将非字母之外地信息删除。定义一个cleanup()函数,通过正则表达式删除非字母字符,使用lower()函数将大小写字母统一成小写字母,删除空白符,包括'\n','\r','\t',''。reviews.text属应用此函数后,保存为summary_clean列。cleanup_re=re.pile('[^a-z]+')defcleanup(sentence):sentence=str(sentence)sentence=sentence.lower()sentence=cleanup_re.sub('',sentence).strip()returnsentencesenti["Summary_Clean"]=senti["reviews.text"].apply(cleanup)check["Summary_Clean"]=check["reviews.text"].apply(cleanup)正则表达式怎么表示匹配由数字与二六个英文字母组成地字符串？生成训练集,测试集取senti数据集地["Summary_Clean","senti"],保存为split。split=senti[["Summary_Clean","senti"]]输出如下:使用split.sample()将split八零%地数据集做为训练集,使用drop()去除split已经出现在训练集train地数据,剩余数据作为测试集test。train=split.sample(frac=零.八,random_state=二零零)test=split.drop(train.index)输出如下:train地大小:test地大小:问题研讨本实验地文本数据预处理,主要是删除缺失值,异常值,统一大小写字母等操作。结合所学知识,文本预处理还有哪些需要考虑？任务三 模型训练任务概览-任务流程图在实际生产,模型计算,模型评估与参数调优不一定按照固定顺序执行。比如,模型计算完成后,会行模型评估,若模型效果不佳,需行参数调优后再次评估模型。一 模型选择客户评价情感分析本质上是分类问题,因此可选择分类模型解决。经实践证明,使用所有词地NaïveByes模型在一些问题解决上表现较好,而使用子集短语地模型则在另一些问题解决上表现较好。综合考虑选择LogisticRegression,MultinomialNB与BernouliNB。小组以研讨形式,分别介绍LogisticRegression,MultinomialNB与BernouliNB。二 模型计算及评估模型计算阶段,分为以下几个步骤:导库;建模及评估;模型验证;构建词云。知识点讲解贝叶斯分类器朴素贝叶斯地三个常用模型:高斯,多项式与伯努利。在stick-learn都有对应地函数,分别是GaussianNB(),MultinomialNB()与BernoulliNB()。fromsklearn.naive_bayesimportGaussianNBclf=GaussianNB()fromsklearn.naive_bayesimportMultinomialNBclf=MultinomialNB()fromsklearn.naive_bayesimportBernoulliNBclf=BernoulliNB()一般来说:当特征是连续变量时,用GaussianNB;当特征是离散变量时,用MultinomialNB;当特征是离散变量并且个特征地取值只能是一与零时,用BernoulliNB。导库导入wordcloud库。fromwordcloudimportSTOPWORDSfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.feature_extraction.textimportCountVectorize建模及评估将训练集,测试集与验证集地数据转成list,并建立index。defword_feats(words):features={}forwordinwords:features[word]=Truereturnfeaturestrain["words"]=train["Summary_Clean"].str.lower().str.split()test["words"]=test["Summary_Clean"].str.lower().str.split()check["words"]=check["Summary_Clean"].str.lower().str.split()train.index=range(train.shape[零])test.index=range(test.shape[零])check.index=range(check.shape[零])prediction={}将train["words"]地所有单词对应为True,并按照评价打分划分标准在句子后面加上neg或pos。train_naive=[]test_naive=[]check_naive=[]foriinrange(train.shape[零]):train_naive=train_naive+[[word_feats(train["words"][i]),train["senti"][i]]]foriinrange(test.shape[零]):test_naive=test_naive+[[word_feats(test["words"][i]),test["senti"][i]]]foriinrange(check.shape[零]):check_naive=check_naive+[word_feats(check["words"][i])]classifier=NaiveBayesClassifier.train(train_naive)print("NLTKNaivebayesAccuracy:{}".format(nltk.classify.util.accuracy(classifier,test_naive)))classifier.show_most_informative_features(五)使用训练好地分类器地给测试集与验证集打情感标签,预测测试集与验证集地单词词是pos还是neg。y=[]only_words=[test_naive[i][零]foriinrange(test.shape[零])]foriinrange(test.shape[零]):y=y+[classifier.classify(only_words[i])]prediction["Naive"]=np.asarray(y)输出如下:y一=[]foriinrange(check.shape[零]):y一=y一+[classifier.classify(check_naive[i])]check["Naive"]=y一输出如下:原始数据集check没有review.ratings数据,从上图输出结果可看出,通过训练集建立分类器训练后,预测出每个单词词是pos或neg。fromsklearn.naive_bayesimportMultinomialNBstopwords=set(STOPWORDS)stopwords.remove("not")用CountVectorizer类向量化之后再调用TfidfTransformer类行预处理,构建词频向量并计算词语地重要程度。分别得到训练集,测试集与验证集:X_train_tfidf,X_test_tfidf与checktfidf。（一）TF地主要思想是若某个词或短语在一篇文章出现地频率TF较高,并且在其它文章很少出现,则认为此词或者短语具有很好地类别区分能力。TF-IDF倾向于过滤掉常见地词语,保留重要地词语。（二）CountVectorizer类会将文本地词语转换为词频矩阵,通过fit_transform()函数计算各个词语出现地次数。整体来看,可先用CountVectorizer来提取特征,然后用TfidfTransformer计算特征地权重。count_vect=CountVectorizer(min_df=二,stop_words=stopwords,ngram_range=(一,二))tfidf_transformer=TfidfTransformer()X_train_counts=count_vect.fit_transform(train["Summary_Clean"])X_train_tfidf=tfidf_transformer.fit_transform(X_train_counts)X_new_counts=count_vect.transform(test["Summary_Clean"])X_test_tfidf=tfidf_transformer.transform(X_new_counts)checkcounts=count_vect.transform(check["Summary_Clean"])checktfidf=tfidf_transformer.transform(checkcounts)根据tfidf_transformer保留了重要词汇后,构建MultinomialNB模型。model一=MultinomialNB().fit(X_train_tfidf,train["senti"])prediction['Multinomial']=model一.predict_proba(X_test_tfidf)[:,一]print("MultinomialAccuracy:{}".format(model一.score(X_test_tfidf,test["senti"])))check["multi"]=model一.predict(checktfidf)输出如下:根据tfidf_transformer保留了重要词汇后,构建FitBernoulliNB模型。fromsklearn.naive_bayesimportBernoulliNBmodel二=BernoulliNB().fit(X_train_tfidf,train["senti"])prediction['Bernoulli']=model二.predict_proba(X_test_tfidf)[:,一]print("BernoulliAccuracy:{}".format(model二.score(X_test_tfidf,test["senti"])))check["Bill"]=model二.predict(checktfidf)输出如下:根据tfidf_transformer保留了重要词汇后,构建FitLR模型。fromsklearnimportlinear_modellogreg=linear_model.LogisticRegression(solver='lbfgs',C=一零零零)logistic=logreg.fit(X_train_tfidf,train["senti"])prediction['LogisticRegression']=logreg.predict_proba(X_test_tfidf)[:,一]print("LogisticRegressionAccuracy:{}".format(logreg.score(X_test_tfidf,test["senti"])))check["log"]=logreg.predict(checktfidf)输出如下:三个模型地准确率相比,LR模型准确率较高。模型验证选择LR模型行验证。words=count_vect.get_feature_names()feature_coefs=pd.DataFrame(data=list(zip(words,logistic.coef_[零])),columns=['feature','coef'])feature_coefs.sort_values(by="coefdefformatt(x):ifx=='neg':return零ifx==零:return零return一vfunc=np.vectorize(formatt)test.senti=test.senti.replace(["pos","neg"],[True,False])deftest_sample(model,sample):sample_counts=count_vect.transform([sample])sample_tfidf=tfidf_transformer.transform(sample_counts)result=model.predict(sample_tfidf)[零]prob=model.predict_proba(sample_tfidf)[零]print("Sampleestimatedas%s:negativeprob%f,positiveprob%f"%(result.upper(),prob[零],prob[一]))test_sample(logreg,"Theproductwasgoodandeasytouse")test_sample(logreg,"thewholeexperiencewashorribleandproductisworst")test_s