作文自动评分总结.doc

李艳老师和葛诗利老师大学英语作文自动评分中分级词表的效度研究中提出了作文分级词表的思想，而这可以通过改进或者调整已有的词表来获得。目前自然语言处理中准确率最高的、也是最基本的研究就是词汇分析，词汇分析一般包括词长分布、词汇分布和词汇丰富性等。词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。Laufer&Nation的3个级别的词表。CLEC中国学习者英语语料库SPSS软件包的单因素方差分析（ANOVA）SPSS多元线性回归分数档的精确率和召回率，总体准确率和误判率个分数精确率=本为X档作文并且被评为X档作文的数量所有被评为X档作文的总数*100精确率越高，说明作文被评为该分数档的可信度越高Laufer&Nation 以词族为计算单位，词频概貌文秋芳 以类符为计算单词，称为词频广度倪岚 以形符为计算单位 词频分布准确率都是30%左右徐剑和梁茂成对集中英汉机器翻译系统的测评翻译系统在译文输出方面已经比较成熟，源语言的语义识别方面还不如人意。80年代，机器翻译研究863智能型英汉翻译系统“译星一号”评估标准：系统功能，操作的难易度及译文质量（包括译文的忠实度、译语的可懂度和译文的可接受性）欧共体评估：识别（译文的得懂度、忠实度、连贯度、有用性、读取速度和译文的可接受性）和语言方面（句子结构和语义的连贯性、词汇评价、翻译错误）可懂度、忠实度和译文的可接受性梁茂成和李刚英汉机器翻译中人称代词的处理徐州师范大学外语系汉语术语分析语，词序、虚词等来表达各种语法关系；英语属于综合语，通过词本身的形态变化来表示英语中人称代词的使用频率要远远高于汉语汉语属于孤立性语言，英语为粘着性语言原因：1. 汉语表示所属关系的物主代词往往可以省略2. 英语中大量使用反身代词反身代词：（译星对反身代词处理较为得当）1. 英语较汉语大量使用反身代词2. 汉语反身代词具有独立的指称功能，英语则依附于其他代词或名次，无独立的指称功能。英汉第二人称代词的差异You是你还是你们？英语代词的预指功能人称代词在机器翻译中的处理1. 调整语法信息库（代词的主要作用是代替名词）2. 条件句自动评分技术陆军，梁颖红，陆玉清，李斌，姚建民多分类器融合技术在自动作文评分中的应用分类器：贝叶斯、K近邻和支持向量机自动作文评分（Automated Essay Scoring，AES）国外主观题自动评分系统：E-rater、IEA(Intelligent Essay Assessor)、PEG(Project Essay Grade)国内最早涉足作文评分领域：梁茂成教授中国学习者英语语料库（Chinese Learner English Corpus）对作文中的错误进行了详细标注、分类和统计作文内容的特征（作文中的单词和短语，即通常的Uni-Gram、Bi-Gram和Tri-Gram模型）考察作文的主题和内容语言学特征：浅层的语言学特征（句子个数、句子平均长度、单词平均长度、单词个数）考察作文的形式复杂的语言学特征（作文中的语法、单词的词性、连接词、各种类型错误个数）考察作文的语法、连贯性和错误特征筛选：文档频率（Document Frequency，DF）、信息增益（Information Gain，IG）、统计量（Chi-square Statistic, CHI）文本分类算法朴素贝叶斯（Nave Bayes）假定各种特征之间相互独立。性能不稳定，易受分类任务的影响。K近邻（K-Nearest Neighbor）要求有较高质量的训练集，K值确定比较难支持向量机（Support Vector Machine，SVM）基于结构风险最小化理论评价分类结果的好坏：准确率p、召回率r和F1测度E-rater商用机器评分系统，准确率计入相邻分数所有分类方法的效果都要低于它们在其他方面的分类效果原因：四级作文本身的特点和各分数作文的篇章数的分布情况结束语：语言学特征更能体现作文的水平 NLP技术曹亦微，杨晨使用潜语义分析的汉语作文自动评分研究评分方式1. 依靠精确的分析和提取反映文章质量的指标进行评分，指标大多是语法层面上的；（PEG）2. 另一种是整体评分，综合使用了文章的词语使用、论述结构、句法结构以及内容和语义等方面的特征（e-rater：统计方法+自然语言处理技术）。潜语义（LSA，latent Semantic Analysis）葛诗利，陈潇潇文本聚类在大学英语作文自动评分中应用文本聚类把作文按内容的相似程度聚集到一起，形成一棵内密外疏的聚类树。识别跑题作文文秋芳：“作文内容能够解释作文总体质量56%的差异”内容评价：采用文本自动层级聚类优点：不需要事先基于大规模标注训练集构建评价模型PEG侧重结构分析，较高的评分准确率，忽略内容，更多地注重表面结构IEA 只基于潜伏语义分析测量的是“文本的内容和学生作文中所传达的只是，而不是作文的风格或语言”，适用于本族语作文（基本没有较大语言失误）单独的潜伏语义分析用于外语作文评分显然不够BETSY基于文本分类技术E-rater，IntelliMetric，语言质量和内容兼顾，适用外语作文自动评分E-rater内容分析采用了向量空间模型，作文首先转化为词频的向量，再合并语言质量得分层级聚类：自底向上（Bottom-up合并聚类）和自顶向下（Top-down分割聚类）常见文档聚类算法：k-means算法（分割）凝聚层级算法（Hierarchical Agglomerative Clustering，HAG 层级算法）建立特征向量TF-IDF（Term Frequency-Inverse Document Frequency）葛诗利，陈潇潇大学英语作文自动评分研究中的问题及对策四个难题：评分标准、针对性、通用性和人机界面的划分作文自动评分研究使用技术：计算机统计技术、自然语言处理技术、信息检索技术和人工智能技术马希文 计算机解决问题前提条件：第一， 必须把待解决的问题形式化第二， 这种问题必须是可计算的第三， 这种问题必须有一个合理的复杂度，要避免指数爆炸语言：人工选取特征和机器统计加权非英语专业大学生作文语言使用特征：词汇、短语、句法、搭配和错误PEG统计文章长度、各种词类的数量、词长的变化（浅层文本特征）IEA使用词汇统计，实义词的统计E-rater基于词汇统计（内容），浅层文本特征（语言）把内容评分转换为词汇向量的统计比较针对语言使用的评分，低分段评分准确率非常高，中、高分段，尤其是高分段准确率较低梁茂成、文秋芳国外作文自动评分系统评述及启示信度（reliability）效度（validity）PEG（Project Essay Grade）重语言形式实现步骤：变量提取多元回归分析多元回归得到的beta值代入计算机程序换算出作文得分IEA（Intelligent Essay Assessor）重作文内容矢量空间模型（Vector Space Model VSM）过滤干扰信息，提取数据中的潜在语义结构潜在语义结构 词汇项（即词汇）文档矩阵 term-by-document matrix之后对矩阵进行奇异值分解（Singular Value Decomposition，SVD）把原来矩阵分解为三个不同矩阵，再重建一个新的维度较少的矩阵E-rater既重形式又重内容一个模块结构的混合评分系统基于线性回归模型三个模块：第一模块，话语（discourse）结构，即篇章结构，依靠搜索提示词（In summary）实现第二模块，句法多样性（syntactic variety）分析语言质量第三模块，内容（content）分析模块，通过矢量空间模型，观察作文中是否包含了足够的与作文题目高度相关的主题词。不足：a) 对语言质量的分析主要考虑的知识作文的句法多样性，（语言质量的分析应该包括：词汇、句法、语言的准确性）b) 与IEA相比，内容质量分析模块显然尚有提高的余地（E-rater基于主题词分析技术，IEA使用潜伏语义分析法是一种降维技术，可以有效去除文本中的干扰信息）c) 篇章结构分析模块靠搜索作文中的 In conclusion等话语标记语，容易被考生识破，导致不利的反拨作用（wash back effect）评价评分的合理：评分的效度评分模型中的内核技术问题多元回归统计技术，以多个文本特征作为自变量，以人工评分作为因变量（基本技术）自然语言处理技术，挖掘变量信息检索技术分析学生作文的内容质量韩宁几个英语作文自动评分系统的原理与评述PEG最早 目标变量trin，相关变量proxIEA 需要较少的训练集E-rater（ETS Education Testing Service，目前正在使用）和CriterionCriterion作文评分和评价服务系统，综合了E-rater和Critique（诊断文章中的语法和用法错误）IntelliMetric,核心技术是基于人工智能理论开发的，是一种模仿人脑思考的过程并将专家的智慧合成起来的学习机器分析和每篇文章每个具体分数点相伴随的语言的特征分数量表和评分规则分析的变量多非线性，多维度，建立在多个数学模型之上并且支持语言的作文评分My Access！为语言教学服务针对美国的教育 体系和教育环境的写作评价工具，学生可以得到迅速的结构化的反馈和诊断报告BETSY目前属于管理学研究生招生委员会GMAC（Graduate of Management Admission Council）核心原理是：贝叶斯方法反垃圾邮件：所有受到的邮件要与经分类的邮件进行相似性比较，凡和垃圾邮件非常相似的要被拒之门外；文献分类：多元贝努利模型（将每篇作文看做是所关注的作文的优劣特征的特例，关注是否一个特定的特征在一篇文章中存在）和多项模型（把每篇作文看做是我们所关注的作文的优劣特征的样本，关注一个特定的特征在一篇文章中是否多次出现）共同点：第一， 需要大量训练集第二， 除了给出总分之外，强调在写作各个方面提供尽可能详细的反馈信息第三， 与人工评分之间的一致性葛诗利，陈潇潇中国EFL学习者自动作文评分探索Write认识Workbench（WWB）工具包，给读者在拼写、措词及可读性方面提供反馈，包括拼写检查程序，措词程序和计算可读性程序E-rater采用了基于NLP的工具包，如：词性标注器、句法分析器、篇章分析器和词汇相似性度量器，采用了基于语料库的方法建模。前三个模块+第四个模块（用来选择和加权对作文评分具有预测力的特征）+第五个模块（计算最后得分）E-rater仍然侧重于内容AES目标：为学生提供一个基于网络的写作环境，反馈很重要IEA前提条件：100篇已评分的作文作为训练预料；样板作文和知识源材料；未评分作文集的内部比较陈潇潇，葛诗利自动作文评分研究综述作文自动评分系统：基于统计、自然语言处理以及人工智能（1999年付诸实用）优点：可靠性、客观性、经济性、及时性、互动性PEG 标准多元回归回归系数评分特征：1. 作文长度写作的流畅性；2. 介词、关系代词表明句子结构的复杂性、多样性；3. 词长变化表明文章的措辞情况（因为非常用词一般都比较长）评分原理：1. 从经过人工评分的作文中统计出上述prox指标，2. 然后以这些prox指标为自变量，和人工分数3. 做标准多元回归，得出回归系数，建立回归方程。4. 再将待测作文的prox指标代入回归方程，进行自动评分。其假定前提：作文的质量好坏可以通过统计得来的prox指标体现IEA （智能评分系统）基于潜在语义分析工作原理：1. 将一个文件和其所使用的单词放到一个二维语义空间矩阵，借助单值分解的矩阵代数法进行转换，得到新矩阵（横行是单词，纵列是单词所在的上下文，数字代表单词频率）2. 根据词频，赋予每个词权重，词频越高，权重越低3. 再经过一次SVD转换，把矩阵分成三个单维的子矩阵4.余弦相关指标，检验学生作文和标准答案的相似性程度E-rater （电子评分员）关注语言形式句法分析器篇章分析器作文主题分析器和论点主题分析器模型构建评分逐步线性回归，在56个变量中进行筛选，建立回归方程问题：不能判别语法正确、但内容空洞的作文IntellMetric 评估了语义、句法、篇章3个层次300多个特征BETSY 概率论，文章非为优、良、合格、不合格 80%准备率 与测试结果不同朴素贝叶斯：朴素 假设条件独立C-rater（Conceptual Rater内容性评分工具）不需要训练集，只需要标准答案Automark（简答题自动评分）评分过程：1. 把回答文字的标点和拼写法规范成标准形式；2. 进行句子分析，分析每一个句子的语义与上下文联系3. 与模板进行匹配，看学生作文的语法成分和评分模板里的哪一类最为匹配4. 得出匹配结果模板信息：包括拼写、输入、句法、语义四方面的错误SEAR（Schema Extract Analyses and Report，提取要素评分法）李亚男汉语作为第二语言测试的作文自动评分研究研究样本少数名族汉语水平考试三级作文研究方法多元线性回归分析，45个可量化的评分要素作为自变量，老师分数为因变量，利用逐步回归（stepwise）和强迫输入回归（enter）提取变量，进行多元线性回归分析