Spark大数据技术项目实战 课件 项目二 使用Scala实现人事管理系统

许斌/0181932025.11.17新开发使用Scala实现人事管理系统

学完本课程后，您将可以：能够搭建Scala开发环境能够掌握Scala的基本语法能够使用Scala实现简单编程能够使用Scala开发完成案例01搭建Scala开发环境02学习Scala基本语法03实现人事管理系统401搭建Scala开发环境Scala是什么Scala这一名称来自“ScalableLanguage”的缩写，意为“可伸缩的语言”，旨在其可以适应不断变化的编程需求Scala是一种集面向对象和函数式编程优点于一身的现代多范式编程语言Scala语言由马丁·奥德斯基（MartinOdersky）和他的团队在2003年开发Scala=Java+函数式编程Scala作为一种运行在Java虚拟机（JVM）上的语言，Scala能够无缝地利用Java的丰富类库资源Scala的特点面向对象函数式编程静态类型扩展性兼容性Scala是一种纯面向对象的语言，每个值都是对象，包括数字、函数和数组。Scala支持高级的面向对象特性，如类继承、抽象类、接口（特质Trait）和对象组合Scala同样支持函数式编程范式。它提供了不可变数据类型，以及将函数作为一等公民的能力。这意味着函数可以被作为参数传递，可以作为结果返回，以及可以被赋值给变量尽管Scala是静态类型的语言，它的类型系统是非常灵活的，支持泛型、类型推导以及复合类型等。静态类型系统在编译时期就能够捕捉到很多错误，这是动态类型语言难以比拟的Scala的设计允许以一种非常自然的方式来扩展语言本身。通过隐式转换和宏，用户可以在不改变语言语法的情况下，引入新的语言结构由于Scala是运行在JVM上的，它可以非常容易地与Java代码和库进行互操作。这为Scala的使用提供了极大的灵活性和强大的生态系统支持。ScalaScala的这些特点不仅在大数据处理领域表现出色，也完美适用于各类通用软件开发场景搭建Scala开发环境-下载Scala官网下载注意：2.12.x与2.13.x并不兼容，需要独立升级搭建Scala开发环境-安装Scala搭建Scala开发环境-安装Scala搭建Scala开发环境-安装Scala搭建Scala开发环境-校验Scala安装是否正确Win+R搭建Scala开发环境-校验Scala安装是否正确输入scala命令VSCode运行Scala代码Scala代码的4种运行方式运行方式操作步骤适用场景CMD命令行窗口记事本IDE（集成开发环境）SBT环境在命令行工具中输入“scala”命令以进入Scala交互式环境，随后可在此环境中直接输入并执行代码段适合快速测试和交互式编程使用文本编辑器新建并编写Scala代码，保存为“.scala”文件后，通过执行“scalac文件名.scala”进行编译适用于简单的代码编写和学习练习在VSCode或IDEA等集成开发环境中创建Scala项目，编写代码后可直接运行。对于需要用户输入的情况，只需在运行配置中预先设定即可适合大型项目开发和代码调试启动命令行工具，输入“sbtconsole”命令进入SBT控制台，此时可在此环境中录入并执行所需的Scala代码段适用于需要构建和管理Scala项目的场合VSCode方式运行Scala-下载VSCode官网下载VSCode方式运行Scala-安装VSCodeVSCode方式运行Scala-安装VSCodeVSCode方式运行Scala-安装VSCode插件安装官方提供的Scala(Metals)插件，该插件支持语法高亮、代码补全等功能编写第一个Scala程序编译Scala程序执行编译命令：

scalac源文件名.后缀名

注意：Scala源文件编译后将生成class文件（与Java相同）运行Scala程序执行运行命令：

scalaclass文件名

注意：运行scala程序时，不要添加文件后缀名如何编译和运行Scala程序？

Scala与Java之间有关系吗？Scala是否可以直接使用Java的SDK库？

讲解了Scala语言简介讲解了Scala语言特点讲解了Scala开发环境搭建讲解了Scala程序运行2402学习Scala基本语法基本语法和结构在Scala中，import语句用于将类、接口、对象或方法从其他包引入到当前代码文件中包导入在Scala中，可以使用var和val来声明变量变量声明函数定义的基本格式是deffunctionName(parameters):函数定义Scala中的for循环非常强大，它可以用作传统的迭代循环，也可以用于操作集合或序列的元素循环Scala程序的入口点是定义为main的方法主函数Scala中的if-else结构与Java非常相似，但Scala提供了更丰富的表达式语法条件语句数据类型与操作-类型别名importscala.collection.immutableobjectDataTypesAndOperationsExample{//类型别名typeStudentGrades=immutable.Map[String,Double]...}它提供了一种方式来给复杂的类型命名，以提高代码的可读性和易用性类型别名typeStudentGrades=Map[String,Double]定义了一个类型别名StudentGrades，它简化了Map[String,Double]的表示，使代码更加清晰数据类型与操作-字符串插值defmain(args:Array[String]):Unit={//字符串插值valschoolName="Scala高中"println(s"欢迎来到$schoolName！")}通过字符串插值可以方便地构造字符串，允许在字符串文字中嵌入表达式的值字符串插值s插值器(s"...")：用于简单的情形，其中字符串文字中的表达式被替换为它们的字符串表示形式Scala提供两种主要的插值器f插值器(f"...")：用于格式化字符串，可以指定格式选项，比如浮点数的精度等数据类型与操作-Map集合defmain(args:Array[String]):Unit={

//集合（Map）和类型推断valgrades:StudentGrades=immutable.Map("Alice"->95.5,"Bob"->87.0,"Charlie"->92.5)}Scala中的Map是一个键值对集合，其中每个键都关联一个值Map集合使用immutable.Map创建了一个不可变集合来存储学生的名字和成绩。通过“->”操作符添加元素到集合中，对于不可变Map，可以使用“+”操作符创建一个包含新元素的新Map。对于可变Map，可通过“+=”操作符更新Map数据类型与操作-类型推断defmain(args:Array[String]):Unit={

//计算平均成绩valaverageGrade=grades.values.sum/grades.sizeprintln(f"班级平均成绩是:$averageGrade%.2f")}在Scala中如果未显式声明变量的类型，编译器会自动推断出最合适的类型类型推断在代码中，虽然未明确声明averageGrade的类型，但Scala编译器根据其值自动推断出它是Double类型面向对象编程-类与对象（普通类）普通类//普通类classEmployee(privatevar_name:String,privatevar_salary:Double){//封装：使用私有字段和公共方法defname:String=_namedefsalary:Double=_salarydefsalary_=(newSalary:Double):Unit={if(newSalary>0)_salary=newSalary}}Scala普通类定义比Java更简洁，成员变量可直接声明在类体中，无需显式构造器赋值普通类面向对象编程-类与对象（单例对象）单例对象//单例对象objectHRSystem{privatevalemployees=scala.collection.mutable.ArrayBuffer[Employee]()defaddEmployee(employee:Employee):Unit={employees+=employee}defprintAllEmployees():Unit={employees.foreach(println)}}在Scala中，单例对象是只初始化一次的单例模式实例单例对象面向对象编程-类与对象（caseclass)caseclass//caseclasscaseclassDepartment(name:String,head:Employee)用于创建不可变的数据结构，通常用于模式匹配caseclass面向对象编程-封装（私有字段与公共方法）私有字段//私有字段classEmployee(privatevar_name:String,privatevar_salary:Double){...}用于创建不可变的数据结构，通常用于模式匹配私有字段在scala中所有方法默认为公共方法，可在任何位置访问公共方法公共方法//公共方法defsalary_=(newSalary:Double):Unit={if(newSalary>0)_salary=newSalary}面向对象编程-方法重载方法重载//方法重载

defpromote(amount:Double):Unit={salary+=amount}defpromote(percentage:Int):Unit={salary*=(1+percentage/100.0)}即同一个方法名可以根据传入参数的不同（Double类型或Int类型），执行不同的逻辑方法重载面向对象编程-命名约定命名约定小驼峰命名法大驼峰命名法用于方法和变量名（如addEmployee,printAllEmployees），除了第一个单词外，每个单词的首字母都大写用于类名（如Employee,Department），每个单词的首字母都大写，不使用下划线面向对象编程-扩展说明caseclass特性可变与不可变集合与普通类相比，caseclass自动具备一些功能，如模式匹配、自动生成的toString方法等在HRSystem中使用了可变的ArrayBuffer来存储雇员，这在多线程环境下可能会导致问题。对于并发程序设计，推荐使用不可变集合函数式编程-模式匹配类似于Java中的swichcase语法，即对一个值进行条件判断，然后针对不同的条件，执行相应的操作模式匹配模式匹配//模式匹配

defdescribeBook(book:Book):String=bookmatch{caseBook(_,title,"MartinOdersky",_)=>s"《$title》是Scala的创始人编写的书"caseBook(_,title,author,price)ifprice>40=>s"《$title》是一本昂贵的书，作者是$author"caseBook(_,title,author,_)=>s"《$title》的作者是$author"}函数式编程-Option和EitherOption类型是函数式编程中处理可能的空值的一种方式。它有两种形式：Some(value)表示存在值，而None表示不存在值。这避免了直接使用null，从而减少了空指针异常的风险OptionEither类型用于表示操作的两种可能结果：右侧(Right)通常表示成功的结果，而左侧(Left)表示某种形式的失败或错误EitherOption与Either区别Scala中Either和Option是两种用于处理可能缺失或失败结果的类型，但它们的设计目的和使用场景有显著区别Opiton用于处理可能为空的值（仅区分存在与否，不提供错误信息）；Either用于处理可能失败的操作（Left通常承载错误信息，Right表示成功结果）函数式编程-不可变性Scala的不可变性是指一旦创建集合（如List、Vector等），其元素和结构无法被修改，任何操作都会返回新的集合实例（这种设计提升了线程安全性和函数式编程的友好性）不可变性核心特性线程安全：不可变集合无需同步机制，多个线程可安全共享引用函数式友好：支持链式操作且不产生副作用，符合纯函数原则持久化数据结构：通过共享节点优化内存使用，修改操作仅生成新实例函数式编程-不可变性Scala鼓励使用不可变数据结构和纯函数式操作，以增强代码的线程安全性、可测试性和可维护性使用caseclass定义不可变的类使用不可变的Map存储数据使用函数式操作处理数据caseclass自动为它的字段生成了一些有用的方法（如equals、hashCode和toString），并且它是不可变的，意味着一旦创建，其状态就不能被修改与可变的HashMap不同，Scala中的Map默认是不可变的，这意味着一旦创建，就不能添加或删除元素。这鼓励了纯粹的函数式操作，避免了副作用通过使用filter、map、sum等高阶函数，可以对集合进行复杂的操作，而不需要改变原始数据。这种操作方式避免了直接修改数据，使得代码更加清晰且易于理解和维护控制台输入与输出控制台输入输出是指通过标准输入(stdin)从用户那里读取数据，以及通过标准输出(stdout)向用户显示信息的过程输入函数：StdIn.readInt()输出函数：println(...)和print(...)它是Scala的一个标准输入函数，用于从控制台读取用户输入的整数。如果用户输入的不是一个有效的整数，那么这个函数会抛出一个异常。是Scala的标准输出函数，分别用于打印字符串并在末尾添加换行符以及打印字符串但不添加换行符。在这个例子中，它们被用来向用户展示信息或者提示文件输入与输出文件输入输出是指程序与外部文件系统进行数据交换的过程，包括从文件读取数据（输入）和向文件写入数据（输出）输入函数：PrintWriter()输出函数：scala.io.Source它是Java的一个类，用于将文本写入文件它是Scala的一个类，用于从文件中读取文本错误处理-EitherScala中使用Either[A,B]类型来表示可能失败的操作结果的方法，其中Left表示错误信息，Right表示成功结果，允许以函数式和类型安全的方式处理和传播错误valwriteResult=writeToFile(filename,content)writeResultmatch{caseRight(_)=>println("文件写入成功。")caseLeft(error)=>println(s"文件写入错误:$error")}异常处理异常处理是用于捕获、处理和管理程序执行过程中可能发生的异常情况或错误，以确保程序能够优雅地响应并从这些异常中恢复，而不是突然终止defreadFromFile(filename:String):Either[String,String]={try{valsource=scala.io.Source.fromFile(filename)try{Right(source.mkString)}finally{source.close()}}match{caseSuccess(content)=>contentcaseFailure(e)=>Left(s"读取文件失败:${e.getMessage}")}}高级特性-泛型泛型是一种允许在定义类、接口和方法时使用类型参数的编程技术，使得代码可以独立于具体的数据类型而工作泛型泛型//泛型特质（类型类）traitPrintable[A]{defformat(value:A):String}//泛型类caseclassBox[A](value:A)高级特性-隐式转换和隐式类隐式转换和隐式类是Scala中的特性，允许编译器自动应用某些转换或添加方法到现有类型，以增强代码的灵活性和表达能力隐式转换和隐式类隐式转换和隐式类//隐式类（用于扩展方法）implicitclassPrintableOps[A](value:A){defformat(implicitp:Printable[A]):String=p.format(value)}//隐式转换implicitdefboxToValue[A](box:Box[A]):A=box.value高级特性-类型类类型类是一种设计模式，允许在不修改原有代码的情况下，为不同类型添加新的行为或接口类型类类型类//隐式值（类型类实例）implicitvalintPrintable:Printable[Int]=newPrintable[Int]{defformat(value:Int):String=s"Int:$value"}高级特性-高阶函数高阶函数是可以接受其他函数作为参数或返回函数的函数，增加了代码的抽象能力和灵活性高阶函数高阶函数//高阶函数deftwice[A](f:A=>A):A=>A=x=>f(f(x))//使用高阶函数valdouble:Int=>Int=x=>x*2valquadruple=twice(double)println(s"4的4倍:${quadruple(4)}")//输出:4的4倍:16高级特性-柯里化柯里化是将接受多个参数的函数转换为一系列接受单个参数的函数的技术柯里化柯里化//柯里化defadd(x:Int)(y:Int):Int=x+y//使用柯里化valadd5=add(5)_println(s"5+3=${add5(3)}")//输出:5+3=8高级特性-偏函数偏函数是只对其定义域的一个子集有定义的函数，允许更精确地控制函数的应用条件偏函数偏函数//偏函数valdivide:PartialFunction[Int,Int]={casedifd!=0=>100/d}println(s"100/4=${divide(4)}")//输出:100/4=25println(s"是否定义了100/0:${divide.isDefinedAt(0)}")高级特性-尾递归优化尾递归优化是编译器将尾递归函数转换为迭代形式的技术，避免了栈溢出的风险，使递归更加高效尾递归优化尾递归优化//尾递归优化@scala.annotation.tailrecdeffactorial(n:Int,acc:BigInt=1):BigInt={if(n<=1)accelsefactorial(n-1,n*acc)}println(s"10的阶乘:${factorial(10)}")//输出:10的阶乘:3628800（单选）Scala程序的主函数正确的定义格式是？（

）defmain():Unit={}defmain(args:Array[String]):Unit={}publicstaticvoidmain(String[]args)functionmain(args){}

Scala中如何实现单例设计模式？讲解了Scala语言的基本语法与结构讲解了Scala语言的数据类型与操作讲解了Scala语言的面向对象编程讲解了Scala语言的函数式编程讲解了Scala语言的输入输出和异常处理讲解了Scala语言的高级特性5503实现人事管理系统人事管理系统需求介绍56薪资管理模块人事管理机系统员工信息管理模块提供员工信息管理，支持新增、删除、修改和查询员工基本信息，包括姓名、工号和职位。同时，系统也管理员工的薪资数据，包括基本工资、奖金和扣款等，确保数据的准确性，以支持人力资源决策具备智能化的薪资管理，可以根据员工的基本工资、奖金和扣款计算最终的薪资。通过薪资管理模块，可以自动计算薪资，保证薪资计算的准确性、公正性和合规性，有效执行和调整企业薪资政策系统架构与技术设计员工类（Employee）人事管理系统类（HRSystem）主函数（Mainobject）人事管理系统系统架构与技术设计-员工类（Employee）

员工类（caseclass

Employee）员工ID：String姓名：String职位：String薪资：Double系统架构与技术设计-人事管理系统类（HRSystem）

人事管理系统类（class

HRSystem）员工映射表：mutable.MapaddEmployee(employee:Employee):添加员工信息deleteEmployee(id:String):根据ID删除员工记录updateEmployee(employee:Employee):更新或新增员工信息getEmployee(id:String):通过ID获取员工信息calculateSalary(id:String,bonus:Double,deduction:Double):计算指定员工在奖金和扣款影响下的薪资系统架构与技术设计-主函数（Mainobject）

主函数（Mainobject)作为程序入口，通过无限循环与用户交互展示操作菜单，根据用户输入调用HRSystem相应方法支持添加、删除、修改、查询员工信息，计算薪资以及退出系统使用match语句处理用户选择，确保输入的有效性，对于无效的操作将会提示用户重新输入，提升用户体验需求功能实现-定义员工类（Employee）//定义员工类

caseclassEmployee(id:String,name:String,position:String,salary:Double)需求功能实现-创建人事管理系统类（HRSystem）classHRSystem{privatevalemployees=mutable.Map[String,Employee]()

//...各种方法...}需求功能实现-定义人事管理类方法//添加员工defaddEmployee(employee:Employee):Unit={employees(employee.id)=employee}//删除员工defdeleteEmployee(id:String):Unit={employees.remove(id)}64//修改员工信息defupdateEmployee(employee:Employee):Unit={employees(employee.id)=employee}//查询员工信息defgetEmployee(id:String):Option[Employee]={employees.get(id)}65//计算薪资defcalculateSalary(id:String,bonus:Double,deduction:Double):Option[Double]={employees.get(id).map(e=>e.salary+bonus-deduction)}需求功能实现-编写主函数objectMain{defmain(args:Array[String]):Unit={//...与用户交互逻辑...}}在main方法内，需要实现的逻辑如下：初始化一个HRSystem实例hrSystem，用于处理人事管理操作设立一个布尔变量running，初始值为true，用于控制循环是否继续在循环内部，展示操作菜单供用户选择，如“1.添加员工”，“2.删除员工”等读取用户输入的整数（代表所选操作），并使用match语句根据用户选择调用相应的方法需求功能实现-编写主函数valhrSystem=newHRSystem()varrunning=truewhile(running){println("请输入操作：1.添加员工2.删除员工3.修改员工4.查询员工5.计算薪资6.退出")valoperation=scala.io.StdIn.readInt()operationmatch{case1=>

68println("请输入员工ID、姓名、职位和薪资：")valid=scala.io.StdIn.readLine()valname=scala.io.StdIn.readLine()valposition=scala.io.StdIn.readLine()valsalary=scala.io.StdIn.readDouble()hrSystem.addEmployee(Employee(id,name,position,salary))case2=>println("请输入员工ID：")

69valid=scala.io.StdIn.readLine()hrSystem.deleteEmployee(id)case3=>println("请输入员工ID、姓名、职位和薪资：")编译代码终端输入

scalac*.scala

命令，编译所有scala源文件运行代码终端输入

scalaMain

命令，运行Main程序代码优化代码优化防止数据冲突与冗余提升用户体验与程序反馈清晰度增强数据输入有效性与程序健壮性代码优化-防止数据冲突与冗余在添加或更新员工信息时，若不检查ID是否存在并询问用户是否覆盖，可能导致同一ID对应多条数据（更新时）或重复记录（添加时）。通过提示并确认，可确保数据一致性，避免信息混乱，修改代码如下：//添加员工defaddEmployee(employee:Employee):Unit={

if(employees.contains(employee.id)){//这里可以询问用户是否要更新println(s"员工ID为${employee.id}的员工已存在,是否要更新?")}else{employees(employee.id)=employee}}74//修改员工信息defupdateEmployee(employee:Employee):Unit={

if(!employees.contains(employee.id)){println(s"员工ID为${employee.id}的员工不存在.")}else{employees(employee.id)=employee}}代码优化-提升用户体验与程序反馈清晰度

当查询或计算薪资涉及的员工ID不存在时，直接返回“None”对用户而言可能难以理解。提供明确的错误信息，如“员工ID未找到”，有助于用户快速识别问题所在，提高系统易用性及交互友好度。修改后的代码如下：//查询员工信息defgetEmployee(id:String):Either[String,Employee]={

employees.get(id)match{caseSome(employee)=>Right(employee)caseNone=>Left(s"员工ID为$id的员工不存在.")}}76//计算薪资defcalculateSalary(id:String,bonus:Double,deduction:Double):Either[String,Double]={

employees.get(id)match{caseSome(employee)=>Right(employee.salary+bonus-deduction)caseNone=>Left(s"员工ID为$id的员工不存在.")}}代码优化-增强数据输入有效性与程序健壮性

当查询或计算薪资涉及的员工ID不存在时，直接返回“None”对用户而言可能难以理解。提供明确的错误信息，如“员工ID未找到”，有助于用户快速识别问题所在，提高系统易用性及交互友好度。修改前后的代码对比如下：valoperation=scala.io.StdIn.readInt()operationmatch{case1=> ...valsalary=scala.io.StdIn.readDouble()hrSystem.addEmployee(Employee(id,name,position,salary))valoperation=scala.io.StdIn.readInt()operationmatch{case1=>...valsalary=scala.io.StdIn.readDouble()

if(salary<0){println("薪资必须是非负数.")}else{hrSystem.addEmployee(Employee(id,name,position,salary))}修改前修改后代码优化-提升用户体验与程序反馈清晰度

valoperation=scala.io.StdIn.readInt()operationmatch{...case3=>println("请输入员工ID、姓名、职位和薪资：")valid=scala.io.StdIn.readLine()valname=scala.io.StdIn.readLine()valposition=scala.io.StdIn.readLine()valsalary=scala.io.StdIn.readDouble()hrSystem.updateEmployee(Employee(id,name,position,salary))valoperation=scala.io.StdIn.readInt()operationmatch{...case3=>println("请输入员工ID、姓名、职位和薪资:")valid=scala.io.StdIn.readLine()valname=scala.io.StdIn.readLine()valposition=scala.io.StdIn.readLine()valsalary=scala.io.StdIn.readDouble()

if(salary<0){println("薪资必须是非负数.")}else{hrSystem.updateEmployee(Emp