Erlang零成本实现云计算讲义

Erlang零成本实现云计算

余锋（褚霸）淘宝网技术专家

中国软件技术大会北京2010

议题1.Erlang天生适合云计算

2.Erlang并行计算的效率

3.Erlang云计算基础构件

4.Erlang集群管理和维护

5.讨论Erlang是什么?通用的语言和运行环境内置并发,集群,容错机制电信和互联网行业大规模部署应用

经过时间验证的成熟商业系统Erlang的历史很老的FP语言,始于80年代末爱立信投资10亿美金主导开发EPL版权方式开源需要记住的几个年份1987

ThefirstexperimentswithErlang.

1993

DistributionisaddedtoErlang.2006

SMPsupportisaddedtoErlang.云计算定义云计算就是应用公共网络设施对逻辑的组建，像水和电一样融入大家的生活，为用户提供海量一站式的服务.-腾讯首席执行官马化腾

Cloud="CPU+Storage+Queues+Management"

-TheAmazonWebServicessaysessentiallyErlang的进程,天上的云"Erlangwasbuiltfromthegroundupforconcurrency.

Notjustinasinglemachine,butinclustersofmachines.

Lotsofmachines.

Lostofmachinesrunningmanyprocesses.

Soundslikeacloud,right?"-ColinClark语言和虚拟机天生可伸缩

函数式语言，方便排错轻量级进程异步消息机制软实时代码热升级最COOL的语言特性:内置集群和分布的基础设施和库进程分布和名称同步管理进程和节点容错管理rpcgen_servermnesia数据库

稳定性In1998,theEricssonAXD301switchwasannounced,containingoveramillionlinesofErlang,andreportedtoachieveareliabilityofnine"9"s.

-JoeArmstrongErlang零成本云计算适用的领域

互联网应用服务器消息推送系统

网关代理服务器软实时的服务集群管理

Erlang社社区区快快速速壮壮大大,见见证证云云计计算算的的增增长长小结结Erlang天天生生适适合合特特定定领领域域的的云云计计算算议题题1.Erlang天天生生适适合合云云计计算算2.Erlang并并行行计计算算的的效效率率3.Erlang云云计计算算基基础础构构件件4.Erlang集集群群管管理理和和维维护护5.讨讨论论Erlang语语言言运运行行和和开开发发效效率率纯Erlang的的运运行行效效率率大大概概是是C的的1/5，，编编码码效效率率是是C的的7倍倍，，在在脚脚本本语语言言中中属属于于中中等等水水平平.但但是是云云计计算算不不仅仅仅仅是是纯纯计计算算,任任务务调调度度和和集集群群管管理理是是Erlang的的强强项项,从从而而拉拉升升系系统统的的整整体体表表现现.第三三方方独独立立评评测测网网站站TheComputerLanguageBenchmarksGame摩托托罗罗拉拉C/Erlang开开发发效效率率比比较较Erlang对对SMP的的支支持持从2006年发发布布的的R11B开开始始.SMP开开发发人人员员的的信信条条:"SMPshouldbetransparenttoprogramersinmuchthewayaserlangdistribution."-UlfWiger,EricssonABErlang进进程调度度及策略略调度器看看起来很很像操作系统统，实际上上Erlang的第一一个进程程名字叫叫做otp_ringFullloadornot多个运行行队列，，动态迁迁移进程程Erlang调调度器的的伸缩性性小消息，，大计算算原则架构设计计方面的的考虑不共享没有显式式的同步步并发导向向的编程程进程是低低廉的,和现实实世界对对象1:1模型型所有无依依赖的任任务,都都抽象为为进程并并发执行行终止的进进程,一一切都是是垃圾,资源集集中回收收简洁为王王Erlang技技术发展展路线图图虚拟机的的运行期期持续改改进计划划涵盖了了对众核和NUMA体系结构构的支持持，保证证了它在在未来新新的硬件件体系结结构下能能持续获获得更好好的性能能。小结Erlang并并行计算算效率高高议题1.Erlang天天生适合合云计算算2.Erlang并并行计算算的效率率3.Erlang云云计算基基础构件件4.Erlang集集群管理理和维护护5.小小结从Vmware收购谈谈起...Vmware计算虚拟拟化Redis存储RabbitMQ消息交换换系统我们可以以清楚的的看到云云计算的的三个基基础设施施!存储系统统(noSQL)CouchDBRiakMembase消息交换换系统RabbitMQEjabberdWEB服服务器MochiwebErlywebMap/Reduce系统Disco小结Erlang基基础设施施齐全,开发成本低低议题1.Erlang天生适合合云计算2.Erlang并行计算算的效率3.Erlang云计算基基础构件4.Erlang集群管理理和维护5.讨论论集群特点及及规模集群全连通通或者分区区连通访问授权:nothingorall策策略节点规模可可强力伸缩缩节点热插拔拔规模可达上上千台典型系统的的集群进程程组织图异构性不同的平台台Windows（smp支持持的有待改改进）*nix不同的体系系结构无需关心endianess问题工业级协议议的支持（（asn.1,snmp等等）强大的交互互性,与与其他遗留留系统整合合NIFC节点（ei)Java(jinterface)CobraTCP/HTTP内置RPC部署Standalone发布，，无需单独独安装Erlang运行期不停机维护护在线升级，，系统同时时运行新旧旧代码发现问题在在线降级工具化,一一切自动动化代码安全代码可远程程从网络加加载,Diskless减减少维护的的成本代码可加密密,强加加密防止反反编译远程维护强大的内置置shellssh/sftp可集中管理理的日志系系统监控功能OSmonSNMPHTTP小结Erlang集群管管理成本低低议题1.Erlang天生适合合云计算2.Erlang并行计算算的效率3.Erlang云计算基基础构件4.Erlang集群管理理和维护5.讨