高翔-龙芯的软件生态与社区工作建设.ppt

page1 2015 11 龙芯软件生态建设 page1 提纲 page2 一 自主信息化发展分析 二 龙芯基础软件生态建设 三 开源社区与社区版操作系统 page2 前所未有的自主信息化实践对国产软硬件系统进行了充分检验 核高基党政军办公示范应用 page3 自主信息化产业发展现状趋势 形成了较为完整的产业链CPU OEM 整机 BIOS OS 数据库 中间件 Office 集成商各基础软硬件产品都有品牌厂商市场应用领域明确党政军OA BAOMI电脑 安全应用领域信息化政策导向清晰 高层决心坚定 推进力度强劲国产基础软硬件系统已经完成第一轮的螺旋迭代功能问题已经基本解决 性能问题也即将解决将逐步走向稳定持续发展的良性轨道迫切需要 围绕产业生态建设 推动国产系统持续健康发展 自主信息化的人才与技术困境分析 人才困境 国内IT人才结构失衡大背景 国内庞大的IT产业建立在国外软硬件系统平台之上应用开发型人才充足 底层基础系统研发人才却极度匮乏国内有几十万JAVA程序员 过去几乎不具备JAVA核心技术JAVA虚拟机的研发能力国内从事浏览器应用的团队数以千计 过去几乎不掌握过浏览器底层JS引擎研发技术国内IT企业极少参加系统相关标准制定 国内软件人才很少向国际开源社区贡献源码技术困境 围绕国产硬件平台的应用软件适配优化缺课严重国产软硬件系统的基础平台层面成熟度 稳定性有待完善过去缺乏大规模的商业和实际应用 不用发现不了问题 更解决不了问题上层应用系统自身设计不足的问题被X86平台超强的硬件性能掩盖掉应用开发对X86架构形成惯性依赖 向国产平台移植后凸显性能瓶颈架构设计 技术方案选型 参数适配调优等工作都基于国外X86架构展开针对国产系统慢的问题 需要拿出科学系统的解释慢在哪儿 为什么慢 性能潜力 优化切入点 page5 龙芯的对策 组建龙芯开源社区 发布龙芯社区版操作系统Loongnix以开放合作的社区模式组织国内厂商和龙芯爱好者参与软件生态建设龙芯开源社区http www loongnix org积极参与到国际开源软件社区的研发工作在内核 媒体 编译器等方面积极参与国际开源软件研发工作向重要开源软件贡献直接 免费 开放的发布重要的API环境软件JAVA 浏览器 QT龙芯优化版 提纲 page7 二 龙芯基础软件生态建设 在主要技术领域形成突破 极大改善国产平台软件生态 page7 page8 基于软件栈的国产系统问题剖析 3年前 操作系统基础设施层面对国产硬件的架构优化薄弱 特性支持匮乏 JAVA 中间件 数据库 办公软件 在线应用 桌面应用 服务器API环境 Linpack Hadoop 内核 驱动 窗口图形系统 浏览器 X11 Gtk 三维图形 视频媒体 LAMP 桌面API环境 服务器应用 操作系统基础设施 重要API环境软件因缺乏责任厂商 功能性能曾存在严重问题 大型应用系统针对国产架构的适配调优环节缺失 基础C C 库 编译器 基础图形库 图像媒体库 MPI Tomcat QT Xlib X11 1国产操作系统基础设施亟需补课 操作系统基础设施 内核 编译器 基础库 图形窗口系统等与系统硬件架构结合紧密 对整体系统性能具有至关重要的影响需要与CPU硬件结构深度磨合 在算法 汇编等多层面进行代码优化研发由国际主要CPU 系统厂商主导 国内OS厂商处于Follower的位置国产OS远远没有挖掘出国产CPU的硬件性能潜力 亟需补课针对国产CPU的架构优化薄弱 特性支持匮乏 优化工作刚刚起步经过优化后的执行效率远远高于原始普通实现 ifX86 SSE 三角函数等专用X86硬件指令 ELSEIFARM Neon指令 GPU等加速接口 ELSEIF龙芯 C C 高级语言实现 Endif 对基础设施进行深度硬件适配调优后 性能常数量级倍优于原始版本 page9 2重要的API支撑软件需要责任厂商 API ApplicationProgrammingInterface 应用程序编程接口是应用程序构筑的基础平台环境 也是软件生态的核心与控制手段服务器JAVA环境 安卓类JAVA开发环境 桌面QT图形 浏览器的JS引擎发展趋势 平台开源化 近期微软 net架构开源 国产生态中 浏览器 QT JAVA等没有责任厂商 出现严重问题 JAVA 桌面QT应用 重要的API环境软件 浏览器Web应用 应用软件与系统 操作系统基础设施 内核 基础库 服务设施 硬件平台 固件 浏览器 媒体编解码 QT图形环境 中间件 Office办公 数据库 JAVA服务器应用 page10 大型应用系统是最凸显国产系统性能瓶颈的场景大型三维GIS应用 复杂在线办公软件网页大型应用系统技术状态分析由成熟的X86系统发展而来软件架构设计 技术选型 参数适配调优等工作都基于X86架构展开未在性能相对减弱国产系统上进行适配软件设计不足的问题容易被X86平台超强的硬件性能掩盖掉适配调优能够显著改善国产系统的应用表现三年前 攻关基地曾暴露的大量性能瓶颈近期在神码 中软等基地 通过应用系统自身优化显著提高了应用性能龙芯近两年来帮助应用开发单位进行系统优化 显著提升了应用性能 3大型应用系统的适配调优环节缺失 page11 优化技术手段 1结合微体系结构特征的模块级算法优化技术结合处理器静态参数特点 对核心循环的算法设计进行结构优化充分考虑指令集特点 SIMD 指令窗口 发射宽度结合处理器动态执行特征 采用汇编进行指令拍级的深度磨合调优最大限度发挥硬件性能潜力 流水线执行 指令调度延迟 功能与总线模块竞争2基于国产处理器结构的编译优化技术前后端优化 支持国产处理器指令集 Cache管理 发射宽度 调度延迟特点3利用国产多核处理器架构特点的并行与分布式优化软法架构设计和解决方案层面的并行与分布式优化技术4大型应用软件综合适配调优技术软件自身设计架构与流程算法的优化发掘出最优的系统配置参数和软件自身配置选项 page12 page12 整机的效率优化案例 某数据库应用HP的X86服务器需要50分钟 龙芯服务器优化前8小时 优化后80秒某图形应用X86i7平台每秒40帧 龙芯平台优化前每秒不到1帧 优化后每秒80帧某指挥系统 GIS 应用X86i7平台每秒20帧 龙芯平台优化前每秒3帧 优化后每秒30帧 国产CPU软件生态现状 补课完成 操作系统基础设施层面优化工作基本完善 JAVA 中间件 数据服务 办公软件 在线应用 桌面应用 服务器API环境 Linpack Hadoop 内核 驱动 窗口图形系统 浏览器 X11 Gtk 三维图形 视频媒体 中间件 桌面API环境 服务器应用 操作系统基础设施 责任企业已具备相应技术能力 API软件产品逐步成熟 大型应用软件基本完成对国产系统的适配 基础C C 库 编译器 基础图形库 图像媒体库 MPI 数据库 QT Xlib X11 page14 领域1 操作系统基础设施 内核 多核负载均衡提高网络性能在多核间轮转调度中断实现网络IO并行化UDP带宽提升17 TCP带宽提升56 层次锁优化提高多核同步性能按节点划分核的层次 分布式分层加锁 降低多核竞争开销Unixbench系统调用性能大幅度提高 page15 媒体解码优化 FFMPEG解码 使用媒体指令等技术深度挖掘CPU软解码能力FFMEPG设计累计接受龙芯优化patch共计31个 代码数量约8367行3A能够流畅软解码H264 720P3A1500及3B能够流畅软解码H264 1080P page16 基础数学库优化 优化手段 龙芯特有指令 内嵌汇编优化 编译选项搜索 page17 领域2 基础图形系统 窗口图形系统人机交互 各类桌面应用的基础支持框架 软件栈梳理的重点目标当前Linux图形系统技术飞速发展 老旧技术被淘汰 新技术不断涌现操作系统基础软件的老旧导致国产硬件系统的图形性能被极大抑制龙芯平台窗口图形系统存在问题各类图形相关的软件库的版本陈旧 功能性能都存在诸多不足基础图形库的龙芯架构相关优化工作匮乏来自显卡厂商的对龙芯平台的显示硬件驱动支持薄弱工作思路 三个层面开展优化工作GPU驱动 基础图形库 图形环境应用适配 page18 page18 基础图形系统分析 针对过去国产平台图形系统共性问题 在三个层面开展优化工作 page19 page19 情况 GPU驱动支持薄弱对策 在GPU驱动级深入分析瓶颈 进行改进 情况 基础图形库的平台架构相关的算法优化工作匮乏对策 定位瓶颈函数与操作 开展汇编与算法优化 情况 QT OpenGL等图形开发环境软件版本陈旧对策 软件版本升级 适配调优 改进上层应用设计 基于Mesa的三维驱动图形优化效果 示例1 osgCity earth 国产平台 龙芯3A800Mhz AMD5450 分辨率1600 900实测性能 帧率49 28fps Vertices402357 示例2 ocean earth 国产平台 龙芯3A800Mhz AMD5450 分辨率1600 900实测性能 50fps Vertices53757 示例3 二维矢量地图mapbox gl 国产平台 龙芯3A800Mhz AMD5450 分辨率1600 900实测性能 采用GPUOpenGL基础驱动库优化 性能从3fps提高到40fps 示例4 龙芯版QT 龙芯版QT的raster引擎优化raster引擎在内存中进行数据渲染 可有效地减少内存与显存数据交互龙芯QT4 8进一步优化了raster引擎 相对QT4 7 渲染效率更高 功能更强大案例 某2D应用使用X引擎时测试程序需要6秒才能完成渲染 更换为高版本QT库的raster引擎后性能达到1 6秒 性能提升4倍 25 领域3 Java page25 26 龙芯公司开发JAVA虚拟机代码规模对比 近来 接到的问题集中在共性代码部分 早期问题集中在龙芯架构相关代码部分 累计已解决8个在X86平台同样存在的JAVA共性问题 自主软硬件生态建设 龙芯硬件平台 操作系统 龙芯CentOS 中标OS 方德OS 中间件 Tomcat 东方通 中创 金蝶 数据库 MySQL 达梦 人大金仓 神通 广东信息厅 天津数字档案馆 工信部OA系统 OpenOffice 中标普华 金山WPS 永中Office 龙芯Java虚拟机 试点系统 办公软件 page27 领域4 浏览器现状 支持两大开源浏览器Chrome和Firefox主流最新版本Chrome31 推荐 Firefox24 推荐 Firefox17Fedora13系统 中标麒麟系统具备较为完善的JS WebGL HTML5 插件等环境功能 page28 HMLT5 Flash在线视频播放 Profiler性能分析平台 HTML5测试分值 page29 浏览器WebGL应用场景 GIS应用 大型3DwebGL应用服务器端 通过node js驱动终端 通过浏览器启动webGL交互 支持独立显卡 浏览器WebRTC应用场景 视频会议示例 webRTC测试应用功能 支持多人视频会议等复杂语音视频应用 浏览器office办公 Office办公示例 office办公测试应用功能 支持在浏览器中启用插件进行文档的操作 功能对比 HTML5测试 龙芯平台 X86平台 page33 浏览器开源社区集成龙芯提交代码截屏图 龙芯公司是Chrome社区的14家主要成员厂商之一仅2014年上半年 龙芯公司就向浏览器社区贡献了4万行源码 page34 附 Chrome浏览器V8社区参与成员厂商列表 1GoogleInc 2SigmaDesignsInc 3ARMLtd 4Hewlett PackardDevelopmentCompany5Igalia S L 6Joyent Inc 7BloombergFinanceL P 8NVIDIACorporation9BlackBerryLimited10OperaSoftwareASA11IntelCorporation12MIPSTechnologies Inc 13ImaginationTechnologies LLC14LoongsonTechnologyCorporation Limited Vxworks支持情况 Vxworks二维图形支持 针对龙芯CPU集成显卡的驱动 2H 1A 在显卡数据通路 控制通路 CPU与GPU同步等方面做过深入优化针对龙芯CPU外接的AMD显卡 ATIRS780 HD5X HD6X 移植EXA libdrm DRM等GPU驱动 优化显存分配和硬件光标针对控制类应用外接的嵌入式显卡 如SIS315显卡 增加了基于winML的2D加速接口 包括BLIT FILL DRAW等实现了windML图形库的汉字支持优化了windML图形库的JPEG PNG库实现了windML库的整体模块化和动态加载功能 龙芯vxworks系统对三维OpenGL的支持 过去vxWorks平台上的商业openGL驱动存在以下问题 价格昂贵 只能支持有限几种显卡 可移植性差 版本老旧龙芯平台openGL3D驱动的移植适配和优化方案 龙芯vxworks平台对开源版QT的支持 背景 国际嵌入式平台的GUI开发环境存在价格昂贵 功能不足 资料匮乏等问题仅有intel的telcon miniGUI 商业版QT等可供选择 存在组多相似问题目的 在龙芯平台上发布开源版QT 降低用户成本 降低用户GUI应用开发难度 Welookedattheentiresystemandrefineditappbyapp featurebyfeature pixelbypixel 他山之石 苹果公司研发操作系统的理念 page40 提纲 page