Coremail邮件系统解决方案.doc

版本CM XT Coremail 邮件系统解决方案广州市倡和信息科技有限公司-Coremail核心代理商目 录1前言31.1盈世简介31.2成功案例31.3方案说明42软件系统设计52.1系统结构及配置52.2系统技术特点72.2.1分布式系统设计72.2.2系统高可靠性72.2.3系统安全82.2.4系统存储特性93系统功能103.1电子邮件系统基本功能103.2图形化系统管理113.3公告栏123.4组织通讯录133.5网络文件夹143.6邮件列表153.7API开发包153.8Anti-spam GT153.9Anti-Virus174系统实施设计184.1系统设计184.2硬件环境需求184.3软件环境需求194.4存储设计19第 18 页 共 18 页成功案例只有经过大量用户实际使用和检测的邮件系统才是完善可靠的邮件系统，而目前Coremail已支持超过2.8亿邮箱用户。Coremail是与中国的许多邮箱用户一起成长的，Coremail正在不断的被改进与完善，永远满足用户的需求及不断创新是我们一贯所坚持的。目前正在使用Coremail产品的代表客户包括：互 联 网 行 业网易邮局（包括旗下7大域名） 中华网邮局TOM邮局3G门户网尚易企业邮局中央电大在线电 信 行 业广东移动139手机邮箱广东联通如意邮手机箱西北网通苏州电信政 府 单 位中国科学院中国证监会国家环保总局国家商务部广东省公安厅浙江公安厅山东省质量技术监督局陕西省交通厅广州省工商局广东省人大广州市政府杭州市政府教 育 传 媒中国国际广播电台广东省广播电影电视局中国科技大学中央音乐学院大 型 企 业南方电网总集团山西电力公司宝钢集团首钢集团华北油田吐哈油田厦门建发集团广东省农村信用社美的集团海信集团夏新电子德赛集团1.1 方案说明本方案书是针对1000用户的电子邮件系统所编写的，编写目的在于描述基于Coremail架设的邮件系统的总体框架，并结合用户的实际应用和技术两方面的需求，构成一个完整、可行性强的邮件系统设计方案。通过对本文档所描述的内容，双方人员可以了解如下内容：n Coremail邮件系统的架构、功能及其主要特点；n 基于Coremail所搭建的邮件系统的硬件需求与设计2 软件系统设计2.1 系统结构及配置邮件系统设计为包含：MTA、Webmail、POP、Admin、MD、UD及MS等系统功能模块，共同完成邮件的分捡、存储、发送等工作。MTA、Webmail、POP、Admin四个模块主要与用户交互，实现邮件系统的各种功能，是邮件系统的前端模块；而MD、UD、MS三个模块主要实现前端功能模块与数据库之间的通信，作为邮件系统的后端模块。n MTA模块Coremail邮件系统的MTA（Message Transport Agent，以下简称MTA）是Coremail系统中实现邮件分检和发送投递的主要部分。n Webmail模块Coremail邮件系统的Webmail模块是Coremail系统中实现邮件页面浏览与发送等功能的重要部分。Webmail模块在系统中是一个相对独立的模块，它通过调用MTA、MD、UD、MS模块的接口，让用户通过浏览器完成所有的邮件处理功能。Webmail模块实现了大多数邮件客户端软件的全部功能，包括安全的用户认证机制、多个信件夹功能、在线读信功能、在线发信功能、信件排序功能、地址本功能、邮件搜索功能、邮件过滤配置与垃圾邮件处理功能、邮箱密码恢复功能、多种语言界面等等。n POP模块POP 模块负责处理终端用户的发出POP3请求，并按POP3协议返回相应的信息。n Admin模块Coremail邮件系统是一套功能强大，体系结构比较复杂的大规模分布式系统，Coremail的各个服务模块可以安装在多台服务器上，同时提供服务，依赖于管理员手工维护相当困难。鉴于此，Coremail提供了功能强大的Admin管理界面，管理员可以通过Web界面，管理和监视其管辖范围内的所有组织、用户、域以及各个服务器的运行情况。n MD模块Coremail邮件系统中的MetaDirectory（简称MD）模块主要维护用户名信息及用户的UDID（用户资料的定位ID，与UD所在机器的编号对应）和DomainID等信息。它接受系统其他模块送来的用户名，并查阅后台的数据库（MySQL或Oracle）存储的信息。如果此用户存在，则返回此用户的UDID和DomainID；如果此用户不存在，则返回查询用户失败信息。MD中使用了Cache和hash散列技术，极大的提高了定位UDID的性能。n UD模块Coremail邮件系统中的用户数据模块（User Data，以下简称UD）是Coremail系统中的负责维护用户资料和用户邮件索引的模块。Coremail UD的用户资料可采用双数据库相互备份的保存方式，同时兼顾了性能和可靠性。n MS模块Coremail邮件系统的邮件存储机制（Mail Storage，以下简称MS）是Coremail系统中存贮邮件、管理信桶、响应外部模块对邮件操作的主要部分。2.2 系统技术特点2.2.1 分布式系统设计 系统运行高效率Coremail 现己成功地运用在163.com、T、等大型ICP客户站点，及电信、企业、政府等各个领域。目前支持的用户数己经超过2亿用户数。Coremail采用分布式系统结构设计，程序由模块封装，同一模块可分布到不同服务器上，并发处理。同一服务器也可以运行多个模块，充分发挥硬件性能。 平衡负载对于Message Storage模块和UserData模块，Coremail通过系统配置平衡存储负载。n 邮件投递时，若某用户所在的MS处于屏蔽状态，邮件将自动投递到新的MS中。n 用户注册时，如果分配的UD处于屏蔽状态，将注册请求发送到下一UD中。对于POP3,MTA,HTTP,等模块的负载分担有以下几种方式：n 可以经过参数配置进行系统负载分担。n 支持第四层交换设备等硬件进行负载分担。n 支持DNS轮寻方式进行负载分担。 高扩展性Coremail系统的高分布特性，使系统扩展简单快捷：n 增加服务器，不需要大量数据迁移，仅须修改系统配置，即可在线完成。n 增加存储空间，仅须划分目录结构，重起相关服务，即可自动完成。2.2.2 系统高可靠性 面向事物的邮件处理Coremail系统的邮件投递面向Transaction处理。每封邮件从MTA接收投递到用户的mailbox中都产生Transaction Log. 当紧急情况出现，如：系统网络故障，系统断电等情况，服务程序重新启动后，会根据Transaction Log的记录重新完成邮件投递任务，保证用户的邮件不丢失。 模块间Heart-Beat同步信息机制Coremail的每个服务模块都包括模块Heart-Beat同步信息端口。若某一服务处理模块出现故障，与之通信的模块会自动停止数据传送，防止由于反复的连接尝试造成本服务的性能下降，保证系统其他部分正常运做，不会因为故障服务产生连锁反映。待Heart-Beat信息同步正常，再自动恢复数据通信。 服务故障自动恢复Coremail服务模块具有服务监视功能。若某服务程序故障退出，会自动重起服务，并保存服务运行日志，记录时间，方便管理员查阅。 用户数据联机热备份n 用户信息备份。(UserData数据库备份)Coremail系统UserData部分支持用户数据库联机热备份方式，用户注册，修改信息都实时记录在运行数据库和备份数据库中。若运行数据库出现故障，系统自动从备份数据库中取得用户信息，保证用户可以登陆和收发邮件。同时，由于UserData数据容量较小，可以进行每日备份，备份时间短，恢复速度快。n 用户邮件备份。用户邮件以文件方式存放，由于采用多邮件存于单文件的方式，大大减少文件数量，增加邮件备份速度和恢复速度。Coremail推荐采用Sun Veritas文件系统，可以对文件系统进行整体备份和增量备份。 用户数据在线修复Coremail的UserData部分有AutoRepair功能，打开AutoRepair功能，用户在登陆时系统自动检查用户信息，在某些特殊情况下，如用户邮件索引丢失等，重新生成邮件索引，使邮箱恢复到正常。2.2.3 系统安全 系统结构安全特性系统的核心部分是用户数据，包括md和ud部分。如果是多机版，Coremail在系统结构上专门将md和ud服务器置于内网，从物理上断绝了与外部的直接联系。用户通过的认证请求，由接收服务（如webserver或pop3 server）代理，通过内网专有协议访问用户数据库，确保操作安全可靠。内外网分开的结构也同时减轻了网络流量负担。 主要服务端口访问限制众所周知，无限制的、固定的、公开的通信端口是主机安全运行的隐患。有的黑客向通信端口发送大量非法数据，致使服务瘫痪。所以，隐蔽重要的服务端口，及时修改端口号，端口访问限制等措施，都是系统管理员常用的确保安全手段。Coremail系统的主要服务端口都可在系统管理界面中修改，同时限制哪些ip地址或ip段可以访问此服务端口。主要服务通信协议自行开发设计，具有保密性。 非超级用户权限运行Coremail的核心进程都由非超级用户权限运行，提高了系统安全性。2.2.4 系统存储特性 用户信箱与邮件分离用户信箱存储与邮件存储的彻底分离，是Coremail系统的重要特性。传统邮件系统的存储方法，是为每个用户创建一个目录，存放配置信息和邮箱，一个邮件一个文件。在几十万用户的系统里，能看到的是惊人的目录结构和密密麻麻的小文件。这时，试图对用户信息进行检索备份几乎不可能。庞大的目录结构和文件数量也迅速降低了磁盘I/O速度，增加系统开销，增加存储碎片，最终导致文件系统错误，或磁盘损坏。Coremail采取的办法是：将用户的配置信息和邮件索引存放在UserData数据库中，将用户的邮件内容存放在Message Storage中。同一用户的邮件通常仅存在一个文件中，而用户阅读邮件目录，或转移邮件，只是对UserData记录的修改。这样，既减少了磁盘I/O,更提高了操作速度。 灵活的存储分配由于将用户信息与邮件分离的结构，使Message Storage的存储分配更为灵活。多台Message Storage间的存储负荷，由weight参数分配比例，并根据需要调整。如：原有MS1，MS2, weight为10:10 , 后增加新的MS3,希望新的邮件多发到MS3上，可将weight改为5:5:10 。UserData的存储也相同。 高效可靠的数据库CACHE技术大规模邮件系统的中心是数据库。Coremail系统的中心数据库采用关系数据库，并使用Cache技术，将经常使用的用户登陆信息Cache到内存中，提高系统访问数据库的速度，也降低中心数据库负载。3 系统功能3.1 电子邮件系统基本功能Coremail XT支持SMTP、POP以及基于WEB的页面操作： 收发邮件 自动回复/转发 定时发信 HTML邮件编辑 POP收信代理 邮件管理操作 通讯录导入/导出 通讯录打印 通讯录管理 多级文件夹管理 特色个人签名 在线帮助 Webmail多彩效果 可选个性化页面 双风格模板在提供了完整电子邮件系统基本功能的同时，Coremail XT在细节上体现出其细致：1. 邮件搜索。提供多种搜索范围，多类限制条件，使用户更精确快速地获取所需内容。2. 个性化邮箱设置。考虑到每位用户都是一个独立的个体，Coremail XT提供了一系列个性化设置，让用户自如地挑选适合自己的操作习惯。例如： 开新窗口阅读信件 使用阅读回执，收到要求回执时自动发送回执 回复信头为Re: 默认写信时格式为Html编辑3. Webmail界面设置。Coremail XT提供了两种风格模板，配合多彩页面，使用户感受到更丰富的视觉享受： 视窗式操作体验，多（TAB）窗口多进程同步进行，读信写信两不误图 1读信写信两不误 或鼠标右键，或键盘快捷键，多种操作方式满足客户操作习惯图 2鼠标右键、键盘快捷键 新一代AJAX技术，提升人性化设计享受，红、绿、蓝多彩页面，让用户选择自己喜爱的色彩3.2 图形化系统管理Coremail XT有着优秀的技术开发团队，不停地从用户角度考虑，提高人机交互、人性化设计，优化基于Web的图形化管理界面。 基于Web的系统管理Coremail XT提供基于Web的系统管理界面，使管理员可以直接通过浏览器进行简单的管理操作，也可通过浏览器对系统中的各服务器进行命令行操作。 基于Web的站点管理除了系统管理，针对电子邮件系统的整个站点管理，Coremail同样提供了基于Web的站点管理界面。 站点-组织-部门，管理概念清晰Coremail XT针对电子邮件系统的管理，提出了多层次管理模式。从站点，到组织（企业），到部门，再细化至每位员工。同时针对不同层次的管理，提供不同限制的权限管理，各级管理员分组清晰，以求更好地协助管理整个电子邮件系统。 单页面管理，减少窗口操作多层次管理模式，不可避免地会出现繁复的操作。但Coremail XT通过精心设计，使得高级管理员的多项操作变得简单简洁。只需打开一个管理窗口，便能完成多级管理员的管理操作。图 3在站点中管理组织3.3 公告栏公告栏就是网络上的布告板，诸如日常通知或培训通告，只要放在公告栏上，整个组织的用户都可以看到。Coremail XT的公告栏，有着完善的功能。图 4编辑醒目的公告栏 醒目的公告，吸引更多的用户即时关注。Coremail XT的公告栏提供了文本编辑、Html编辑以及Html源码编辑，适合不同程度需求的公告发布 没有公告的时候，用户不会看到一块白板。只要管理员小小设置一下，Webmail就能轻轻地抹掉整个公告内容了 公告都有时效性，即便管理员忘记把公告撤下也不要紧。用户在Webmail上查看公告时，能够看到公告的发布时间，从而判断这个公告是否还具有效力3.4 组织通讯录随着企业信息化程度的提高，企业内部需要大量的电子邮件通信；而对于大型企业，企业人员难以通过一般的方法记忆或者快速地查找其他员工的邮箱地址。Coremail提供的组织通讯录功能可以解决上述问题。它用企业部门的形式保存同一企业内所有用户的邮箱地址。属于该企业的用户，均可在企业通讯录内查看其它部门同事的邮箱地址。组织通讯录的操作简单，功能却十分丰富：协助撰写邮件的过程：通过“企业通讯录”可以方便的查找到本企业任意部门下的同事的邮箱地址，只需要一个按钮就可以方便地将多人添加到收件（抄送）人一栏，快速进入邮件地编写页面。丰富个人通讯录：通过“企业通讯录”可以通过姓名、手记号码等方便地查找到本企业员工的邮箱地址，并且可以方便地将企业通讯录上的记录导入到用户的个人通讯录，大大提高企业电子邮件的使用效率。系统设置：管理员可以设置企业通讯录的使用状态，确定是否允许该企业使用企业通讯录，并允许是否在Webmail界面上显示企业通讯录。保密设置：企业通讯录内可设置用户的共享状态，处于“共享”状态的用户才会显示在Webmail的企业通讯录界面；处于“不共享”状态的用户，Webmail界面上将不会显示该用户的邮箱地址等资料，以确保企业内某些用户的私密性。3.5 网络文件夹Coremail的网络文件夹使用户拥有完全私人的、安全的因特网络存贮空间。通过网络文件夹，用户可以将各种个人文件存放在互联网上，并具有和本地硬盘一样的文件操作，如删除、复制、移动、查找等。网络文件夹方便携带、易于修改、安全可靠，并容易与其他亲朋好友分享。网络文件夹就如一个网络移动硬盘，用户将需要的文件存放在网络文件夹中，只要有网络，无论身处何方，随时随地都可以取出来尽其所用。个人文件的存贮、修改、管理、共享、发送，一切都可在Web上轻松解决。如下图所示： 存储文件。可针对性的提供不同容量的网络硬盘，使用户存储任意格式的文件 共享文件。例如照片，通过网络硬盘，可以将照片轻松共享给亲朋好友 文件保密。有了共享，也就有了保密。网络硬盘功能可针对性的对文件进行保密，如只允许指定的亲朋好友才可以共享查看 搜索文件。当网络硬盘集聚的文件较多时，使用搜索功能，就可以很方便的在众多文件中找到所需的文件。强大的搜索功能，可以指定关键字、所在文件夹、存放时间、文件大小等内容 打包下载。网络硬盘可以对多个文件夹内容进行打包下载，方便用户在短时间内下载所有文件3.6 邮件列表邮件列表（Mailing List）是Internet上的一种重要工具，用于高效地组织多个邮件地址为一个邮件地址使用，使用及管理都十分方便。 管理。管理员可设置邮件列表是否开放使用，确认该邮件列表的相关人员等 用户。邮件列表可以设置多个用户，包括企业内部用户，或相关的外站用户 授权。Coremail XT可以通过设置，限制能发送email给该邮件列表的用户。对于授权用户以外的人，即使知道这个邮件列表的地址，也无法发送email。 共享。共享邮件列表，可使其显示在组织通讯录中3.7 API开发包Application Programming Interface，简称API，用于客户自行开发更适合客户需求的功能。根据客户不同的需求，Coremail 提供标准API及高级API供客户选择使用，包括用户登陆、用户退出登陆、增加新用户、删除用户、读取用户资料、检查用户密码.等功能。可实现与第三方系统如OA、门户等结合。3.8 Anti-spam GTAnti-spam GT（智能版）反垃圾邮件系统为用户提供目前市场上技术最为成熟的反垃圾邮件功能，力求解决邮件系统面对的垃圾邮件问题。Anti-spam GT（智能版）使用多项反垃圾邮件的新技术，包括垃圾邮件规则智能生成、自动定期更新、实时邮件指纹检查、自动过滤+人工控制的双层机制、探针邮箱等；并且经过多层次优化，提升系统的垃圾邮件处理性能。严格的实际运行测试的数据表明：Anti-spam GT（智能版）除了拥有世界级的智能化管理策略外，对于垃圾邮件的判断与过滤达到更高的正确率、更低的误判率，获得更快的邮件处理速度。l 世界领先的防垃圾邮件技术 采用过滤规则数据库，智能化管理 实时更新过滤信息库（Live Update） 质询-响应机制 邮件评分技术 Bayes算法 IP声誉评估系统 指纹算法（Fingerprinting） 可定制的个性化过滤策略设置 灵活的反垃圾邮件策略设计 流技术多线程优化网络访问架构l 卓越的邮件过滤效果【注意】下面给出的数据截取自Coremail的两个客户，他们在实际运行Anti-spam GT中曾经获得这些数据，但对于不同的客户情况及不同的运行环境，该类数据会有一定差别。客户甲 邮件过滤汇总统计从图表我们可以清楚地看到，仅仅在2005年11月12日和13日两天内，该客户的Anti-spam GT系统接收到总邮件总数为1,109,115封，其中正常邮件数为63,764封，仅仅占到系统处理邮件总数的5.7%，而垃圾邮件却达到1,045,351封，占到系统接收邮件总数94.3%。图表表明，如果没有采用Anti-spam GT反垃圾过滤处理系统，用户平均每天需要在10封电子邮件里面才能查找1封真正有价值的电子邮件！ 垃圾邮件 正常邮件上图为系统详细统计的曲线图，显示某客户在一天内邮件系统所处理的正常邮件数、垃圾邮件总数，以小时为单位。该图可以看出Anti-spam GT在邮件系统每个小时处理的电子邮件达到超过50,000封以上时仍然运行稳定。l 详尽的清晰的运行统计信息邮件过滤统计对Anti-spam GT的各项运行数据进行统计，通过查看统计数据不但可以了解系统的运作状态，还可以为系统管理员更新系统设置、调整过滤规则等提供重要的信息，从而提高系统的运行的效率。通过系统提供的邮件处理日志管理，管理员可以回溯查找到具体的邮件处理过程，从而准确地判断邮件无法接收或者投递的原因。 系统处理日志 汇总统计 统计报表 域邮件接收情况统计 IP连接统计被拒IP排行