社交产品后端架构设计

社交产品后端架构设计摘要：本篇文章会向读者展示几个架构设计的关键点，使一个社交应用能够成为真正的下一代社交产品。但这只是设计阶段，需要更深入的分析和了解系统的当前状态。本篇文章会向读者展示几个架构设计的关键点，使一个社交应用能够成为真正的下一代社交产品。以下几个属性将会影响到架构的设计：a）可用性

b）可扩展性

c）性能和灵活性可扩展目标a）确保用户的内容数据能够很方便的被其他用户发现和获取.b）确保内容推送是相关的，不仅在语义上，也是从用户设备的角度。c）确保实时更新生成、推送和分析。d）尽可能地节省用户的资源。e）不论服务器负载变化如何，用户体验应保持不变。f）确保应用整体上是安全的总之，我们要处理一个相当大的挑战，我们必须处理不断扩大的海量用户生成的内容数据，不断增长的用户，和一个不断迭代的新项目，同时必须确保性能足够出色。为了应对上述的挑战，我们必须学习架构某些关键的元素，这将影响到系统的设计。以下是一些关键的决定和分析。数据存储数据和数据模型的存储是一个好架构的关键设计之一。一个社交产品应该能够处理多种类型的数据，因此首先得充分分析数据并透彻理解，之后再设计数据模型和数据存储。第一步，我们要确定哪些数据是经常查询的热点数据，哪些不是经常需要的那些数据（如归档数据用于分析）。对于高频访问的数据，它必须总是可用，能够快速读写和水平可扩展。目前我们所有业务场景使用的都是MySQL，即使我们的用例不一定需要使用关系数据库系统。随着我们数据的增长，我们的读写将成为我们应用程序性能瓶颈。我们应该为每秒钟数十亿的查询做好准备。让我们对我们的数据进行分类：a）主要的数据或静态形式的数据，如用户资料b）语义数据c）用户产生的内容数据d）会话数据找到一个高效的数据存储方式，满足所有这些类型的数据，真的很难。因此，我们将为每个数据类型选择特定的数据存储方式。静态数据：对于静态数据，最好是选择基于文档的存储方式，其中键和值都是可查询的。我们可以选择如MongoDB这种文档型数据库，选择MongoDB最大的优势是它提供了在文档级别的ACID。MongoDB可以在多个分布式数据中心的范围内进行缩放。它将允许我们使用副本集来保持冗余，从而解决我们的可用性问题。数据分片是一个重要的考虑因素，数据分片可以确保数据的扩展与查询速度。幸运的是，MongoDB透明的支持了数据分片。关联的或关系数据（核心数据）：我们大部分数据本质上是关联的，例如，A是B的朋友，C是A和B的朋友，这样高度语义的数据最适合图处理模型。我们应将这样的数据存储在图数据库，如Neo4j。这样做的优势很明显；我们可以存储所有关联数据的节点，从而节省了计算数据之间连接关系的额外步骤。图形数据模型也将有助于我们捕捉到属性之间的关系。当试图探索关联数据时，丰富的属性关系绝对是关键。图数据库支持ACID规则以及自动索引。再次声明，我们的要求是达到可用性和可扩展性。我们可能会有成百上千的并发事务，同时写入数据库，同时会有数百和数千查询请求。它应该能够处理一个数据集上的许多字节，超过十亿每秒的读取速度。我们将会需要一个系统，帮助我们自动伸缩写入和读取。其他需要考虑的因素是数据分片，这是系统可伸缩的关键。Neo4j已经被设计为可水平扩展，并且有数据冗余功能来保证可用性。但到目前为止，它还不支持数据分片。我们可能需要更多的分析，才能做出抉择。其他可供选择的图数据库有FlockDB、AllegroGraph和InfiniteGraph。二进制数据（UGC）：我们还必须处理大量的与用户相关的二进制数据。处理二进制数据不太容易，考虑到它们的规模。上面已经讨论过，我们需要一个系统可最好的部分是，我们能够保存任何格式的数据，这使得它很容易做增量写，这是至关重要的，我们支持内容feeds还值得指出的是，我们需要支持对大内容对象进行大量的读

-

修改

-

写操作和少量读，Redis是已知的，对这些操作在性能方面是最好的。缓存代理：反向代理层的缓存也是至关重要的。它有助于减少直接请求我们服务器的负载，从而减少延迟。为了使代理服务器缓存更有效，需要正确设置HTTP响应头。代理服务器有很多种，但最受欢迎的是nginx和ATS。二级缓存（代码级缓存）：这是一个实体数据的本地存储，用于提高应用程序的性能。它有助于通过减少昂贵的数据库调用以提高性能，保持实体数据的本地化。EhCache是一个很受欢迎的选择。客户端缓存：这实际上是设备或浏览器缓存。所有静态项目都应该尽可能地缓存。如果API响应HTTP缓存头已经被合理设置，很多相关资源的内容都会被缓存。我们应确保其如预期的那样工作。除此之外，我们应该尽可能缓存其他内容，可以使用设备自己的内存，或使用SQLite。所有昂贵的对象都应该缓存。例如NSDateFormatter和NSCalendar，初始化缓慢，应该尽可能多的重用。iOS

Lot可以调整和应用，但是在这里，它是超出我们的研究范围。数据压缩考虑到我们的用户主要是要处理大量的图像和视频，需要下载大量的数据，所以优化下载大小是非常重要的。它将节省用户的数据量，提高应用程序的性能体验。其他要考虑的方面，如我们的网络，我们的用户主要是在非LTE网络，使用2.5G或3G，需要考虑带宽，并且连接通常是不可靠的，数据使用成本高。在这种情况下，智能压缩是一个关键的需求。但是实际上图像压缩和视频压缩并不是想象中那么直接简单，往往需要进行深入的分析。我们所处理的图像和视频，可以无损和有损，这取决于用户的设备质量。所以我建议使用多个压缩技术来处理这种情况。在这种情况下，我们可以尝试帧内压缩和帧间压缩技术。但总的来说我们可以采用zpaq和fp8来应对所有压缩需求。我们也可以尝试非常适合我们业务场景的WebP。一般情况下，我们的API会使用gzip，我们API

response总是经过gzip压缩过的。数据转码考虑到我们需要处理多个设备，多个操作系统和屏幕分辨率，我们的内容存储和处理时应与设备无关。但服务层应该基于用户的设备，理解并调整响应的内容。所以，图像和视频的转码是必不可少的。我们的应用程序需要收集设备的配置，如内存、编码和屏幕分辨率，作为API的上下文。我们的API应该使用此上下文来修改/选择内容版本。基于我们接受到的设备上下文，我们可以预先准备好一些最频繁被请求的版本的内容。我们可以使用FFMPEG转码，FFMPEG是最可靠和应用最广的转码框架。我们可以修改FFMPEG，使其满足我们的需求。转码是在数据输入端完成的。传输协议考虑到我们的网络场景（非LTE，不可靠的连接等），关键是要尽可能地节省资源，使通信尽可能地轻量。我建议我们所有的HTTP请求都使用okhttp客户端，okhttp使用SPDY协议，能够弹性处理连接失败，透明恢复。我们所有的通讯需求，都应该切换到MQTT，这是一个轻量级的机器对机器的连接协议。安全问题保证我们应用程序的安全是非常重要的。我们整体架构都要有安全上的考虑。我在这里只谈架构为满足安全要求做出的改变，我们不谈实施过程的改变。这里是一些必须添加到架构里的：1.

我们所有的用户数据必须加密。MongoDB和Neo4j已经支持存储加密。在这基础上，我们可以决定加密哪些用户关键信息。所有与数据库相关的传输调用必须启用加密。2.

安全套接字层：所有代理服务器的访问都应该使用SSLed。代理服务器可以充当SSL终止点。3.

我们所有的API端点应该运行在非默认端口，并且必须实现OAuth。4.

所有的DB读取都应该通过Rest

endpoints。5.

有关密码的配置必须特殊处理。密码必须hashed，文件应该被限制只能在应用启动时读取。这允许我们通过文件系统权限来控制应用程序身份实例。只有应用程序用户可以读，但不能写，其他用户不可以读取。所有类似的配置都要用keydb打包并需要密码。组件以下是我们架构用到的组件:1.

负载均衡器：这层是用来转发所有对代理服务器的请求，基于定制的策略。这一层也将有助于我们通过基于容量重定向的方式来保障可用性。2.

代理服务器：所有即将到来的调用都必须以这里为入口。这也是我们SSL的终止点。它缓存所有基于策略定义的HTTP请求。FE层：该层运行一个node服务器。3.

数据输入引擎：这个组件涉及所有内容的输入，它做了一系列的工作:非规范化模型，转码，缓存等。将来如果可以的话，所有内容的处理，都可以在这里完成。4.

Rest服务：这层负责与所有DB交互，并返回数据。它的访问是受OAuth保护的。这可以用Tomcat容器以及edge缓存来实现。5.

事件处理：这层处理所有的事件，主要负责分发的功能。它读取ActiveMQ并使用通知引擎生成通知。6.

推荐引擎：这个组件通过分析所有收集到的用户动