百道助力富聊数据分析

杭州富聊科技有限公司于2013年07月19日在杭州市高新区（滨江）市场监督管理局登记成立。公司经营范围包括利用自有ipaychat.com网站发布国内网络广告等，杭州富聊科技有限公司旗下产品。富聊是通过发照片等方式赚取积分，富聊是一款可以通过陪人聊天、并可将积分兑换成奖品的社交应用。 公司通过收集各个用户的浏览行为，查看内容的数据，分析形成用户画像，根据这些用户的画像，来推荐用户喜欢的类型内容，通过这种方式，来保留客户流量，增加客户体验的好感，从而将产品价值提升到最高。

行业

社交

案例背景及挑战

杭州富聊科技有限公司于2013年07月成立,主要从事社交应用的开发和运营。产品方面，富聊团队拥有丰富的社交和用户行为激励方面的经验，始终坚持“聊天创造财富”的愿景，把不断提高用户体验作为终极目标，让用户在互动中获取更多的乐趣和价值！技术方面，富聊团队专注于视频互动社交，打造出优质体验的直播、视频聊、小视频等应用场景。

平台会收集用户的浏览行为，跟踪用户历史数据，分析形成用户画像，根据不同用户画像标签，平台会推荐给用户喜欢的内容，通过这种方式，来吸引客户流量，增加客户体验，提升产品价值与粘性。平台主打海外市场，客户群体主要在东南亚，部分在欧美；如果使用国内的机房或者是云厂商，数据都在海外，需要把数据传回到国内，再进行数据分析，会产生昂贵的网络传输费用,安全性和可靠性也有一定隐患，得不到保障；另外国内机房对海外的用户来说，延迟比较大，导致用户体验感也下降。

根据客户的业务需求：安全性、可靠性、性能效率、成本优化和卓越运营来制定客户在GCP上的架构设计，使富聊数据分析架构得到最佳实践，安全，可靠，性能持续得到提升，成本持续下降，以及改善用户体验，增强行业竞争力。与客户多次的业务与技术交流，更好地理解客户的需求，他们主要需求是“性能与成本”，根据以上描述，业务架构设计如下：

方案架构描述

保证数据安全的前提下，同步数据至谷歌云RDS数据库，为此，推荐客户采用GCP提供的DMS服务进行两地数据的实时同步；引导客户使用Cloud SQL对接阿里云源站进行数据迁移，通过Bigtable进行二次存储，然后通过Cloud Pub/Sub服务的消息订阅功能推送，并使用Cloud Dataflow进行二次清洗，解决源站数据库的特殊性。将Redis迁移到Cloud Memorystore，并采用Cloud CDN + Cloud Load Balancing的方案进行全球加速，提升用户的体验。

使用产品

• Cloud Memorystore
• Cloud SQL
• Cloud Bigtable
• Cloud Load balancing
• Cloud CDN

方案特点

安全性：

为确保富聊数据分析架构的安全，需要通过风险评估与缓解战略方法进行实施，以便在做商业价值的交付时，能够提供信息，系统，资产的保护能力。可以从以下几个方面进行实践保障ASM服务架构的安全。

• IAM权限管理：做好数据分析需要GCP服务的Role，这里只需要访问pubsub/Dataflow/BQ/LB/SQL，以及IAM User和MFA的规划。
• 数据传输安全：除了网关在公网，其他都在私网，针对网关需要配置带有SSL证书Https侦听有GLB，为后端配置SSL证书。
• 数据存储安全：GCS Bucket数据加密，本地SSD数据加密。
• 主机安全：定义好GCE和LB的防火墙规则的访问则包括：端口，协议与IP地址，尽量不用用户名和密码，在进行维护时不直接通过公网访问，利用跳板机的方式进行维护。
• 网络安全：以减少或以防受到网络攻击，可采用Cloud Armor和防火墙规则以防DDOS攻击和Web服务防护，以及在架构层面去加固，在运维层面做实时访问分析。此架构是Web服务，访问对象是代理商，访问方式几乎都是互联网，所以要做好防火墙入站规则，堡垒机，日志监控与分析，以及架构等。

可靠性：

富聊数据分析架构必须要有从基础设施或服务失败中恢复的能力，要有满足动态按需分配计算资源的能力，也要有避免如网络中断或错误配置的能力，可从以下三个最佳实践去保障富聊数据分析架构可靠性：

• 基础：管理好GCP对您账户资源限制（必须事先检查GCP对资源限制，做好提前提交Case），做好网络拓扑的规划（在做VPC和子网规划时，尽量做好未来扩容准备），如果可能尽量采用跨区域的高可用部署。
• 变更管理：确保业务能够自动适应按需修改（实例组启用Auto-scaling功能，来应对访问量需求），合理的监控GCP的资源（采用Cloud Monitoring和Cloud Logging主要对基础参数CPU/内存/存储/网络进行监控）。
• 失败管理：确保备份数据（采用GCS Bucket做好数据生命周期管理，做好CDN日志生命周期管理），提供周期性的弹性和容灾演练（采用半年一次对关键业务的模拟演练）。

性能效率：

为给富聊数据分析架构提供有效的使用计算资源以满足系统需求的能力，且随着需求改变与技术提升，仍能保证效率，可以从以下四个最佳实践去配置性能效率：

• 选择：从GCP的WEB服务架构的最佳实践以及业务的需求，进行设计最佳性能的富聊数据分析架构，其中包括计算，存储，网络（整套CDN平台都部署在新加坡，结合业务和业务开发组的要求采用标准型机器n1-standard-8作为主要计算资源，而静态数据存储采用GCS，同时采用本地SSD作为读写要求高的数据存储，部署L2 Cache减少用户访问延迟，降低源站的压力）。
• 回顾：通过对GCP服务不断加深理解，能够使业务开发组人员采用最合理的资源类型来满足业务的需求（例如：考虑使用Auto-scaling等）
• 监控：通过Stackdriver，Cloud Monitoring和Cloud Logging对正在运行资源实时监控，可以让您知道业务资源使用效率，在出现超过监控阀值时，能够自动邮件发送告警到相关的管理员。
• 权衡：为更高性能需要考虑一致性，持久性，空间与时间，延迟之间平衡，对富聊数据分析平台不同服务的要求以及未来SaaS考虑，采用LB+实例组可以在性能，访问体验和安全等方面提供更好的服务。

成本优化：

为节约成本在富聊数据分析平台架构中避免或消除不必要的成本或低效的资源，可以从以下四个最佳实践去配置成本优化：

• 有效资源成本：在选择资源时，必须考虑资源大小，服务类型与价格模型。确保富聊数据分析能够提供更优的服务体验，价格模型采用Auto-scaling的方式部署，减少不必要资源浪费。存储采用GCS和本地SSD，并进行生命周期管理。
• 供需匹配：在配置资源时，必须考虑资源数量，区域，资源大小和价格模型是合理的。在促销活动需要准备更多资源，在周末关闭不需要资源，通过GCP相应工具服务，关闭闲置的资源，采购合适的抢占式虚拟机。
• 使用与支出意识：考虑流量费用（尽量采用GCP内部网络，非必要时不要使用出站的公网流量），监控资源使用与费用合理性（采用Cloud Monitoring对资源实时监控），停止或关闭临时或已经不需要的资源，有一套标准的资源申请与审批流程。
• 持续优化：创建成本优化的流程：实时跟进GCP的新的功能与服务。回顾：实时检查GCP新服务，资源类型与大小，测试与评估这些资源是否达性能与成本降低的要求。

卓越运营：

为了富聊数据分析平台提供最佳实践，必须具备运营与监控有交付业务系统价值的能力，且能够持续改善交付流程和交付内容。可以从以下三个最佳实践去完成卓越运营：

• 准备：利用GCP云上的运营最佳实践以及业务负载配置管理，让富聊数据分析平台运营在最合适的GCP的资源上，让安全，可靠，性能以及成本最优化，例如：前期不会选择太多托管服务，这样会增加开发工作量，随着GCP的深入慢慢替换。
• 运维：在修改最小配置的情况下，提升业务负载；监控您的业务确保它能够按预期运营。
• 响应：做好计划外和计划内的响应，安排富聊数据分析平台服务水平SLA和SOW

客户收益

• 使用Cloud SQL后，数据库可用性提升至99.95%；接口响应时间提升500%
• 借助BigQuery和机器学习绘制的用户画像，极大提供了用户留存率，日活用户提高32%。
• 使用自动扩缩容整合后的服务架构，后端云计算服务成本降低30-40%