技术架构
示意图
?
说明
1. 弹性 MapReduce（EMR）
弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可在数分钟内创建安全可靠的专属 Hadoop 集群，以分析位于集群内数据节点或 COS 上的 PB 级海量数据，同时支持分钟级的集群扩容缩容，以适应分析业务的峰值谷值对资源需求的不同，获得灵活性的同时，节省大量的成本。
2. 云存储
线上线下前端平台，将业务数据与系统日志统一汇总至 COS 云存储中，EMR 集群从 COS 存储上获取源数据，在通过 COS 规模化效应降低存储成本的同时，您还可以创建不同 EMR 版本分析同一份数据，这将为您带来极度的架构灵活性。
3. 用户实时数据流处理与分析
在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件后，您可以在 EMR 产品中选择合适的流式数据处理引擎来分析数据，以实现对业务变动的实时告警；还可以把分析结果实时同步到 TencentDB 等存储引擎，以便于您能通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。
4. 订单和用户数据存储
TencentDB 等数据库存储的订单和用户数据，可按照需求通过 ODBC 连接 EMR 组件，或导出至 COS 存储并作为 EMR 的源数据，TencentDB 支持 MySQL、SQL Server、MariaDB、PostgreSQL 等，相对于传统数据库更容易部署、管理和扩展，默认支持主从实时热备，并提供容灾、备份、恢复、监控、迁移等数据库运维全套解决方案。
5. 用户特征信息存储
用户特征信息通过 EMR 集群数据分析过程产生，并输出存储在 MongoDB 中，文档数据库 MongoDB（Cloud MongoDB Service）是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库，100%完全兼容 MongoDB 协议（同时高度兼容 DynamoDB 协议），提供稳定丰富的监控管理，弹性可扩展、自动容灾，适用于文档型数据库场景，使您无需自建灾备体系及控制管理系统。
6. 产品活动推荐
根据用户特征数据通过云短信智能定向发送商品和活动推荐信息，腾讯云短信（Short Message Service）沉淀腾讯十年短信服务技术和经验，帮助广大开发者快速灵活的接入高质量的文字或语音短信服务。
7. 数据可视化分析
腾讯云商业智能分析（Business Intelligence）整合永洪科技产品能力，为您提供多维分析和报表展现，是新一代敏捷型 BI SAAS 服务。您可以在几分钟上线一套数据可视化分析报表，还可以通过拖拽式自服务操作进行交互式分析，快速获得分析结果。
腾讯云大数据实时可视交互系统 （RayData），基于数据实时渲染技术，利用各种技术从大规模数据通过本系统，实现云数据实时图形可视化、场景化以及实时交互，让使用者更加方便地进行数据的个性化管理与使用。
