互联网

神策数据上线弹性计算与弹性存储功能,助力企业省钱省力“躺赢”业务需求

2021/6/15 20:24:00

       大促来袭,电商企业的运营人员开始“暴风工作”,各类查询任务同时涌入系统,导致计算资源十分紧张;

  娱乐八卦预告爆料,各路吃瓜平台纷纷整装待发,到头来发现只是“零星小料”,没有海量业务需求,计算资源又处于闲置状态……

  有没有一种“弹性”的方式,既让计算资源尽可能地被有效利用,又能让计算资源发挥最大的价值?当然!神策数据上线弹性计算与弹性存储功能,让企业无需为了一时的高峰计算需求而加大硬件投入,省钱省力就能“躺赢”业务需求!

  关注“神策数据”公众号,回复关键字“弹性”即可免费体验!

  一、什么是神策弹性计算与弹性存储功能?

  由于企业在分析计算资源的使用上存在明显的周期性,集“采、治、存、查、智”为一体的神策数据根基平台通过弹性化资源配置,可随着实际业务需求的变化,随时扩大或减小计算能力,避免企业因业务需求的调整造成计算资源的浪费;而且,神策借用了传统数据库归档的概念,支持将数据仓库中不经常使用的数据迁移至低成本存储系统上,在降低存储成本的同时,保证用户拥有更好的产品使用体验。

  1.弹性计算:潮汐算力调度

  通过构建一个公共计算池,由其动态调配计算能力。当企业需要扩容计算能力支撑其业务时,系统会向公共计算池申请额外的计算节点,与原有的节点共同组成一套新的计算集群,以匹配高峰期计算作业。高峰过后,额外的计算节点会被公共计算池回收,从而达到节省算力资源成本的目的。

  技术原理如下:

  首先,直接利用k8s管理计算池的弹性资源,在k8s中每个executor节点由svc-executor与pod-executor组成。

  其中pod-executor通过svc-executor来对外暴露端口,原集群的statestored,catalogd和coordinator通过svc-executor暴露的端口与pod-executor通信。

  k8s中的pod-executor通过coredns配置的原集群hosts来与statestored,catalogd,coordinator通信,从而实现计算节点的动态调配。

神策弹性计算技术原理图

  2.弹性存储:“冷数据”归档,仍可被分析

  对于一些不经常使用的数据,其数据访问频次会不断的减少,甚至只在偶尔盘点时的历史对比分析中用到,这类数据被称为“冷数据”。但随着企业进行数据分析的时间越来越长,对于集群存储资源的需求和压力会越来越大。神策支持将“冷数据”归档(转储)到成本更低廉的存储系统中,从而极大地节省企业的存储成本。

  值得注意的是,当“冷数据”归档后,神策仍支持归档数据的可读、可删除、可分析。归档后的数据所在的存储是整体系统存储的一部分,无需对归档数据进行解档也能正常查询。而业内现状下,归档后的数据大多不可再参与查询,这是神策弹性存储功能与传统数据库归档最重要的区别。

  二、为大促活动保驾护航,让神策“两朵云”火力全开

  神策“两朵云”指神策分析云、神策营销云,在大促之际,某电商运营团队通过神策分析云、神策营销云“火力全开”,助力大促完美启航,同时背靠神策弹性计算与弹性存储功能,通过三步法,为大促活动保驾护航。

  第一步:大促前,归档冷数据

  为了更好迎接大促,该电商运营团队提前就对相关数据进行归档,在不影响查询的情况下,将不经常使用的“冷数据”转存至成本更低的存储系统中。由于这部分“冷数据”依然可以在神策各大系统中进行分析操作,该电商运营团队也更加“大胆”地将不经常使用的数据转化成“冷数据”,为后续海量业务需求产生的分析数据“腾地方”,降低数据的存储成本。

  第二步:大促中,调整计算能力

  由于该电商运营团队日常就通过神策营销云对百万用户的全生命周期进行策略运营,在近期更是不断针对各用户群体发放活动优惠券,所以从预售开始,蜂拥而来的用户流量就带来海量用户行为数据和分析需求。从此时开始,该电商运营团队全体成员就进入“高速运转”状态,他们一边通过神策分析云实时洞察用户各类状态,一边通过神策营销云做贴合用户画像的策略与动作,并将整个流程灌入神策推出的基于数据流的企业运营框架SDAF中,通过感知(Sense)、决策(Decision)、行动(Action)、反馈(Feedback)四个流程,打造运营闭环,提高用户在大促中的完美体验。

  针对从预售开始时铺面而来的业务需求,在现有计算资源的条件下,神策利用公共计算池动态调整计算能力,充分保证大促时期的数据分析效率,为该电商运营团队的营销触达提供核心支撑。

  第三步:大促尾声,避免浪费

  在紧张又刺激的活动尾声,该电商运营团队的成员逐渐从激烈的工作状态中回归日常,成员们将更多的精力放在大促复盘,以及通过神策分析云中的各大功能组件洞察用户需求,并通过神策营销云进行下阶段的策略运营中,由于计算和分析需求陆续变少,神策弹性计算功能将会使系统自动回收部分计算能力,避免流量下降导致的计算资源浪费。

  以上为神策弹性计算与弹性存储功能简介,虽然各行业的具体业务场景不同,但神策弹性计算与弹性存储功能可以在多种业务逻辑下发挥着其强大的技术能力,在节省企业硬件成本的同时,合理配置优化企业计算资源,并为“冷数据”提供相关的分析能力,降低企业的运营成本,更好助力企业业务目标的实现。


版权声明
本文仅代表作者观点,不代表艾瑞立场。本文系作者授权艾瑞专栏发表,未经许可,不得转载。
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号