航母概念股

当前位置:云计算>股票论坛 列表

拥抱数据湖时代!听张侠博士解读数据湖在亚马逊AWS的应用实践

作者:CBISMB责任编辑:贾西贝 2020-03-27 16:34:27
来源:ISMB关键字:AWS数据湖,Amazon S3,云服务

航母概念股 如今,数据湖的概念其实已不新鲜,尽管业界早有各种层面的解读,但似乎要想讲明白也不是一件很容易的事。近日,亚马逊AWS举办在线媒体会,AWS首席云计算企业战略顾问张侠对于数据湖的概念、组成、特点及亚马逊AWS在数据湖领域的实践进行了深入详实的解读与分享,让人了解到AWS眼中的数据湖全貌、价值,以及如何去拥抱数据湖时代。

数据湖的概念及特点

时至今日,已没有人怀疑数据的价值。作为企业的重要资产,它是驱动企业运转的核心力量,堪比人体的血液和工业中石油的重要性。那么,要让数据产生价值则是一门重要课题和艺术,其中一个很热的概念就是数据湖。

那么数据湖是什么?张侠介绍,数据湖其实就是一个中心数据存储的容器,无论是格式化或非格式化的数据都可以存储到这个容器中。这些数据从数据量上非常易于快速缩放,使人们可以通过各种方法对数据进行查询、分析,这也即是理论上数据湖的概念。

航母概念股 提到数据湖,其实在之前还有几个相关概念,比如数据仓库、数据集市等。与数据湖相比,数据仓库是指在数据库基础上将数据进行分类、提炼和整理,并存储其中的方法。一般而言,部门级单位的数据可以放在数据集市里,而数据仓库则用作放置企业级的数据。整体而言,数据仓库的方式对于数据的要求过于严格,相对于数据湖而言,并不能适应当今时代数据快速变化的要求。

张侠表示,整体来说,数据湖存在以下几种特点。

航母概念股 第一,数据湖存储的是原始自然数据,可以是结构化的,也可以是非结构化的;

第二,由于应用了云计算技术,可以对海量数据进行快速缩放和存储。同时通过查询过程中进行建目录和数据转移、抽取等工作,因此可以快速的进行数据分析;

第三,高可用性。海量数据存储具有高持久性;

第四,满足安全、合规和可审计的要求。

亚马逊AWS在数据湖领域的实践

亚马逊AWS对于数据湖的涉足相对较早。最先是基于2006年3月发布的一项基础云服务Amazon S3,这也是全球第一款公有云服务。

Amazon S3作为AWS数据湖平台,可以存任何以二进位为基础的数据炒股配资 ,而无论是结构化和非结构化数据。包括来自配资 相机、手机、线上配资 、风力发电机,以及数据库中的数据,在经过特定的提取方法和目录登记后,都可以存放在Amazon S3中。而后再运用各种各样的分析手段将数据提取出来,还原为数据仓库、各种报表、分析预测或机器学习数据等类型。

航母概念股 张侠重点介绍了AWS数据湖下两个重要服务组件,包括Amazon Athena和AWS Glue。其中Athena英文为雅典娜,Amazon Athena是交互式数据查询工具,可以对存储在S3上的海量数据进行快速的查询;Glue英文为胶水。AWS Glue可以发挥对不同的数据库服务进行连接的作用,其主要包括两个功能,其一(ETL)主要进行数据的抽取、转换和加载,其二是数据目录服务的功能。值得一提的是,Glue可以像爬虫那样对数据湖中的海量数据进行自动爬取,从而生成数据目录。目前,这两个服务均在中国北京及宁夏区域上线。

航母概念股 AWS提供了完整的数据分析组件,包括AWS Database Migration Service数据库迁移服务 (DMS) ,是作为数据迁移和移动工具的功能;还有AWS Snowball (雪球),可以把数据放在专用硬盘等存储装置中进行快递服务;在混合云中,AWS Storage Gateway可以通过数据门户网关来转换数据;在中国则已发布了AWS Backup数据备份服务。

航母概念股 张侠表示,这些是作为更底层的数据移动的服务。在之上则有各种数据存储服务,包括Amazon S3、Amazon Glacier、Amazon DynamoDB,以及非关系型数据库、Amazon RDS关系型数据库、Amazon Aurora纯原生的云数据库、Amazon ElastiCache基于云的内存式数据库,还有Amazon Neptune基于图形的数据库。所有这些目前都已在中国市场上线提供。

最后,张侠引用了AWS数据湖的几个成功案例,包括亚马逊自身在数据湖应用方面的实践。由于亚马逊曾是Oracle全球数据库最大的用户,几乎业务的很多方面原来都是基于Oracle的数据库。但在过去一年半到两年的时间,亚马逊公司已将自己的数据全部从Oracle数据库迁出到自己相对应的配资 中。这个迁移解决了原来扩展困难、费用昂贵的难题,减少了数据库费用成本60%,减少了管理费用70%,增加的性能高达40%。

航母概念股 再如在中国市场,南京芝麻科技借助亚马逊AWS数据湖技术实现了分析驱动商业效率的提升。包括在运维管理方面节省了60%的人力成本,在存储成本方面原自建Hadoop集群时的50%,同时实现了较高的性能和优异的稳定性。

CBI 友情链接:

 |  |  |  |  |  

CBI集团其它配资官方网:

航母概念股 |  |  | 

CBISMB简介 |  在线配资  |  配资开户 我们 |  版权声明 |  邮件订阅 |  友情链接航母概念股

地址:北京海淀区学院南路68号吉安大厦B座308

航母概念股商务内容合作QQ:2291221 电话:13391790444 或(010)62178877

版权所有:电脑商情炒股配资 服务集团 北京三人行广告有限公司

航母概念股川B2-20070068-4 北京市公安局海淀分局备案编号:1101083710

航母概念股声明:本媒体部分股票网 、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司配资开户 删除。