大数据时代的“弄潮与识潮”
发布网友
发布时间：2022-04-13 12:27
共2个回答
懂视网
时间：2022-04-13 16:48
这次我有幸参加了51CTO举办的2013年大数据峰会，这次大会的主题是大数据的运维（第一天）以及大数据的分析（第二天）。大数据到底是啥意思呢？从字眼上就是很多
这次我有幸参加了51CTO举办的2013年大数据峰会，这次大会的主题是大数据的运维（第一天）以及大数据的分析（第二天）。
大数据到底是啥意思呢？从字眼上就是很多很大量的数据，可以叫做海量数据。
当数据很小时，你可以用一台机器顶住数据访问压力，再大时你可以加内存换SSD硬盘，或者采购性能很强劲的小型机，通过硬件去解决。
从架构层出发，于是就发展到了读写分离，同时有多台Slave备机提供读取业务，这样就降低了数据库的负载。
随着数据的增长，发现依靠读写分离也解决不了高负荷高并发的访问，Slave备机延时很大，于是又发展到了对表的水平切分，依靠表的主键取模，把数据平均分散到不同的小表，再分布到各台机器上，可以看做是迁移数据，我之前写过《一篇用户信息表水平切分》的博文，有兴趣的可以去访问：
但这个有一个弊端，就是开发需要更改他们的代码，增加路由访问策略，要知道每张小表是分布到哪台机器上，对开发人员并不是透明的，而对于DBA来说，每次都需要通过手工去拆分，比较繁琐。
下面就进入了会议的正题，首先是新浪微博，他们的解决方案是通过数据库前端CACHE层，用redis做缓存，采用nosql型数据库（非传统关系型数据库），降低数据库的负载。他们没有采用memcache，是考虑到数据可以持久化的保存在磁盘上，解决了服务重启后数据不丢失的问题，免备案空间，且存储的数据类型较多。
下面是淘宝，虚拟主机，他们的开源软件Oceanbase海量数据平台（数据库中间件），其原理也是通过对主键的取模，香港虚拟主机，把一张大表拆分成N张小表并存储到各台服务器上，前端应用访问海量平台，经过海量平台处理，把请求发送到后端MySQL数据库上，MySQL完成数据查询，再经过中间件，将结果送回客户端。这样对开发来说是透明的，代码层加上API接口，开发不需要知道每张小表具体放在哪台服务器上，DBA也减少了繁琐的水平拆表的工作。
目前应用在收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务，线上数据量已经超过一千亿条。
更多介绍请参考官网：
第二天，主要介绍了数据分析与挖掘，当数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。Hadoop基于MapReduce在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，目前已成为当前互联网企业主流的大数据分析平台。
目前淘宝，百度，暴风影音，360安全卫士都采用hadoop做海量数据分析。
关键词：MySQL、nosql、hadoop已成为当今互联网行业最流行、最前端的技术。
本文出自 “贺春旸的技术专栏” 博客，请务必保留此出处
热心网友
时间：2022-04-13 13:56
大数据时代的“弄潮与识潮”
“专业展会、国际平台、促进合作、共谋未来”——2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会于2015年5月26日至29日，将在贵阳国际会议展览中心举行以“大数据时代的变革、机遇和挑战”为主题的大型数博会，届时将举行展览展示、峰会论坛和创新大赛等活动，综合呈现大数据技术、应用和发展趋势。
绿水青山的确就是“金山银山”。贵阳气候凉爽，空气清新，符合精密制造业研究发展的要求和创新创业者的宜居选择；贵阳的地质构造稳定，地震、台风等灾害罕见，信息网络设备的“安全系数”很高，对大数据产业企业有很强吸引力。在这巨大的“绿色背景”之下，贵阳以首届数博会为契机，引领和推动向大数据时代的快速迈进，无疑显现了其珠联璧合、相得益彰的独特优势与璀灿前景。
当前眼下，“大数据时代”已非一个虚幻空洞的时髦名词，而早涌现了捷足先登的弄潮群雄。贵阳数博会，已不仅仅是一个寻常意义上的博览会：全球第一个“数博会”，马云、郭台铭这些业界“大佬”会来，包括阿里巴巴、惠普、戴尔这些国际顶尖企业在内的250家企业也将接踵而至。对于参与这场“大数据盛宴”的深远意义，还是马云一语中的、振聋发聩：如果大家错过了三十年前广东、浙江的投资机遇，今天一定不能错过贵州！
马云所说“不能错过贵州”，其实就是“不能错过贵阳”、“不能与数博会失之交臂”。这是因为，大数据超越想象，大数据时代正朝我们走来，而在这个发展潮流里，贵阳恰恰坐到了前排、走在了前列。就在今年4月间，贵阳又拿了个全国第一，近期将成立“全国首家大数据交易所”，将诞生一个万亿级别的交易市场，大数据产业链将开启“贵阳模式”，预计在未来3至5年，交易所日交易额将突破100亿元。
从来的说法都称，“机不可失，时不再来”。大数据时代亦是如此，没有今天的认准目标和果敢出手，肯定也难有将来的出类拔萃、脱颖而出。马云口中“不能错过贵州”，既是他个人深思熟虑后的一家之言，又何尝不能作为犹豫踟蹰、举棋不定者的有力催促？这种“大师级”的催促，说到底就是一种机遇来临时，对于“弄潮与识潮”的清楚观察和清醒判断。换言之，“弄潮”须先“识潮”，只有判明了途径、认准了方向，才能真正做到“勇立潮头”，并一步步地做得“风生水起”。
大数据时代的“弄潮与识潮”，也不只是产业巨头、业界精英们要善思多想的事。诚如一些刚刚谋职择业的网友所言，找好工作主要还得找准好行业，行业发展有前景的工作才是好工作；计算机改变世界，现在大数据也像计算机一样改变着世界，这个行业、这个产业的就业前景肯定就好，发展空间也就特别大，有前景的工作才是真正的“金饭碗”。可见，大数据时代带来的，将会是一种全面性和广泛性的渗透与改变。
以上是小编为大家分享的关于大数据时代的“弄潮与识潮”的相关内容，更多信息可以关注环球青藤分享更多干货
