2019年10月16日

摘要:1 前言 在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然大发pk10大发pk10我 们 也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式,表示日期的含义)设定分区字段,这样一个cube就可以进行多次build,每一次的 阅读全文
posted @ 2019-10-16 13:36 XIAO的大发pk10倍投方案 阅读 (91) 评论 (0) 编辑

2019年10月14日

摘要:1 Kylin是什么 今天,随着移动大发pk10互联网 、物联网、AI等大发pk10技术 的快速兴起,数据成为了所有这些大发pk10技术 背后最重要,也是最有价值的“资产”。如何从数据中获得有价值的信息?这个问题驱动了相关大发pk10技术 的发展,从最初的基于文件的检索、分析程序,到数据仓库理念的诞生,再到基于数据库的商业智能分析。而现在,这一问题已经变 阅读全文
posted @ 2019-10-14 13:47 XIAO的大发pk10倍投方案 阅读 (270) 评论 (0) 编辑

2019年10月12日

摘要:前面的文章中大发pk10大发pk10我 们 讲道,像趣头条类的APP对于收徒和阅读行为给予用户现金奖励的方式势必会受到大量大发pk10羊毛 党黑产的注意,其实单个用户能薅到的钱是没有多少的,为了达到利益最大化,黑产肯定会利用各种手段构建大量账号来薅APP运营大发pk10企业 的大发pk10羊毛 ,因为收徒的奖励远高于阅读,所以赚取收徒奖励就成了最严重的薅大发pk10羊毛 手段。前文 阅读全文
posted @ 2019-10-12 10:19 XIAO的大发pk10倍投方案 阅读 (255) 评论 (0) 编辑

2019年10月10日

摘要:随着移动大发pk10互联网 的发展,万物互联成为了可能,这种互联所产生的数据也在爆发式地增长,而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上,在移动大发pk10互联网 时代则除了个体,这种个体之间的关系也必然成为大发pk10大发pk10我 们 需要深入分析的很重要一部分。在一项任务中,只要有关系分析的需求,知识图谱就“有 阅读全文
posted @ 2019-10-10 14:17 XIAO的大发pk10倍投方案 阅读 (321) 评论 (0) 编辑

2019年10月9日

摘要:首先大发pk10大发pk10我 们 来看一个典型的大发pk10互联网 大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于大发pk10互联网 在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据大发pk10产品 或者自己开发相关大数据组件。 大发pk10你 可以看到,大数据平台由上到下,可分为三个部分:数据采 阅读全文
posted @ 2019-10-09 16:22 XIAO的大发pk10倍投方案 阅读 (306) 评论 (0) 编辑

2019年9月30日

摘要:今天大发pk10大发pk10我 们 来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,大发pk10你 就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅。 淘宝大数据平台 淘宝可能是中国大发pk10互联网 业界较早搭建了自己大数据平台 阅读全文
posted @ 2019-09-30 11:51 XIAO的大发pk10倍投方案 阅读 (1178) 评论 (1) 编辑

2019年9月27日

摘要:Driver spark.driver.cores driver端分配的核数,默认为1,thriftserver是启动thriftserver大发pk10服务 的机器,资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数,默认为1g,同上。 spark.driver.ma 阅读全文
posted @ 2019-09-27 13:08 XIAO的大发pk10倍投方案 阅读 (81) 评论 (0) 编辑

2019年9月20日

摘要:Spark 编程读取hive,hbase, 文本等外部数据生成dataframe后,一般大发pk10大发pk10我 们 都会map遍历get数据的每个字段,此时如果原始数据为null时,如果不进行判断直接转化为string,就会报空指针异常 java.lang.NullPointerException 示例代码如下: shel 阅读全文
posted @ 2019-09-20 18:38 XIAO的大发pk10倍投方案 阅读 (60) 评论 (0) 编辑

2019年7月31日

摘要:上一篇文章 "知识图谱在大数据中的应用" 大发pk10大发pk10我 们 介绍了知识图谱的一些概念和应用场景,今天大发pk10大发pk10我 们 就来看一个具体的应用案例了解下知识图谱的应用。用户增长对于一个APP的生存起到了至关重要的作用,没有持续的用户增长,再好的APP也不会走的长远,为了获得大发pk10更多 的用户,APP运营商往往会鼓励老用户拉新并给与奖励,比 阅读全文
posted @ 2019-07-31 10:49 XIAO的大发pk10倍投方案 阅读 (372) 评论 (0) 编辑

2019年7月29日

摘要:随着移动大发pk10互联网 的发展,万物互联成为了可能,这种互联所产生的数据也在爆发式地增长,而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上,在移动大发pk10互联网 时代则除了个体,这种个体之间的关系也必然成为大发pk10大发pk10我 们 需要深入分析的很重要一部分。在一项任务中,只要有关系分析的需求,知识图谱就“有 阅读全文
posted @ 2019-07-29 10:50 XIAO的大发pk10倍投方案 阅读 (660) 评论 (2) 编辑

导航

统计