基本概念 Spark map() and mapPartitions() 都是 spark 中的transfo…
在线学习想要解决的问题 在线学习 ( OnlineLearning ) 代表了一系列机器学习算法，特点是每来一…
Union 的操作对象是具有相同 schema 的 DataFrame，把多个数据对象合并到一个里面去。 No…
Spark DataFrame 支持多种Join的方式，基本上你能想到的都是支持的，比如 INNER, LEF…
Webpushr 是营销人员喜爱和开发人员依赖的增长最快的网络推送通知平台。 支持所有流行的浏览器。 在它的官…
问题：Youtube为什么要用这个巨大的softmax多分类来建模，而不是用p(w|user,video)的二…
对 DataFrame 的排序有两种方法： sort() or orderBy() ，下面就会介绍这两种方法的…
groupBy 对指定字段相同的数据进行分组处理，是一个聚合操作。 语法: groupBy(col1 : sc…
Spark Schema 定义了 DataFrame 的数据类型，你可以通过调用 printSchema方法来…
Spark 中 DataFrame 中字段对应的数据类型有很多，常见的float 、string等数据类型 1…
在看一个大佬向量的解释时候提到召回中的向量的解耦，看完之后有所感触，回想 DSSM 中的实现，跟这描述似乎完全…
metric包里主要是用来做些衡量指标的，mean、accuracy等指标的计算方法都在这。这些计算的指标值顺…
pivot 函数的功能是实现行列旋转，在 sql 里面也经常会遇到行列旋转，相应的操作大概就是对于行你可能需要…
消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法，二者的区别在于，di…
Spark collect() 和 collectAsList() 是用于将 RDD/DataFrame/Da…
实现这一步还是比较简单的，也是通过修改 supervisor 配置文件来实现，supervisor 是一个 c…
安装步骤 安装supervisor程序监控工具软件 命令为：sudo apt-get install supe…
shapley values 这个想法最初来自1953年Lloyd Shaley 提出的IDEA，下面会通过简…
