消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法，二者的区别在于，di…

Spark collect() 和 collectAsList() 是用于将 RDD/DataFrame/Da…

case when 这种用法基本上每一类编程语言里都会有，scala 里面常见的就是 case 语法，也就是条…

这个系列好久没更新了，一个字懒，两个字很懒。这篇比较简单，主要的 API 就是 drop 函数。 val st…

昨晚一直在运行的spark任务出现了异常，运行了这么久恰恰这个时候出现了异常。 最直观的现象就是任务出现延迟，…

博主日常在工作中使用spark sql进行数据分析比较多，常见的还会借助hive。从Tfrecord里面读数据…

直奔主题，目前在Hadoop 集群上我常用的执行Copy的命令就是 cp，前两天复制一批数据，如果可以直接搬走…

情况： 需要合并多个DataFrame ，存在部分DataFrame 的 columns 比其他的要多的情况，…

这篇文章的由来是最近在做数据负采样方面的工作，看了些论文准备自己着手对样本直接操作，常规的使用工具就是Spar…

最近使用keras写了一点代码，输入是正负样本，loss使用的是交叉熵，但是最终我只需要网络对给定的样本的预测…

这种过拟合的处理称为正则化。 我们来学习一些最常用的正则化技术，并将其应用于实践中。 1.缩小神经网络的规模 …

使用 mapPartitionsWithIndex 如下所示 // Create (1, 1), (2, 2)…

昨天在yarn集群上跑代码遇到这个问题，现在发现spark代码写好是重要的一方面，spark submit参数…

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException…

一年一度的ACM Recsys会议在9月份已经胜利闭幕，留下一堆slides和tutorials等着我们去学习…

  问题：spark版本1.6，将dataframe写到hive表中，hive表事先已经在库中建立好…

今天刚打了一个jar包放在yarn集群运行报了错误，干脆整个文章记录所有遇到的问题 1、Lost Execut…

batch: batch是批。深度学习每一次参数的更新所需要损失函数并不是由一个{data：label}获得的…