摘要：
代码参考git。git地址：https://github.com/lidreamwind/Java-Jpa-Data one to many是一张表的一条记录对应另一张表的多条记录。 Many to one 是一张表的多条记录对应另一张表的一条记录。 两张表之间以外键关系关联在一起。 文档参考：ht 阅读全文
摘要：
近期由于工作需要，使用Spring boot来进行项目开发，现总结如下。 Spring boot简介，https://blog.csdn.net/qq_32403063/article/details/87948084 Spring boot项目创建，/ 阅读全文
摘要：
https://blog.csdn.net/guyan0319/article/details/81188977 阅读全文
摘要：
spark未序列化问题虽然不难，但资料却不系统，现总结如下： 问题发生原因 当spark算子在使用外部变量时，就会发生序列化问题，如下图所示： 上述图中算子map会在各个节点运行，属于不同jvm间数据交换，需要对交换的内容进行序列化。这就是为什么需要序列化的原因。 方法 1） 序列化类，并使用bro 阅读全文
摘要：
回调函数 有两个类，A,B,在类A中调用B，在B中调用A的方法完成A的工作，那么这个在B类中调用的A的函数就称为回调函数。 异步回掉函数：类A将自己的工作交给类B后，继续执行剩下的程序，而B继续完成A交给的工作。 使用方法： 1、定义一个接口 2、A可以直接继承此接口，也可以定义一个内部类继承此接口 阅读全文
摘要：
代码如下： val conf = new SparkConf().setAppName("testMysqlToHiveJdbc") .setMaster("local") val spark = SparkSession.builder() .config(conf) .enableHiveSup 阅读全文
摘要：
authentication disabled; ui acls disabled; users with view permissions: Set(yanfabu); groups with view permissions: Set(); users with modify permissio 阅读全文
摘要：
1、查看免密登录日志 tail -f /var/log/secure 2、编辑ssh配置文件,参考配置 vi /etc/pam.d/system-auth vi /etc/pam.d/password-auth 3、修改/etc/ssh/sshd_config 参考值 PermitRootLogin 阅读全文
摘要：
TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="none"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE 阅读全文
摘要：
快速排序的思想： 先以一个元素作为标准，找到这个元素的位置，这个位置前的数据都比这个元素小，这个元素后的数据都比这个元素大。 下面代码适用场景，没有大量重复元素的数据。 由于比较懒，盗个图吧: 第一版代码如下: 代码如下： 阅读全文
摘要：
1、数据源读取 使用的时候，需要加载驱动 --jars 或者添加到classpath中 或scaddjar Spark对Oracle数据库读取，代码如下： Spark 对Mongo读数据 2、机器学习算法转换 机器学习算法有两类不能直接添加到spark中： 1) 包中含有复杂依赖关系的，如scipy 阅读全文
摘要：
自顶向下的递归 归并排序的思想是先二分数组，然后再对每一部分进行二分，最后递归至每一部分只有一个元素，然后再进行组合。 优点：速度快 缺点：空间消耗较大 实现步骤：三个函数，一个总接口调用函数，一个递归函数，一个归并函数 优化一：数据近乎是有序数据时： 当middle的值大于middle+1位置的值 阅读全文
摘要：
1、选择排序 1) 循环所有元素，找到最小元素的下标 2) 最小元素下标和当前元素互换位置 阅读全文
摘要：
如给www.baidu.com/id=生活进行编码为 增加JavaScript控件，增加如下代码即可： var url='www.baidu.com/id=生活'var url2=encodeURI(url) 参考网址：https://stackoverflow.com/questions/3328 阅读全文
摘要：
1、 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxError 阅读全文
摘要：
yum源卸载： yum -y remove java java-1.8.0-openjdk.x86_64 阅读全文
摘要：
1、官网下载Hive组件，拷贝至虚拟机， 地址： https://pan.baidu.com/s/1_ijjPTJdKfsA3JbbqYNN3Q 5fwu tar -zxvf apache-hive-2.3.3-bin.tar.gz 解压命令 2、配置环境变量， vi .bash_profile e 阅读全文
摘要：
1、下载版本对应的spark和hadoop，如下： 2、配置Spark 解压Spark并配置环境变量， 新建环境变量如下： 在Path中增加如下环境变量： 3、配置hadoop相关变量， 4、下载hadoop组件，并进行配置(winutils ) 下载地址：https://github.com/sr 阅读全文
摘要：
Spark安装首先要先安装上Hadoop，然后才可以安装Spark。 Spark官网下载：http://spark.apache.org/downloads.html 需要注意的是：Spark对应的hadoop版本，然后上传至虚拟机 安装步骤： 1、加压文件，tar -zxvf spark-2.3. 阅读全文
摘要：
Hadoop安装有三种模式，单机模式、伪分布式和分布式安装 伪分布式安装 1、去hadoop官网下载 .tar.gz 文件，并拷贝到虚拟机中 增加hadoop环境变量， export HADOOP_HOME=/home/wdd/hadoop-2.9.0 export PATH=$PATH:$HADO 阅读全文