摘要: 转载自:http://blog.csdn.net/my_jack/article/details/69248495 IDEA开发工具是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、sv 阅读全文
posted @ 2018-02-24 15:04 四叶草Grass 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/u014785687/article/details/73473769 打开git视图(window->show view),搜索git,选择Git Repositories: 4、在下方视图中选择:Clone a Git repository: 5 阅读全文
posted @ 2018-02-08 17:30 四叶草Grass 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/fan510988896/article/details/56277822 Git有和Svn类似的功能。 a56爆大奖在线娱乐们想使用Eclipse上传项目到自己的GitHub上面该如何做呢? 今天a56爆大奖在线娱乐成功上传了一个项目,在这里分享给大家。 首先需要在eclipse上面 阅读全文
posted @ 2018-02-08 17:23 四叶草Grass 阅读(773) 评论(0) 推荐(0) 编辑
摘要: 登陆后选择你需要删除的仓库 github如何删除一个仓库 在仓库的主界面的右边菜单栏选择settings github如何删除一个仓库 进入设置页面,一直往下拉,会发现一个红色的危险地区。。 找到delete github如何删除一个仓库 点击delete弹出确认页面 要自己输入一次名字进行确认删除 阅读全文
posted @ 2018-02-08 17:19 四叶草Grass 阅读(553) 评论(0) 推荐(0) 编辑
摘要: 转载至: http://www.cnblogs.com/yisheng163/p/4524808.html?utm_source=tuicool 前言:朋友们开始以下教程前,请先看第五大点的注意事项,以避免不必要的重复操作。 一、准备工作(以下为本实例使用工具) 1、MyEclipse10.7.1 阅读全文
posted @ 2018-02-08 10:39 四叶草Grass 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-02-07 09:58 四叶草Grass 阅读(1304) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-02-07 09:58 四叶草Grass 阅读(940) 评论(0) 推荐(0) 编辑
摘要: HADOOP与MPP是什么关系?有什么区别和联系? 适用范围、应用领域分别是什么? 其实MPP架构的关系型数据库与Hadoop的理论基础是极其相似的,都是将运算分布到节点中独立运算后进行结果合并。个人觉得区别仅仅在于前者跑的是SQL,后者底层处理则是MapReduce程序。 但是a56爆大奖在线娱乐们会经常听到对于M 阅读全文
posted @ 2018-02-07 09:58 四叶草Grass 阅读(1634) 评论(0) 推荐(0) 编辑
摘要: jdk1.5的新特性: 1. 泛型 ArrayList list=new ArrayList() >ArrayList<Integer>list=new ArrayList<Integer>(); 2 自动装箱/拆箱 nt i=list.get(0).parseInt(); >int i=list. 阅读全文
posted @ 2018-02-07 09:57 四叶草Grass 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/andycpp/article/details/1327147/ a56爆大奖在线娱乐绝大部分内容引自这篇文章: http://www.devx.com/Java/Article/31983/0/page/1 a56爆大奖在线娱乐们在编写大型程序的时候,需要写成千上万个方法或函数,这 阅读全文
posted @ 2018-02-07 09:57 四叶草Grass 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/andycpp/article/details/1327346 a56爆大奖在线娱乐们继续对初级篇中的例子进行分析。初级篇中a56爆大奖在线娱乐们使用Eclipse自动生成了一个测试框架,在这篇文章中,a56爆大奖在线娱乐们来仔细分析一下这个测试框架中的每一个细节,知其然更要知其a56爆大奖在线娱乐然,才能更加熟练地应 阅读全文
posted @ 2018-02-07 09:57 四叶草Grass 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/andycpp/article/details/1329218 通过前 2 篇文章,您一定对 JUnit 有了一个基本的了解,下面a56爆大奖在线娱乐们来探讨一下 JUnit4 中一些高级特性。 一、 高级 Fixture 上一篇文章中a56爆大奖在线娱乐们介绍了两个 Fixture  阅读全文
posted @ 2018-02-07 09:56 四叶草Grass 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/relax_hb/article/details/69668815 简述 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱 阅读全文
posted @ 2018-02-06 14:59 四叶草Grass 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 一、大数据通用处理平台 Spark Flink Hadoop 二、分布式存储 HDFS 三、资源调度 Yarn Mesos 四、机器学习工具 Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习 阅读全文
posted @ 2018-02-06 10:49 四叶草Grass 阅读(701) 评论(0) 推荐(0) 编辑
摘要: 近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员,风光背后的危机”,在Java程序员圈子里引起了广泛关注和热议。 2017年,Java 程序员面临更加激烈的竞争。 不得不承认,经历过行业的飞速发展期,互联网的整体发展趋于平稳。为什么这么说?为什么要放在 Java 程序 阅读全文
posted @ 2018-02-06 10:48 四叶草Grass 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/qqqqqq654/article/details/53204789 关于如何将Java Web上线,部署到公网,让全世界的人都可以访问的问题。小编将作出系列化,完整的流程介绍。 1.在myeclipse中开发好项目,打包成war格式,不会的同学参考 阅读全文
posted @ 2018-02-06 09:58 四叶草Grass 阅读(344) 评论(0) 推荐(0) 编辑
摘要: 这是一个关于池子的故事。有一个池子,它一头进水,另一头出水,进水口可以配置各种管子,出水口也可以配置各种管子,可以有多个进水口、多个出水口。水术语称为Event,进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel,Source+Channel+Sink,术语称为Agent 阅读全文
posted @ 2018-02-06 09:49 四叶草Grass 阅读(1397) 评论(0) 推荐(0) 编辑
摘要: 总体运行状况: 这里的a56爆大奖在线娱乐批处理任务间隔是10s一次,a56爆大奖在线娱乐Total Delay是14s,那么对于下一个批处理任务来说就是延迟了14 - 10 = 4s 。 Total Delay - a56爆大奖在线娱乐批处理任务设置的间隔 = Scheduling Delay Scheduling Delay + Proces 阅读全文
posted @ 2018-02-05 10:27 四叶草Grass 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/csolo/article/details/53694665 前面几篇实践说明了zookeeper如何配置和部署,如何开发,因为大多是后台操作,对于维护和产品项目管理人员来说太抽象。 下面介绍一下zookeeper的web客户端使用。 一、环境准备 阅读全文
posted @ 2018-02-02 10:21 四叶草Grass 阅读(1149) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/sunny05296/article/details/54089194 安装HBase时,要考虑选择正确的Hadoop版本,否则可能出现不兼容的情况。 HBase各版本和Hadoop版本的支持情况,官方有相关说明,下面表格中: "S" = 支持 "X 阅读全文
posted @ 2018-02-01 22:55 四叶草Grass 阅读(727) 评论(0) 推荐(0) 编辑
摘要: 因为原先使用的c3p0链接池,时常出现:APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks,以及出现线程死锁的情况导致服务器经常需要重启,很是头疼。a56爆大奖在线娱乐考虑使用Druid 链接池来代替原先的c3p0 阅读全文
posted @ 2018-02-01 22:49 四叶草Grass 阅读(7749) 评论(0) 推荐(0) 编辑
摘要: 转载自:/shuaixf/archive/2011/11/29/2268298.html ./configure --prefix=/usr/local/pgsql ..... configure: error: zlib library not fou 阅读全文
posted @ 2018-02-01 17:29 四叶草Grass 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 转载自:/kaituorensheng/p/4735191.html 1. 修改PostgreSQL数据库默认用户postgres的密码 PostgreSQL数据库创建一个postgres用户作为数据库的管理员,密码随机,a56爆大奖在线娱乐需要修改密码,方式如下: 步 阅读全文
posted @ 2018-02-01 17:27 四叶草Grass 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/gitchat/article/details/78341484 GitChat 作者:Fickr孫啟誠 原文: 三个月大数据研发学习计划实战解析 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术 【不要错过文末彩蛋】 申明: a56爆大奖在线娱乐旨在 阅读全文
posted @ 2018-02-01 15:35 四叶草Grass 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/zrc199021/article/details/54020692 关于所在节点核数怎么看? # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CP 阅读全文
posted @ 2018-02-01 14:59 四叶草Grass 阅读(3845) 评论(1) 推荐(0) 编辑
摘要: 转载自:http://www.cnblogs.com/bigbigtree/p/6908014.html 业务背景 通过实时抽取华为ESIGHT系统的wifi数据,与校园的学生数据、课程数据、地理位置数据等进行关联,进行校园大数据的流数据处理与分析。 技术选型 Kafka调用ESIGHT的resut 阅读全文
posted @ 2018-02-01 13:19 四叶草Grass 阅读(408) 评论(0) 推荐(0) 编辑
摘要: 转载自:/LinBug/p/8082790.html Linux环境安装PostgreSQL-10.1 环境及资源 Linux版本:CentOS release 6.5 PostgresSQL版本:postgresql-10.1 PostgreSQL官网 阅读全文
posted @ 2018-01-31 23:19 四叶草Grass 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://yq.aliyun.com/articles/228271 背景 PostgreSQL是一个强类型数据库,因此你输入的变量、常量是什么类型,是强绑定的,例如 在调用操作符时,需要通过操作符边上的数据类型,选择对应的操作符。 在调用函数时,需要根据输入的类型,选择对应的函数。 阅读全文
posted @ 2018-01-31 22:57 四叶草Grass 阅读(2723) 评论(0) 推荐(0) 编辑
摘要: a56爆大奖在线娱乐转载自:https://tech.meituan.com/spark-tuning-pro.html 美团技术点评团队) Spark性能优化指南——高级篇 李雪蕤 ·2016-05-12 14:47 前言 继基础篇讲解了a56爆大奖在线娱乐Spark开发人员都必须熟知的开发调优与资源调优之后,a56爆大奖在线娱乐作为《Spar 阅读全文
posted @ 2018-01-31 22:02 四叶草Grass 阅读(176) 评论(0) 推荐(0) 编辑
摘要: a56爆大奖在线娱乐转载自:http://tech.meituan.com/spark-tuning-basic.html (美团技术点评团队) Spark性能优化指南——基础篇 李雪蕤 ·2016-04-29 14:00 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spar 阅读全文
posted @ 2018-01-30 17:44 四叶草Grass 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 转载自:/xing901022/p/6445254.html Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便,只能通过Log的形式进 阅读全文
posted @ 2018-01-30 17:28 四叶草Grass 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://my.oschina.net/u/140462/blog/519409 执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | python file> [app options] 参数名称 含义 --master MAST 阅读全文
posted @ 2018-01-30 17:24 四叶草Grass 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源 阅读全文
posted @ 2018-01-30 17:19 四叶草Grass 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 转载自:/haozhengfei/p/e19171de913caf91228d9b432d0eeefb.html Spark性能调优之合理设置并行度 1.Spark的并行度指的是什么? spark作业中,各个stage的task的数量,也就代表了spar 阅读全文
posted @ 2018-01-30 17:05 四叶草Grass 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://bigdata.51cto.com/art/201704/536499.htm Spark程序运行常见错误解决方法以及优化 task倾斜原因比较多,网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢,可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台 阅读全文
posted @ 2018-01-30 17:02 四叶草Grass 阅读(4525) 评论(0) 推荐(0) 编辑
摘要: CPU各核负载量很不均匀,内存也没有用满,系统的资源没有得到充分利用,该如何利用? (1)Spark的RDD的partition个数创建task的个数是对应的; (2)Partition的个数在hadoop的RDD中由block的个数决定的。 内存:系统总内存数 = work内存大小 * work数 阅读全文
posted @ 2018-01-30 16:49 四叶草Grass 阅读(1232) 评论(0) 推荐(0) 编辑
摘要: 转载自:/hadoop-dev/p/6669232.html spark分区数,task数目,core数,worker节点个数,excutor数量梳理 作者:王燚光 链接:https://www.zhihu.com/question/33270495/a 阅读全文
posted @ 2018-01-30 14:10 四叶草Grass 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://blog.csdn.net/xueba207/article/details/51135423 问题描述 笔者使用spark streaming读取Kakfa中的数据,做进一步处理,用到了KafkaUtil的createDirectStream()方法;该方法不会自动保存top 阅读全文
posted @ 2018-01-30 11:33 四叶草Grass 阅读(1087) 评论(0) 推荐(0) 编辑
摘要: 转载自:/yucy/p/7845105.html MySQL数据实时增量同步到Kafka - Flume 写在前面的话 需求,将MySQL里的数据实时增量同步到Kafka。接到活儿的时候,第一个想法就是通过读取MySQL的binlog日志,将数据写到Ka 阅读全文
posted @ 2018-01-30 10:30 四叶草Grass 阅读(1663) 评论(0) 推荐(0) 编辑
摘要: 转载自:/liango/p/7116620.html Hadoop的单机模式、伪分布式模式和完全分布式模式 转载自:http://blog.csdn.net/vbskj/article/details/46753305 Hadoop三种安装模式:单机模式 阅读全文
posted @ 2018-01-29 23:59 四叶草Grass 阅读(391) 评论(0) 推荐(0) 编辑