windowboy的博客
windowboy · 共 29 篇文章
hadoop,hbase,hive,sqoop等大数据相关安装详细说明
安装包 网上下载 1. hadoop-2.6.0-cdh5.4.0.tar.gz 2. scala-2.10.4.tgz 3. sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4. apache-hive-1.2.1-bin.tar.gz 5. spark-1.4.1-bin-hadoop2.6.tgz 6. jdk-8u40-ea-bin-b05-linux-x64-10_sep_2014.tar.gz 安装系统环境: linux 安装步骤: 1.安装JDK (建议JDK7 以上) 步骤一: 解压安装包,通过命令进入JDK压缩包存放目录,解压JDK压缩…
2015-10-16 18:50 · 大数据 · 评论(0)
js汇总-数组
一 数组的创建 var arrayObj = new Array(); //创建一个数组 var arrayObj = new Array(5); //创建一个数组并指定长度,注意不是上限,是长度 var arrayObj = new Array('苹果',‘鸭梨’,‘橙子’); 创建一个数组并赋值 var arrayObj = ['苹果',‘鸭梨’,‘橙子’] 二 数组元素的访问 var arrValue=arrayObj[1]; //获取数组的元素值 arrayObj[1]= "new Value"; //给数组元素赋予新的值 三 数组元素操作 1.增加(add) arrayObj. p…
2015-10-09 19:22 · javascript · 评论(0)
javascript汇总- 函数与对象
function Person(name){ //构造函数 this.name=name; } function fk (){}; Person.prototype.printName=function() //原型对象 { alert(this.name); } var person1=new Person('Byron');//实例化对象 1. person1.__proto__ 实例化对象指向 Person.prototype 这两个是恒等的。 person1.__proto__===Person.prototype person1.constructor 指的就是 Person ,这…
2015-10-09 19:02 · javascript · 评论(0)
js-汇总-数据类型
js数据类型 Javascript中只有五种简单类型,分别为null,undefined,boolean,String和Number.一种复杂类型:object。 undefined:未定义,我们也可称之为不存在,typeof(undefined)=undefined. null:为空。undefined是不存在,而null是存在,但却无。 typeof(null)=object,但null又不是object,这就是null的神奇而独特之处。 boolean:true or false。 Number:NaN和Infinity是两个特殊之数,NaN代表一个无法用数值来表示的数字,而Infin…
2015-10-09 19:00 · javascript · 评论(0)
js汇总-变量
一 JavaScript概述 JavaScript是基于对象和事件驱动的脚本语言,主要应用在客户端。 特点: 1.交互性(它可以做的就是信息的动态交互) 2.安全性(它不允许直接访问本地硬盘) 3.跨平台性(只要是可以解释Js的浏览器都可以执行,和平台无关)。 变量 1. var变量的命名与java相同,以字母,下划线_ ,$美元符号开头. 2. 标识符:用于标识数据和表达式的符号,通常可以理解为在程序中自定义的名称,比如变量名、函数名。 跟Java是一样的,(26个英文字母大小写) + (十个数字) + ($) + (_). 3.javascript是按照行编译运行的,那么变量需要再定义之…
2015-09-30 17:01 · javascript · 评论(0)
CountDownLatch
CountDownLatch,一个同步辅助类,在完成一组正在其他线程中执行的操作之前,它允许一个或多个线程一直等待。 主要方法 public CountDownLatch(int count); public void countDown(); public void await() throws InterruptedException 构造方法参数指定了计数的次数 countDown方法,当前线程调用此方法,则计数减一 awaint方法,调用此方法会一直阻塞当前线程,直到计时器的值为0 CountDownLatch 很适合用来将一个任务分为n个独立的部分,等这些部分都完成后继续接下来的任…
2015-09-13 21:33 · java并发编程 · 评论(0)
浅谈JAVA ThreadPoolExecutor
在Java中,如果只是需要一个简单的thread pool,ExecuteService可能更为合适,这是一个Interface。可以通过调用Executor的静态方法来获得一些简单的threadpool,如: [java] view plain copy ExecuteService pool = Executors.newFixedThreadPool(poolSize); 但如果要用定制的thread pool,则要使用ThreadPoolExecutor类,这是一个高度可定制的线程池类,下面是一些重要的参数和方法: 首先是构造函数。以最简单的构造函数为例: public Thread…
2015-09-13 21:31 · java并发编程 · 评论(0)
ScheduledExecutorService
ExecutorService,可安排在给定的延迟后运行或定期执行的命令。 schedule 方法使用各种延迟创建任务,并返回一个可用于取消或检查执行的任务对象。 scheduleAtFixedRate 和 scheduleWithFixedDelay 方法创建并执行某些在取消前一直定期运行的任务。 用 Executor.execute(java.lang.Runnable) 和 ExecutorService 的 submit 方法所提交的命令,通过所请求的 0 延迟进行安排。 schedule 方法中允许出现 0 和负数延迟(但不是周期),并将这些视为一种立即执行的请求。 所有的 sch…
2015-09-13 21:29 · java并发编程 · 评论(0)
浅谈ScheduledThreadPoolExecutor
继承ThreadPoolExecutor,实现ScheduledExecutorService接口。 虽然此类继承自 ThreadPoolExecutor,但是几个继承的调整方法对此类并无作用。特别是,因为它作为一个使用 corePoolSize 线程和一个无界队列的固定大小的池,所以调整 maximumPoolSize 没有什么效果。 简单实例:这个例子跟使用 ThreadPoolExecutor executor = new ThreadPoolExecutor(2, 5, 1000,TimeUnit.SECONDS, queue); 类似。 public class TestSched…
2015-09-13 21:28 · java并发编程 · 评论(0)
sqoop安装配置
1. 下载 sqoop1(sqoop2 版本不稳定) wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz 2.修改 /etc/profile export JAVA_HOME=/usr/java/default export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:$PATH export JAV…
2015-09-06 09:55 · 大数据 · 评论(0)
hbase安装配置
1.下载镜像文件 wget http://apache.claz.org/hbase/hbase-0.98.13/hbase-0.98.13-hadoop1-bin.tar.gz 2. tar -zxvf hbase-0.98.13-hadoop1-bin.tar.gz 3. 修改hbase-site.xml文件内容 <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster…
2015-09-06 09:53 · 大数据 · 评论(0)
hadoop常用命令
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 1. 进入HADOOP_HOME目录。 2. 执行sh bin/hadoop fs -ls /use…
2015-09-06 09:50 · 大数据 · 评论(0)
hadoop安装
1.下载 http://www.apache.org/dist/hadoop/core/ 版本为 hadoop-1.2.1 2. 解压 文件 tar -xzvf hadoop-1.0.4.tar.gz 修改配置文件(安装目录下的 conf/ 下) 1>.hadoop-env.xml 添加 java配置 export JAVA_HOME=/usr/java/default export HADOOP_HOME=/opt/hadoop/hadoop-1.2.1 export PATH=$PATH:/opt/hadoop/hadoop-1.2.1/bin export HADOOP_COMMON_…
2015-09-06 09:49 · 大数据 · 评论(0)
hadoop之hdfs
hdfs的设计理念:当数据集的大小超过单台计算机的存储能力时,就有必要将其进行分区并存储到若干台单独的计算机上。可以这样说 hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。 在hadoop里,hadoop定义了一个抽象的文件系统的概念,具体就是hadoop里面定义了一个java的抽象类:org.apache.hadoop.fs.FileSystm,这个抽象类用来定义hadoop中的一个文件系统接口,只要某个文件系统实现了这个接口,那么它就可以作为hadoop支持的文件系统 文件系统 URI方案 Java实现 (org.apache.hadoop) 定义 Local file…
2015-09-04 17:14 · 大数据 · 评论(0)