一、配置伪分布模式:
1.配置伪分布式,需要修改$HADOOP_HOME/conf下的三个文件:core-site.xml、hdfs-site.xml和mapred-site.xml。
组件名称 | 配置文件 | 属性名称 | 伪分布模式值 |
Common | core-site.xml | fs.default.name | hdfs://localhost/ |
HDFS | hdfs-site.xml | dfs.replication | 1 |
Mapreduce | mapred-site.xml | mapred.job.tracker | localhost:8021 |
2.配置SSH(参见上一篇文章)
3.格式化HDFS文件系统
hadoop namenode -format
4.开启hdfs和mapreduce服务:
cd $HADOOP_HOME/bin
sh start-dfs.sh
sh start-mapred.sh
5.使用hadoop fs 命令
(1)从本地向hdfs服务器上传文件。
hadoop fs -copyFromLocal 1901 /user/root/1901.txt
其中,/user/root/1901.txt是默认路径,还有其他两种写法分别是hdfs://localhost/user/root/1901.txt 或者 1901.txt
(2)从hdfs服务器拷贝文件到本地
hadoop fs -copyToLocal hdfs://localhost/user/root/1901.txt 1901.txt
(3)hdfs服务器上创建目录。
hadoop fs -mkdir book
(4)hdfs服务器上列出目录。
hadoop fs -ls .
二、Hadoop HDFS的Filesystem类:
(1)URLCat.java:
/**
*
*/
package com.hadoop.mn;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
/**
* @author Chase_Sun
* 从Hadoop URL中读取数据,使用Java.net.URL对象打开数据流,进而读取数据。
* 如果程序的其他组件已经声明了一个URLStreamHandlerFactory的实例,将无法再用这种方法从Hadoop中读取数据。
*
*/
public class URLCat {
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
/**
* @param args[0] 要读取的文件在hdfs服务器上的网络地址,例如:hdfs://localhost/user/root/qualify.txt
*/
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
InputStream in = null;
try{
in = new URL(args[0]).openStream();
IOUtils.copyBytes(in, System.out, 4096, false);
}
finally{
IOUtils.closeStream(in);
}
}
}
执行这个类:
hadoop com/hadoop/mn/URLCat hdfs://localhost/user/root/qulify.txt
运行结果:
He sits on the top of tree
but he dose not to get down.
I am so scared of that.
分享到:
相关推荐
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
赠送jar包:hadoop-hdfs-client-2.9.1.jar 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-...
HDFS—Hadoop分布式文件系统深度实践 - 高清文字版,非常清晰
《HDFS—Hadoop分布式文件系统深度实践》 。带书签,非扫描高清文字完整版。
赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、...
高可用性的HDFS:Hadoop分布式文件系统深度实践
Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到r业界极已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从Hadoop分布文件系统架构的建模人手.通过对模型各组成部分...
分布式文件系统-HDFS1
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
Hadoop分布式文件系统(HDFS)可靠性的研究与优化
赠送Maven依赖信息文件:hadoop-hdfs-2.6.5.pom; 包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、...
Hadoop分布式文件系统HDFS的实战,需要的Hdfs.java文件 public static void main(String[] args) throws Exception { //上传文件到hadoop uploadFile(); createFile(); createDir(); fileRename(); deleteFile...
赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、...
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
hadoop HDFS学习课件,根据hadoop权威指南和apache官网参考手册整理。整个PPT比较大,教学时需要拆分使用
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
《HDFS——Hadoop分布式文件系统深度实践》