Hadoop 基本操作

Hadoop 基本操作

上传到HDFS

hadoop fs -mkdir -p /spark/test
hadoop fs -put /spark/test/words.txt /spark/test

1. HDFS的基本命令格式为：

   hdfs dfs -cmd ${args}

2. 列出文件目录

   hdfs dfs -ls ${path}  
   hdfs dfs -ls /

3. 在HDFS创建文件夹

   hdfs dfs -mkdir ${folder_name}     
   hdfs dfs -mkdir -p /tmp/words/eng

4. 上传文件至HDFS

   hdfs dfs -put ${local_path} ${target_path}

5. 从HDFS上下载文件

   hdfs dfs -get ${hdfs_filepath} ${local_filepath}

6. 查看HDFS上某个文件的内容

   hdfs dfs -text(cat) ${hdfs_filepath}

7. 统计目录下各文件的大小（单位：字节B）

   hdfs dfs -du ${target_path}

8. 删除HDFS上某个文件或者文件夹

   hdfs dfs -rm ${filepath}     
   hdfs dfs -rm -r ${folder_name}

9. 查看整个磁盘大小和本地某个文件大小：

   df -hv    
   du -hs /root/app  
   du -hs /root

赏

谢谢你请我吃糖果

支付宝

微信

• 本文作者： MISAKIGA
• 本文链接： https://misakiga.github.io/2021/05/22/big-data/Hadoop基本操作/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！