博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案
阅读量:6197 次
发布时间:2019-06-21

本文共 311 字,大约阅读时间需要 1 分钟。

一、Crontab -e 加入输出Log

*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1

二、查看Log发现,找不到Hadoop

三、脚本中指定Hadoop完整路径

#!/bin/sh

#upload list to hdfs

yesterday=`date --date='1 day ago' +%Y%m%d`

echo $yesterday

/home/hadoop/bin/hadoop fs -put /qiwen_list/qiwen_${yesterday}.csv /qiwen_list

 

再次执行,问题解决。

转载地址:http://fcjca.baihongyu.com/

你可能感兴趣的文章
外键值可为空
查看>>
读取Style符号库样式的方法
查看>>
dedecms网站迁移时记得将安装目录放空 附迁移的正确方法
查看>>
ThinkPHP 3.2 用户注册邮箱验证激活帐号
查看>>
C# 读写App.config配置文件的方法
查看>>
第 103 章 Bandwidth
查看>>
SAP S4表结构之变
查看>>
MySQL之伪列实现与实践
查看>>
重温二分查找算法
查看>>
ComponentOne 2016 年产品规划
查看>>
SQL中where条件解析
查看>>
ORACLE 触发器控制用户登录之权限限制
查看>>
oracle 执行存储过程 ora00131
查看>>
SAP Solution Manager流程与邮件集成,提报审批 so easy
查看>>
利用Oracle RDA( Remote Diagnostic Agent)快速收集Oracle产品分析数据
查看>>
timesten常见的一些简单问题
查看>>
C++中一些特殊函数的使用
查看>>
可变参数宏__VA_ARGS__和...
查看>>
如何实践设计原则
查看>>
Linux进程间通信——使用流套接字
查看>>