有米实习-用到的shell脚本和Python脚本记录

Shell：
LOG_DATE=`date -d "1 day ago" +%Y-%m-%d` #以指定格式设置一天前的年份月份日期

aws s3 ls $LAST5_BASE_PATH > ${TMP_FILE} #将s3这个位置的文件清单输出到tmp.txt文件中

if grep -q $LOG_DATE $TMP_FILE; then #查找是否存在

spark-submit --master "local[*]" /root/Downloads/packageStat/selectTopNAppPackage.py $TEST_1 $TEST_2 $ANDROID_OUTPUT_BASE_PATH $IOS_OUTPUT_BASE_PATH #提交py文件加输入参数

scp -P 端口 -r 拷贝的目录地址 用户名@主机号:/path_to_dst #用于Linux主机间传递文件 

---

 Shell：

crontab -l #列出用户的定时任务

 *　 *　  *　  *　 *　　command

分　时　日　月　周　  命令

第1列表示分钟1～59 每分钟用*或者 */1表示
第2列表示小时1～23（0表示0点）
第3列表示日期1～31
第4列表示月份1～12
第5列标识号星期0～6（0表示星期天）
第6列要运行的命令

 #每天早上7点执行一次 /bin/ls :

 0 7 * * * /bin/ls

参考：http://blog.csdn.net/ethanzhao/article/details/4406017

---

 Python：
eval函数：将字符串"{key:value}"转为字典

时间：

a = "2013-10-10 23:40:00" 

#字符串转为时间time：

timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")

#时间time转为时间戳，时间戳可以用来比较时间先后：

timeStamp = int(time.mktime(timeArray))

#由时间戳转为datetime

dateArray = datetime.datetime.utcfromtimestamp(timeStamp)

#datetime实现日期加减

threeDayAgo = (datetime.datetime.now() - datetime.timedelta(days = 3))

#datetime转为时间戳

timeStamp = int(time.mktime(threeDayAgo.timetuple()))

#时间戳转为time

timeArray = time.localtime(timeStamp)

#字符串与时间互转
datetime.strptime(date_string, format)：将格式字符串转换为datetime对象
time.strftime(fmt)：返回自定义格式化字符串。例子：time.strftime("%Y%m%d-%H:%M:%S")

---

#ftp和sftp上传文件

ftp [ip_address]
username: hcrshup
psw: hcr.com.cn
prompt
mput [src] [dst]

sftp -P 22 [用户名]@[主机名]
lls lcd
mkdir cd
put [src] [dst]