Python统计svn代码总行数

#!/bin/bash/python
# -*-coding:utf-8-*-
#svn统计url代码行数脚本，过滤空行，不过滤注释。

import subprocess,os,sys,time,re,shutil
from optparse import OptionParser

#初始化temp文件：
FOLDER = "/tmp/temp_cm_svn_resource_total/"
#初始化设置私密配置文件：
PRIVATE_FILE = "/home/wwl/conf/wwl_private.conf"
#Exclude条件：
EXCLUDE = r"\.(txt|dic|properties|xml|config|log|key|pem|crt|per|sql|prefs|ver|gif|png|jpg|war|jar|swf|)$"

#清理temp文件夹    
def clean():
    if os.path.exists(FOLDER):
        shutil.rmtree(FOLDER)
        print "清理temp文件夹成功。"
    else:
        print "temp文件夹不存在。"
        
#创建temp文件夹
def mkdir():
    #os.mkdir(FOLDER)
    os.makedirs(FOLDER)
    print "创建temp文件夹成功。"
    
#读取配置文件，私密信息 
def get_conf_private():
    if os.path.isfile(PRIVATE_FILE):
        with open(PRIVATE_FILE,'r') as private:
            for line in private:
                if line.startswith('SVN_USERNAME'):
                    username = line.split('=')[1]
                elif line.startswith('SVN_PASSWORD'):
                    passwd = line.split('=')[1]
            return (username,passwd)
    else:
        print "svn配置文件不存在，联系值班CM！！！"
        sys.exit(1)

#检验svn的用户名、密码和url是否正确
def svn_check_url_u_p(uname,pword,url,temp_svninfo):
    cmd = "svn info --no-auth-cache --non-interactive --username='%s' --password='%s' %s >%s" %(uname,pword,url,temp_svninfo)
    p = subprocess.Popen(cmd,shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)
    (stderr_test,stdout_test) = p.communicate()
    if len(stderr_test) == 0:
        print "url正确，svn账号密码正确:",url
    elif 'authorization failed' in stderr_test:
        print "svn账号密码不正确，请联系值班CM！！！"
        sys.exit(1) 
    elif 'Not a valid URL' in stderr_test:
        print "url错误，请检查配置:",url
        sys.exit(1)

#获取svn list url文件 并处理目录文件：
def svn_list(uname,pword,url,temp_svnlist):
    cmd = "svn list -R --no-auth-cache --non-interactive --username='%s' --password='%s' %s |grep -v  '\/$' >>%s" %(uname,pword,url,temp_svnlist)
    p = subprocess.Popen(cmd,shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)
    (stderr_test,stdout_test) = p.communicate()
    if len(stderr_test) == 0:
        print "svn list Success..."
    else:
        print "svn list Error...请联系值班CM！！！"
        sys.exit(1)
    
#处理svn list文件：
def deal_with_svnlist(uname,pword,ufile):
    cmd = "svn blame --no-auth-cache --non-interactive --username='%s' --password='%s' %s |awk 'NF>2' |wc -l" %(uname,pword,ufile) 
    p = subprocess.Popen(cmd,shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)
    (stderr_test,stdout_test) = p.communicate()
    if stdout_test.startswith("Skipping binary file"):
        print "Skipping binary file : ",ufile
        return 0
    else:
        return int(stdout_test)

#判断过滤条件：        
def is_ignore_svn(file_name):
    ignore_file_pattern_svn = EXCLUDE
    match = re.search(ignore_file_pattern_svn,file_name)
    if match == None:
        return False
    else:
        return True
        
def main():
    #获取当前时间戳：
    print "####******Begin testing at: ",time.strftime("%Y-%m-%d %H:%M:%S",time.localtime())," ********####"
    now_time = time.strftime("%Y%m%d%H%M%S",time.localtime())
    clean()
    mkdir()
    temp_svninfo = os.path.join(FOLDER,"temp_svninfo."+now_time)
    temp_svnlist = os.path.join(FOLDER,"temp_svnlist."+now_time)
    
    #获取命令行参数并赋值给变量
    parser = OptionParser()
    parser.add_option("-o",dest="url",default="",help="-o  URL  svn URL地址")
    parser.add_option("-u",dest="username",default=get_conf_private()[0].strip(),help="-u  USER_NAME   svn服务器用户名")
    parser.add_option("-p",dest="passwd",default=get_conf_private()[1].strip(),help="-p  PASSWD     svn服务器密码")
    parser.add_option("-f",dest="judge",default="N",help="-f  yes|YES|Y|y  是否打印文件列表")
    
    (options,args)=parser.parse_args()
    
    url = options.url.strip()
    #判断url参数是否赋值：
    if len(url) == 0:
        print "url不能为空，请检查输入！！！"
        sys.exit(1)
        
    #检查url是否正确，svn账号密码是否正确
    svn_check_url_u_p(options.username,options.passwd,url,temp_svninfo)
    
    #获取svn list url文件 并处理目录文件：
    svn_list(options.username,options.passwd,url,temp_svnlist)
    
    #初始化赋值：
    AddedLineNum = 0
    AddFileNum = 0
    ExcludeFileNum = 0
    
    #是否显示增加文件：
    if options.judge in ['Y','YES','y','yes']:
        with open(temp_svnlist,'r') as svnlist:
            print "本次增加的文件："
            for file in svnlist:
                print file
    else:
        print "本次跳过的文件："
    
    #处理svnlist文件：
    with open(temp_svnlist,'r') as svnlist:
        for file in svnlist:
            AddFileNum += 1
            if is_ignore_svn(file):
                print "Skipping file : ",file
                ExcludeFileNum +=  1
            else:
                ufile = os.path.join(url,file).strip()
                AddedLineNum +=  deal_with_svnlist(options.username,options.passwd,ufile)
   
    clean()
    
    print "===============代码行差异为：=================\n"
    print "代码行总数 = ",AddedLineNum," 行"
    print "全部文件总数 = ",AddFileNum," 个\n"
    print "排除文件总数 = ",ExcludeFileNum," 个\n"
    print "=============代码行统计完成！================="
    print "####******End of testing at: ",time.strftime("%Y-%m-%d %H:%M:%S",time.localtime())," **********####"
    print "%s%d" %('a',AddedLineNum)
     
if __name__ == "__main__":
    main()

wwl_private.conf文件用于存放默认的svn账号密码：(如果执行python的时候没有输入-u -p 脚本调用此私密配置)

#(username)
SVN_USERNAME=wwl
#(password)
SVN_PASSWORD=wwl

使用环境：python2.7、svn1.6、Ubuntu13.04

使用命令：python xxx.py -o "url"  -f y -u "name" -p "password"

背景说明：统计一个svn的url代码总行数其实也可以使用前面那个diff脚本，其中old_url设置为一个空url。

             但是有2点不足：

　　　　　　1.svn diff只能在同一个物理库中进行，如果有多个物理库需要对应建多个空url；

　　　　　　2.如果url里面包含的代码非常多，使用diff脚本生成的temp文件将会很庞大，解析temp文件很慢甚至卡死。

脚本解析：使用svn info 命令判断url是否正确，svn用户名、密码是否正确；

　　　　   使用svn list 输出此url包含的所有文件名到temp文件并排除以'/'结尾的文件夹；

              使用svn blame 遍历所有文件并计算非空行数，排除二进制文件；

              设置过滤器EXCLUDE，过滤指定文件不统计；

              过滤空行增删，不过滤注释；

 PS:如果使用的是svn1.7版本：检验svn用户名、密码和url替换成下面代码

#检验svn的用户名、密码和url是否正确
def svn_check_url_u_p(uname,pword,url,temp_svninfo):
    cmd = "svn info --no-auth-cache --non-interactive --username='%s' --password='%s' %s >%s" %(uname,pword,url,temp_svninfo)
    p = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
    (stderr_test,stdout_test) = p.communicate()
    if len(stderr_test) == 0:
        print "url正确，svn账号密码正确:",url
    elif 'E170001' in stderr_test:
        print "svn账号密码不正确，请联系值班CM！！！"
        sys.exit(1) 
    elif 'E000002' in stderr_test:
        print "url错误，请检查配置:",url
        sys.exit(1)