python的N个小功能(找到符合要求的图片，重命名，改格式，缩放，进行随机分配)

##########################################################################

循环读取该目录下所有子目录和子文件

#########################################################################

import os

import os.path

def directory(rootdir): # 指明被遍历的文件夹

for parent,dirnames,filenames in os.walk(rootdir): #三个参数：分别返回1.父目录 2.所有文件夹名字（不含路径） 3.所有文件名字

for dirname in dirnames: #输出文件夹信息

print "parent is:" + parent

print "dirname is:" + dirname

for filename in filenames:

print "parent is:" + parent #输出文件夹信息

print "filename is:" + filename #输出文件信息

print "the full name of the file is:" + os.path.join(parent,filename) #输出文件路径信息

directory('G:\\test')

###############################################################################

保存图片//修改图片长宽比情况

###############################################################################

from PIL import Image

def modifysize(infile,outfile): #输入文件,输出文件

im = Image.open(infile)

(x,y) = im.size #read image size,读取文件大小

x_s = 600 #define standard width,定义标准

y_s = 600 #calc height based on standard width

out = im.resize((x_s,y_s),Image.ANTIALIAS) #resize image with high-quality

out.save(outfile)

modifysize(' G:\\test\\one.jpg ', ' G:\\TEST\\one.jpg ')

from PIL import Image

def save(infile,outfile): #输入文件,输出文件

im = Image.open(infile)

(x,y) = im.size #read image size,读取文件大小

x_s = x #define standard width,定义标准

y_s = y #calc height based on standard width

out = im.resize((x_s,y_s),Image.ANTIALIAS) #resize image with high-quality

out.save(outfile)

########################################################################

对文件夹中所有文件重命名函数

########################################################################

####################原来函数############################################

import os

def rename():

path=r'G:\TEST'

filelist=os.listdir(path)#该文件夹下所有的文件（包括文件夹）

for files in filelist:#遍历所有文件

Olddir=os.path.join(path,files);#原来的文件路径

if os.path.isdir(Olddir):#如果是文件夹则跳过

continue;

filename=os.path.splitext(files)[0];#文件名

filetype=os.path.splitext(files)[1];#文件扩展名

Newdir=os.path.join(path,filename[0]+filetype);#新的文件路径

os.rename(Olddir,Newdir);#重命名

rename()

#####################修改后函数###########################################

import os

def rename(path,foldername): #传入路径和文件夹名

if len(foldername)!=5 and not(foldername.isdigit()): #传入文件夹名是五位数的且字符串全为数值，不符合跳过

return

filelist=os.listdir(path)#该文件夹下所有的文件（包括文件夹）

i=0

for files in filelist:#遍历所有文件

Olddir=os.path.join(path,files);#原来的文件路径

if os.path.isdir(Olddir):#如果是文件夹则跳过

continue;

filename=os.path.splitext(files)[0];#文件名

filetype=os.path.splitext(files)[1].lower();#文件扩展名

if filetype!='.jpg':

filetype='.jpg'

number='%d' %i

Newdir=os.path.join(path,foldername+number+filetype);#新的文件路径,新名称命名规则

os.rename(Olddir,Newdir);#重命名

i=i+1

rename('G:\\TEST\\20010','20010')

###############################################################

#########################################################################

实现查找__过滤掉不需要的__修改大小写功能(每个文件一行一行读取)

#########################################################################

# -*- coding: utf-8 -*-

"""

Created on Fri Feb 17 20:25:05 2017

@author: who

"""

import chardet

import os

import os.path

import re

import random

import string

rootdir=r'G:\TEST'

from PIL import Image

################保存图片，从一个文件夹到另一个文件夹##############

def save(infile,outfile): #输入文件,输出文件

im = Image.open(infile)

(x,y) = im.size #read image size,读取文件大小

x_s = x #define standard width,定义标准

y_s = y #calc height based on standard width

out = im.resize((x_s,y_s),Image.ANTIALIAS) #resize image with high-quality

out.save(outfile)

################过滤掉不需要的，修改大小写功能#####################

for parent, dirnames, filenames in os.walk(rootdir): # 三个参数：分别返回1.父目录 2.所有文件夹名字（不含路径） 3.所有文件名字

try:

for filename in filenames:

filenamepre=os.path.splitext(filename.decode("gbk"))[0];#文件名前缀

filetype=os.path.splitext(filename.decode("gbk"))[1].lower();#文件扩展名

pswpath = os.path.join(parent, filename.decode("gbk"));

tmppath = os.path.join(r'G:\test',filename.decode("gbk")) #写到另一个文件夹#

if filetype=='XXX': ####符合类型的文件####

tmp_file = open(tmppath, "w")

with open(pswpath) as f:

lines = f.readlines()

for line in lines: ####一行一行读取 ####

if line.find('aaa') > -1: ####过滤掉含有aaa的这行####

continue

if line.find('CCC')>-1: ####将含有CCC这行小写化####

tmp_file.write(line.lower())

else:

tmp_file.write(line)

tmp_file.close()

else:

save(pswpath,tmppath);

except IOError:

pass

#############################################################################

将所有文件所有文件名记录下来，进行随机分配

############################################################################

# -*- coding: utf-8 -*-

"""

Created on Fri Feb 17 15:53:34 2017

@author: who

"""

# -*- coding: utf-8 -*-

"""

Created on Wed Feb 15 18:07:03 2017

@author: Administrator

"""

import chardet

import os

import os.path

import re

import random

import string

from PIL import Image

rootdir=r'G:\TEST'; # 指明被遍历的文件夹

dict={};

dictfileold={};

dictfileoldfile={};

dictparent={};

dir={}

i=0;

for parent,dirnames,filenames in os.walk(rootdir): #三个参数：分别返回1.父目录 2.所有文件夹名字（不含路径） 3.所有文件名字

j=0

try:

for filename in filenames: #输出文件信息

filenamepre=os.path.splitext(filename)[0]; #文件名前缀

filetype=os.path.splitext(filename)[1].lower();#文件扩展名

tmpstr=parent.rsplit('\\')

fulloldname=os.path.join(parent,filename);

dict[filenamepre]=i; #旧名称为key

dictfileold[i]=fulloldname; #旧路径名称为value

dictfileoldfile[i]=filenamepre; #旧文件名为value

dictparent[i]=parent;

dir[i]=tmpstr[-1] #得到上一级目录

i=i+1;

j=j+1;

except IOError:

pass

##############文件数，进行随机分配##########################################

foldernum=i;

randomnum=range(foldernum);

random.shuffle(randomnum);

trainnum=int(foldernum*0.7);

train=open(r'G:\train.txt','w')

val=open(r'G:\val.txt','w')

trainval=open(r'G:\trainval.txt','w')

for j in range(0,foldernum):

trainval.write(dictfileoldfile[j])

trainval.write('\n')

if j in randomnum[0:trainnum]:

train.write(dictfileoldfile[j])

train.write('\n')

else:

val.write(dictfileoldfile[j])

val.write('\n')

train.close()

val.close()

trainval.close()

############################################################################

找到符合要求的文件，进行随机分配

编号要以6为数字命名，例如000034.jpg

图片要是JPEG/JPG格式的，PNG之类的需要自己转换下

图片的长宽比(width/height)要在0.462-6.828之间，就是太过瘦长的图片不要

############################################################################

# -*- coding: utf-8 -*-

"""

Created on Wed Feb 15 18:07:03 2017

@author: Administrator

"""

import chardet

import os

import os.path

import re

import random

import string

from PIL import Image

def save(infile,outfile): #输入文件,输出文件

im = Image.open(infile)

(x,y) = im.size #read image size,读取文件大小

x_s = x #define standard width,定义标准

y_s = y #calc height based on standard width

out = im.resize((x_s,y_s),Image.ANTIALIAS) #resize image with high-quality

out.save(outfile)

def modifysize(infile,outfile): #输入文件,输出文件

try: #过滤掉任意的异常

im = Image.open(infile)

except :

return 0

(x,y) = im.size #read image size,读取文件大小

x_s = 800 #define standard width,定义标准

y_s = 600

try: #过滤掉任意的异常

out = im.resize((x_s,y_s),Image.ANTIALIAS)

except :

return 0

out.save(outfile)

return 1

rootdir=r'E:\TEST'; # 指明被遍历的文件夹

dict={};

dictfilenew={};

dictfileold={};

dictfilenewname={};

dictparent={};

dir={}

i=0;

for parent,dirnames,filenames in os.walk(rootdir): #三个参数：分别返回1.父目录 2.所有文件夹名字（不含路径） 3.所有文件名字

j=0

try:

for filename in filenames: #输出文件信息

if((re.search(u'XXX',filename.decode("gbk"))==None): #找到符合要求文件名

continue;

filenamepre=os.path.splitext(filename.decode("gbk"))[0];#文件名前缀

filetype=os.path.splitext(filename.decode("gbk"))[1].lower();#文件扩展名

if (filetype!='.jpg' and filetype!='.png'): ##符合相应后缀的图片

continue;

tmpstr=parent.rsplit('\\')

print u"上层目录:"+tmpstr[-1]

if len(tmpstr[-1])!=5 or not(tmpstr[-1].isdigit()): #传入文件夹名是五位数的且字符串全为数值，不符合跳过

continue

fullname=os.path.join(parent,filename.decode("gbk"));

if filetype!='.jpg':

filetype='.jpg'

number='%d' %j

Newname=tmpstr[-1]+number+filetype

Newdir=os.path.join(parent,tmpstr[-1]+number+filetype); #新的文件路径,新名称命名规则

fullnewname=os.path.join(parent,Newname.decode("gbk")); #将所有新路径名称,旧路径名称，新名称,旧名称，上一级目录都用字典保存

fulloldname=os.path.join(parent,filename.decode("gbk"));

dict[fullnewname]=i; #新路径名称为key

dictfilenew[i]=fullnewname; #新路径名称为value

dictfileold[i]=fulloldname; #旧路径名称为value

dictfilenewname[i]=Newname.decode("gbk"); #新名称为value

dictparent[i]=parent;

dir[i]=tmpstr[-1]

i=i+1;

j=j+1;

except IOError:

pass

###########################将所有文件随机分配##################################

foldernum=i;

randomnum=range(foldernum);

random.shuffle(randomnum);

trainnum=int(foldernum*0.8);

for j in range(0,foldernum):

if j in randomnum[0:trainnum]:

outfile=os.path.join(r'E:\train',dictfilenewname[j])

modifysize(dictfileold[j],outfile)

else:

outfile=os.path.join(r'E:\test',dictfilenewname[j])

modifysize(dictfileold[j],outfile)