菜鸟笔记
提升您的技术认知

python中fileinput模块介绍-ag真人游戏

fileinput模块可以对一个或多个文件中的内容进行迭代、遍历等操作。

该模块的input()函数有点类似文件readlines()方法,区别在于:

前者是一个迭代对象,即每次只生成一行,需要用for循环迭代。

后者是一次性读取所有行。在碰到大文件的读取时,前者无疑效率更高效。

用fileinput对文件进行循环遍历,格式化输出,查找、替换等操作,非常方便。

【典型用法】

import fileinput
for line in fileinput.input():
    process(line)

【基本格式】

fileinput.input([files[, inplace[, backup[, bufsize[, mode[, openhook]]]]]])

【默认格式】

fileinput.input (files=none, inplace=false, backup='', bufsize=0, mode='r', openhook=none)

[python]  view plain  copy

  1. files:                  #文件的路径列表,默认是stdin方式,多文件['1.txt','2.txt',...]  
  2. inplace:                #是否将标准输出的结果写回文件,默认不取代  
  3. backup:                 #备份文件的扩展名,只指定扩展名,如.bak。如果该文件的备份文件已存在,则会自动覆盖。  
  4. bufsize:                #缓冲区大小,默认为0,如果文件很大,可以修改此参数,一般默认即可  
  5. mode:                   #读写模式,默认为只读  
  6. openhook:               #该钩子用于控制打开的所有文件,比如说编码方式等;  

【 常用函数 】 [python]  view plain  copy

  1. fileinput.input()       #返回能够用于for循环遍历的对象  
  2. fileinput.filename()    #返回当前文件的名称  
  3. fileinput.lineno()      #返回当前已经读取的行的数量(或者序号)  
  4. fileinput.filelineno()  #返回当前读取的行的行号  
  5. fileinput.isfirstline() #检查当前行是否是文件的第一行  
  6. fileinput.isstdin()     #判断最后一行是否从stdin中读取  
  7. fileinput.close()       #关闭队列  

【常见例子】

  • 例子01: 利用fileinput读取一个文件所有行

[python]  view plain  copy

  1. >>> import fileinput  
  2. >>> for line in fileinput.input('data.txt'):  
  3.         print line,  
  4. #输出结果  
  5. python  
  6. java   
  7. c/c   
  8. shell  

命令行方式:

[python]  view plain  copy

  1. #test.py  
  2. import fileinput  
  3.   
  4. for line in fileinput.input():  
  5.     print fileinput.filename(),'|','line number:',fileinput.lineno(),'|: ',line  
  6.   
  7. c:>python test.py data.txt  
  8. data.txt | line number: 1 |:  python  
  9. data.txt | line number: 2 |:  java  
  10. data.txt | line number: 3 |:  c/c   
  11. data.txt | line number: 4 |:  shell  
  • 例子02: 利用fileinput对多文件操作,并原地修改内容

[python]  view plain  copy

  1. #test.py  
  2. #---样本文件---  
  3. c:\python27>type 1.txt  
  4. first  
  5. second  
  6.   
  7. c:\python27>type 2.txt  
  8. third  
  9. fourth  
  10. #---样本文件---  
  11. import fileinput  
  12.   
  13. def process(line):  
  14.     return line.rstrip()   ' line'  
  15.   
  16. for line in fileinput.input(['1.txt','2.txt'],inplace=1):  
  17.     print process(line)  
  18.   
  19. #---结果输出---  
  20. c:\python27>type 1.txt  
  21. first line  
  22. second line  
  23.   
  24. c:\python27>type 2.txt  
  25. third line  
  26. fourth line  
  27. #---结果输出---  

命令行方式: [html]  view plain  copy

  1. #test.py  
  2. import fileinput  
  3.   
  4. def process(line):  
  5.     return line.rstrip()   ' line'  
  6.   
  7. for line in fileinput.input(inplace = true):  
  8.     print process(line)  
  9.   
  10. #执行命令  
  11. c:\python27>python test.py 1.txt 2.txt  
  • 例子03: 利用fileinput实现文件内容替换,并将原文件作备份

[python]  view plain  copy

  1. #样本文件:  
  2. #data.txt  
  3. python  
  4. java  
  5. c/c   
  6. shell  
  7.   
  8. #filename: test.py  
  9. import fileinput  
  10.   
  11. for line in fileinput.input('data.txt',backup='.bak',inplace=1):  
  12.     print line.rstrip().replace('python','perl')  #或者print line.replace('python','perl'),  
  13.       
  14. #最后结果:  
  15. #data.txt  
  16. python  
  17. java  
  18. c/c   
  19. shell  
  20. #并生成:  
  21. #data.txt.bak文件  

[python]  view plain  copy

  1. #其效果等同于下面的方式  
  2. import fileinput  
  3. for line in fileinput.input():  
  4.     print 'tag:',line,  
  5.   
  6.   
  7. #---测试结果:     
  8. d:\>python learn.py < data.txt > data_out.txt  

  • 例子04: 利用fileinput将crlf文件转为lf

[python]  view plain  copy

  1. import fileinput  
  2. import sys  
  3.   
  4. for line in fileinput.input(inplace=true):  
  5.     #将windows/dos格式下的文本文件转为linux的文件  
  6.     if line[-2:] == "\r\n":    
  7.         line = line   "\n"  
  8.     sys.stdout.write(line)  
  • 例子05: 利用fileinput对文件简单处理

[python]  view plain  copy

  1. #filename: test.py  
  2. import sys  
  3. import fileinput  
  4.   
  5. for line in fileinput.input(r'c:\python27\info.txt'):  
  6.     sys.stdout.write('=> ')  
  7.     sys.stdout.write(line)  
  8.   
  9. #输出结果     
  10. >>>   
  11. => the zen of python, by tim peters  
  12. =>   
  13. => beautiful is better than ugly.  
  14. => explicit is better than implicit.  
  15. => simple is better than complex.  
  16. => complex is better than complicated.  
  17. => flat is better than nested.  
  18. => sparse is better than dense.  
  19. => readability counts.  
  20. => special cases aren't special enough to break the rules.  
  21. => although practicality beats purity.  
  22. => errors should never pass silently.  
  23. => unless explicitly silenced.  
  24. => in the face of ambiguity, refuse the temptation to guess.  
  25. => there should be one-- and preferably only one --obvious way to do it.  
  26. => although that way may not be obvious at first unless you're dutch.  
  27. => now is better than never.  
  28. => although never is often better than *right* now.  
  29. => if the implementation is hard to explain, it's a bad idea.  
  30. => if the implementation is easy to explain, it may be a good idea.  
  31. => namespaces are one honking great idea -- let's do more of those!  
  • 例子06: 利用fileinput批处理文件

[python]  view plain  copy

  1. #---测试文件: test.txt test1.txt test2.txt test3.txt---  
  2. #---脚本文件: test.py---  
  3. import fileinput  
  4. import glob  
  5.   
  6. for line in fileinput.input(glob.glob("test*.txt")):  
  7.     if fileinput.isfirstline():  
  8.         print '-'*20, 'reading %s...' % fileinput.filename(), '-'*20  
  9.     print str(fileinput.lineno())   ': '   line.upper(),  
  10.       
  11.       
  12. #---输出结果:  
  13. >>>   
  14. -------------------- reading test.txt... --------------------  
  15. 1: aaaaa  
  16. 2: bbbbb  
  17. 3: ccccc  
  18. 4: ddddd  
  19. 5: fffff  
  20. -------------------- reading test1.txt... --------------------  
  21. 6: first line  
  22. 7: second line  
  23. -------------------- reading test2.txt... --------------------  
  24. 8: third line  
  25. 9: fourth line  
  26. -------------------- reading test3.txt... --------------------  
  27. 10: this is line 1  
  28. 11: this is line 2  
  29. 12: this is line 3  
  30. 13: this is line 4  
  • 例子07: 利用fileinput及re做日志分析: 提取所有含日期的行

[python]  view plain  copy

  1. #--样本文件--  
  2. aaa  
  3. 1970-01-01 13:45:30  error: **** due to system disk spacke not enough...  
  4. bbb  
  5. 1970-01-02 10:20:30  error: **** due to system out of memory...  
  6. ccc  
  7.   
  8. #---测试脚本---  
  9. import re  
  10. import fileinput  
  11. import sys  
  12.   
  13. pattern = '\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'  
  14.   
  15. for line in fileinput.input('error.log',backup='.bak',inplace=1):  
  16.     if re.search(pattern,line):  
  17.         sys.stdout.write("=> ")  
  18.         sys.stdout.write(line)  
  19.   
  20. #---测试结果---  
  21. => 1970-01-01 13:45:30  error: **** due to system disk spacke not enough...  
  22. => 1970-01-02 10:20:30  error: **** due to system out of memory...  
  • 例子08: 利用fileinput及re做分析: 提取符合条件的电话号码

[python]  view plain  copy

  1. #---样本文件: phone.txt---  
  2. 010-110-12345  
  3. 800-333-1234  
  4. 010-99999999  
  5. 05718888888  
  6. 021-88888888  
  7.   
  8. #---测试脚本: test.py---  
  9. import re  
  10. import fileinput  
  11.   
  12. pattern = '[010|021]-\d{8}'  #提取区号为010或021电话号码,格式:010-12345678  
  13.   
  14. for line in fileinput.input('phone.txt'):  
  15.     if re.search(pattern,line):  
  16.         print '=' * 50  
  17.         print 'filename:'  fileinput.filename() ' | line number:' str(fileinput.lineno()) ' | ' line,  
  18.   
  19. #---输出结果:---  
  20. >>>   
  21. ==================================================  
  22. filename:phone.txt | line number:3 | 010-99999999  
  23. ==================================================  
  24. filename:phone.txt | line number:5 | 021-88888888  
  25. >>>   
  • 例子09: 利用fileinput实现类似于grep的功能

[python]  view plain  copy

  1. import sys  
  2. import re  
  3. import fileinput  
  4.   
  5. pattern= re.compile(sys.argv[1])  
  6. for line in fileinput.input(sys.argv[2]):  
  7.     if pattern.match(line):  
  8.         print fileinput.filename(), fileinput.filelineno(), line  
  9. $ ./test.py import.*re *.py  
  10. #查找所有py文件中,含import re字样的  
  11. addressbook.py  2   import re  
  12. addressbook1.py 10  import re  
  13. addressbook2.py 18  import re  
  14. test.py         238 import re  
  • 例子10: 利用fileinput做正则替换

[python]  view plain  copy

  1. #---测试样本: input.txt  
  2. * [learning python](#author:mark lutz)  
  3.       
  4. #---测试脚本: test.py  
  5. import fileinput  
  6. import re  
  7.    
  8. for line in fileinput.input():  
  9.     line = re.sub(r'\*  (.∗) #(.*)', r'\1', line.rstrip())  
  10.     print(line)  
  11.   
  12. #---输出结果:  
  13. c:\python27>python test.py input.txt  
  14. learning python  
  • 例子11: 利用fileinput做正则替换,不同字模块之间的替换

[python]  view plain  copy

  1. #---测试样本:test.txt  
  2. [@!$first]&[*%-second]&[third]  
  3.   
  4. #---测试脚本:test.py  
  5. import re  
  6. import fileinput  
  7.   
  8. regex = re.compile(r'^([^&]*)(&)([^&]*)(&)([^&]*)')  
  9. #整行以&分割,要实现[@!$first]与[*%-second]互换  
  10. for line in fileinput.input('test.txt',inplace=1,backup='.bak'):  
  11.     print regex.sub(r'\3\2\1\4\5',line),  
  12.   
  13. #---输出结果:  
  14. [*%-second]&[@!$first]&[third]  
  • 例子12: 利用fileinput根据argv命令行输入做替换

[python]  view plain  copy

  1. #---样本数据: host.txt  
  2. # localhost is used to configure the loopback interface  
  3. # when the system is booting.  do not change this entry.  
  4. 127.0.0.1      localhost  
  5. 192.168.100.2  www.test2.com  
  6. 192.168.100.3  www.test3.com  
  7. 192.168.100.4  www.test4.com  
  8.   
  9. #---测试脚本: test.py  
  10. import sys  
  11. import fileinput  
  12.   
  13. source = sys.argv[1]  
  14. target = sys.argv[2]  
  15. files  = sys.argv[3:]  
  16.   
  17. for line in fileinput.input(files,backup='.bak',openhook=fileinput.hook_encoded("gb2312")):  
  18.     #对打开的文件执行中文字符集编码  
  19.     line = line.rstrip().replace(source,target)  
  20.     print line  
  21.       
  22. #---输出结果:      
  23. c:\>python test.py 192.168.100 127.0.0 host.txt  
  24. #将host文件中,所有192.168.100转换为:127.0.0  
  25. 127.0.0.1  localhost  
  26. 127.0.0.2  www.test2.com  
  27. 127.0.0.3  www.test3.com  
  28. 127.0.0.4  www.coonote.com  
网站地图