python最多读多少行?

发布网友 发布时间：2024-09-29 06:23

我来回答

共1个回答

热心网友 时间：2024-11-11 13:42

导读：今天首席CTO笔记来给各位分享关于python最多读多少行的相关内容，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

理论上不管多少行都能够读取，就是时间问题，不像excel只能读一百多万行

不超过100行

最近要帮做RA的老姐写个合并excel工作表的脚本……源数据是4000+个excel工作表，分布在9个xlsm文件里，文件内容是中英文混杂的一些数据，需要从每张表中提取需要的部分，分门别类合并到多个大的表里。

寻觅工具

确定任务之后第一步就是找个趁手的库来干活。?PythonExcel上列出了xlrd、xlwt、xlutils这几个包，但是

它们都比较老，xlwt甚至不支持07版以后的excel

它们的文档不太友好，都可能需要去读源代码，而老姐的任务比较紧，加上我当时在期末，没有这个时间细读源代码

再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在维护，文档清晰易读，参照Tutorial和API文档很快就能上手，就是它了~

安装

这个很容易，直接pipinstallopenpyxl，呵呵呵~

因为我不需要处理图片，就没有装pillow。

一些考虑

源文件大约一个在1~2MB左右，比较小，所以可以直接读入内存处理。

既然是处理excel，何况他们整个组显然都是win下干活（数据都用excel存了==，商科的人啊……），这个脚本还是在win下做吧

这个任务完全不需要我对现有的文件做修改！囧……我只要读入、处理、再写出另一个文件就行了

学习使用

嗯，就是打开cmd，然后用python的shell各种玩这个模块来上手……（win下没有装ipython，囧）

做这个小脚本基本上我只需要import两个东西

fromopenpyxlimportWorkbookfromopenpyxlimportload_workbook

load_workbook顾名思义是把文件导入到内存，Workbook是最基本的一个类，用来在内存里创建文件最后写进磁盘的。

干活

首先我需要导入这个文件

inwb=load_workbook(filename)

得到的就是一个workbook对象

然后我需要创建一个新的文件

outwb=Workbook()

接着在这个新文件里，用create_sheet新建几个工作表，比如

careerSheet=outwb.create_sheet(0,'career')

就会从头部插入一个叫career的工作表（也就是说用法类似pythonlist的insert）

接下来我需要遍历输入文件的每个工作表，并且按照表名做一些工作（e.g.如果表名不是数字，我不需要处理），openpyxl支持用字典一样的方式通过表名获取工作表，获取一个工作簿的表名的方法是get_sheet_names

forsheetNameininwb.get_sheet_names():??ifnotsheetName.isdigit():????continue

??sheet=inwb[sheetName]

得到工作表之后，就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数，获取行和列的方法是sheet.rows和sheet.columns，它们都可以像list一样用。比如，如果我想跳过数据少于2列的表，可以写

iflen(sheet.columns)2:??continue

如果我想获取这个工作表的前两列，可以写

colA,colB=sheet.columns[:2]

除了用columns和rows来得到这个工作表的行列之外，还可以用excel的单元格编码来获取一个区域，比如

cells=sheet['A1':'B20']

有点像excel自己的函数，可以拉出一块二维的区域~

为了方便处理，遇到一个没有C列的工作表，我要创建一个和A列等长的空的C列出来，那么我可以用sheet.cell这个方法，通过传入单元格编号和添加空值来创建新列。

alen=len(colA)foriinrange(1,alen+1):

??sheet.cell('C%s'%(i)).value=None

注意：excel的单元格命名是从1开始的~

上面的代码也显示出来了，获取单元格的值是用cell.value（可以是左值也可以是右值），它的类型可以是字符串、浮点数、整数、或者时间（datetime.datetime），excel文件里也会生成对应类型的数据。

得到每个单元格的值之后，就可以进行操作了~openpyxl会自动将字符串用unicode编码，所以字符串都是unicode类型的。

除了逐个逐个单元格用cell.value修改值以外，还可以一行行append到工作表里

sheet.append(strA,dateB,numC)

最后，等新的文件写好，直接用workbook.save保存就行

outwb.save("test.xlsx")

这个会覆盖当前已有的文件，甚至你之前读取到内存的那个文件。

一些要注意的地方

如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标

foridx,cellinenumerate(colA):??#dosomething...

为了防止获取的数据两端有看不见的空格（excel文件里很常见的坑），记得strip()

如果工作表里的单元格没有数据，openpyxl会让它的值为None，所以如果要基于单元格的值做处理，不能预先假定它的类型，最好用

ifnotcell.value??continue

之类的语句来先行判断

如果要处理的excel文件里有很多noise，比如当你预期一个单元格是时间的时候，有些表的数据可能是字符串，这时候可以用

ifisinstance(cell.value,unicode):??break

之类的语句处理。

win下的cmd似乎不太好设定用utf-8的codepage，如果是简体中文的话可以用936（GBK），print的时候会自动从unicode转换到GBK输出到终端。

一些帮忙处理中文问题的小函数

我处理的表有一些超出GBK范围的字符，当我需要把一些信息print出来监控处理进度的时候非常麻烦，好在它们都是可以无视的，我直接用空格替换再print也行，所以加上一些我本来就要替换掉的分隔符，我可以：

#annoyingseperatorsdot=u'\u00b7'dash=u'\u2014'emph=u'\u2022'dot2=u'\u2027'seps=(u'.',dot,dash,emph,dot2)defget_clean_ch_string(chstring):??"""RemoveannoyingseperatorsfromtheChinesestring.

??Usage:

????cleanstring=get_clean_ch_string(chstring)??"""

??cleanstring=chstring??forsepinseps:

????cleanstring=cleanstring.replace(sep,u'')??returncleanstring

此外我还有一个需求，是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。

首先我需要能把英文和中文分割开，我的办法是用正则匹配，按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下：

#regexpatternmatchingallasciicharactersasciiPattern=ur'[%s]+'%''.join(chr(i)foriinrange(32,127))#regexpatternmatchingallcommonChinesecharactersandseporatorschinesePattern=ur'[\u4e00-\u9fff.%s]+'%(''.join(seps))

英文就用ASCII可打印字符的范围替代，常见中文字符的范围是\u4e00-\u9fff，那个seps是前面提到过的超出GBK范围的一些字符。除了简单的分割，我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况，判断逻辑如下：

defsplit_name(name):??"""Split[Englishname,Chinesename].

????Ifoneofthemismissing,Nonewillbereturnedinstead.

??Usage:

????engName,chName=split_name(name)??"""

??matches=re.match('(%s)(%s)'%(asciiPattern,chinesePattern),name)??ifmatches:?#Englishname+Chinesename

????returnmatches.group(1).strip(),matches.group(2).strip()??else:

????matches=re.findall('(%s)'%(chinesePattern),name)

????matches=''.join(matches).strip()????ifmatches:?#Chinesenameonly

??????returnNone,matches????else:?#Englishnameonly

??????matches=re.findall('(%s)'%(asciiPattern),name)??????return''.join(matches).strip(),None

得到了中文名之后，我需要分割成姓和名，因为任务要求不需要把姓名分割得很明确，我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓，四个字的前两个字是姓，名字带分隔符的（少数民族名字）分隔符前是姓（这里用到了前面的get_clean_ch_string函数来移除分隔符），名字再长一些又不带分割符的，假设整个字符串都是名字。（注意英语的firstname指的是名，lastname指的是姓，2333）

defsplit_ch_name(chName):??"""SplittheChinesenameintofirstnameandlastname.

????*IfthenameisXYorXYZ,Xwillbereturnedasthelastname.

????*IfthenameisWXYZ,WXwillbereturnedasthelastname.

????*Ifthenameis...WXYZ,thewholenamewillbereturned

?????asthelastname.

????*Ifthenameis..ABC*XYZ...,thepartbeforetheseperator

?????willbereturnedasthelastname.

??Usage:

????chFirstName,chLastName=split_ch_name(chName)??"""

??iflen(chName)4:?#XYorXYZ

????chLastName=chName[0]

????chFirstName=chName[1:]??eliflen(chName)==4:?#WXYZ

????chLastName=chName[:2]

????chFirstName=chName[2:]??else:?#longer

????cleanName=get_clean_ch_string(chName)

????nameParts=cleanName.split()????printu''.join(nameParts)????iflen(nameParts)2:?#...WXYZ

??????returnNone,nameParts[0]

????chLastName,chFirstName=nameParts[:2]?#..ABC*XYZ...

??returnchFirstName,chLastName

分割英文名就很简单了，空格分开，第一部分是名，第二部分是姓，其他情况暂时不管就行。

python的开发效率每天可以多少行

python的开发效率每天可以100-150行代码。对于一些熟练的程序员来说每天100行代码是正常的生产率，包括需求分析、设计、编码、单元测试和系统测试。

结语：以上就是首席CTO笔记为大家整理的关于python最多读多少行的相关内容解答汇总了，希望对您有所帮助！如果解决了您的问题欢迎分享给更多关注此问题的朋友喔～