【python爬虫学习2.正则表达式】

 正则表达式我感觉是爬虫的难点与关键，看各种文章学习一个晚上后，总结如下

"."  表任意字符

"^ " 表string起始

"$" 表string 结束

“*” “+” “?”  跟在字符后面表示，0个——多个， 1个——多个， 0个或者1个

*?, +?, ??  符合条件的情况下，匹配的尽可能少//限制*,+,?匹配的贪婪性

{m} 匹配此前的字符，重复m次

{m,n} m到n次，m，n可以省略

举个例子 ‘a.*b’ 表示a开始，b结束的任意字符串

a{5}  匹配连续5个a

[]  表一系列字符  [abcd] 表a，b，c，d  [^a] 表示非a

|  A|B 表示A或者B , AB为任意的正则表达式  另外|是非贪婪的如果A匹配，则不找B

(…)  这个括号的作用要结合实例才能理解， 用于提取信息

/d  [0-9]

/D  非 /d

/s  表示空字符

/S  非空字符

/w  [a-zA-Z0-9_]

/W  非 /w

一：re的几个函数

1： compile(pattern, [flags]) 

    根据正则表达式字符串 pattern 和可选的flags 生成正则表达式 对象

    

    生成正则表达式 对象（见二）

    

    其中flags有下面的定义：

    I  表示大小写忽略

    L  使一些特殊字符集，依赖于当前环境         

    M  多行模式 使 ^ $ 匹配除了string开始结束外，还匹配一行的开始和结束

    S  “.“ 匹配包括‘/n’在内的任意字符，否则 . 不包括‘/n’  

    U  Make /w, /W, /b, /B, /d, /D, /s and /S dependent on the Unicode character properties database    

    X 这个主要是表示，为了写正则表达式，更可毒，会忽略一些空格和#后面的注释

    

    其中S比较常用，

    应用形式如下

    import re

    re.compile(……,re.S)

    

2： match(pattern,string,[,flags])

    让string匹配，pattern，后面分flag同compile的参数一样

    返回MatchObject 对象（见三）

    

3： split( pattern, string[, maxsplit = 0]) 

    用pattern 把string 分开

    >>> re.split('/W+', 'Words, words, words.')

    ['Words', 'words', 'words', '']

    括号‘（）’在pattern内有特殊作用，请查手册

    

4：findall( pattern, string[, flags]) 

   比较常用，

   从string内查找不重叠的符合pattern的表达式，然后返回list列表

   

5：sub( pattern, repl, string[, count]) 

   repl可以时候字符串，也可以式函数

   当repl是字符串的时候，

   就是把string 内符合pattern的子串，用repl替换了

   

   当repl是函数的时候，对每一个在string内的，不重叠的，匹配pattern

   的子串，调用repl（substring），然后用返回值替换substring

   

   >>> re.sub(r'def/s+([a-zA-Z_][a-zA-Z_0-9]*)/s*/(/s*/):',

   ...        r'static PyObject*/npy_/1(void)/n{',

   ...        'def myfunc():')

   'static PyObject*/npy_myfunc(void)/n{'

   

   

   >>> def dashrepl(matchobj):

   ...     if matchobj.group(0) == '-': return ' '

   ...     else: return '-'

   >>> re.sub('-{1,2}', dashrepl, 'pro----gram-files')

   'pro--gram files'

  

二：正则表达式对象 （Regular Expression Objects ）

   

    产生方式：通过 re.compile(pattern，[flags])回

    

    match( string[, pos[, endpos]]) ；返回string[pos,endpos]匹配

    pattern的MatchObject（见三）

    

    split( string[, maxsplit = 0]) 

    findall( string[, pos[, endpos]])   

    sub( repl, string[, count = 0]) 

    这几个函数和re模块内的相同，只不过是调用形式有点差别

    

    re.几个函数和 正则表达式对象的几个函数，功能相同，但同一程序如果

    多次用的这些函数功能，正则表达式对象的几个函数效率高些

    

三：matchobject

    通过 re.match(……) 和 re.compile(……).match返回

    

    该对象有如下方法和属性：

    

    方法：

    group( [group1, ...]) 

    groups( [default]) 

    groupdict( [default]) 

    start( [group]) 

    end( [group]) 

    

    说明这几个函数的最好方法，就是举个例子

    

    matchObj = re.compile(r"(?P<int>/d+)/.(/d*)")

    m = matchObj.match('3.14sss')

    #m = re.match(r"(?P<int>/d+)/.(/d*)", '3.14sss')

    

    print m.group()

    print m.group(0)

    print m.group(1)

    print m.group(2)

    print m.group(1,2)

    

    print m.group(0,1,2)

    print m.groups()

    print m.groupdict()

    

    print m.start(2)    

    print m.string

  

  输出如下：    

    3.14               

    3.14               

    3                  

    14                 

    ('3', '14')        

    ('3.14', '3', '14')

    ('3', '14')        

    {'int': '3'}       

    2                  

    3.14sss

    

    所以group() 和group(0)返回，匹配的整个表达式的字符串

    另外group(i)  就是正则表达式中用第i个“（）” 括起来的匹配内容

    ('3.14', '3', '14')最能说明问题了。