如何获取指定的标签的内容是解析网页爬取数据的必要手段，比如想获取
假如有这样一个html：
作为结尾。 ...
，而不是希望的父div.这样的div标签，通常有三种办法，
1）用字符串查找方法,然后切分字符串（或切片操作），如str.index(patternstr)或str.find(patternstr)，这种方法快，但步骤多，因为要去头去尾。
2）用正则表达式，比如'
"将会匹配子div的结尾部分1）用字符串查找方法,然后切分字符串（或切片操作），如str.index(patternstr)或str.find(patternstr)，这种方法快，但步骤多，因为要去头去尾。
2）用正则表达式，比如'
([\s\s] ?)
'，通过正则表达式的括号，可以获取匹配的内容，即之间的内容：
import re def gettags(html): reg = r'result_info">([\s\s] ?)' pattern= re.compile(reg) tags= re.findall(pattern, html) return tags
不过正则表达式仍有缺点，例如'
([\s\s] ?)
'括号中的问号表示非贪婪匹配，正常情况下可以匹配到所需要的内容，但如果class="result_info"的div中还嵌套了子的div，那么正则表达式的后半部分"假如有这样一个html：
<div class="result_info"> <p>some paragraph test 1 p> <p>some paragraph test 2 p> <div id="div_sub" class="sub_div_style"> some contents in sub div div> backend content here div>
那么backend contents here这段内容将会匹配不到，正则表达式将会将id为div_sub的
3）使用第三方库，比如beautifulsoup，优点是准确，缺点是速度会比字符串切分、正则表达式慢，下面说说beautifulsoup的用法。
按照beautifulsoup官方文档的说明怎么都不能成功，后来在百度知道（http://zhidao.baidu.com/question/433247968620775644.html）找到答案，真是扯淡，附上有效代码：
soup=beautifulsoup(html) print soup.find_all(name='div',attrs={"class":"footer"})#按照字典的形式给attrs参数赋值
完整的：
from bs4 import beautifulsoup import urllib2
def gettargetdiv(url,myattrs): html=urllib2.urlopen(url).read() soup=beautifulsoup(html) return soup.find_all(name='div',attrs=myattrs) if __name__=="__main__": url=r'http://www.crummy.com/software/beautifulsoup/bs4/doc.zh/' myattrs={'class':'footer'} print gettargetdiv(url, myattrs)
按照官方文档(http://www.crummy.com/software/beautifulsoup/bs4/doc.zh/)的做法：
#1.soup.find_all("a", class_="sister") #2.css_soup.find_all("p", class_="body") #3.soup.find_all(href=re.compile("elsie"))
改成
soup.find_all(name='div',class_=re.compile('info_item')) 或者
soup.find_all('div',class_='info_item')
都没有匹配结果，经测试需要soup.find_all(name='div',attrs={"class":"footer"})这样以字典的形式给attrs参数赋值才可以。
另一个例子，获取指定样式的div内的所有图片url，并下载保存:
1 urls=[] 2 for img in soup.find('div',attrs={'class':'wrap'}).find_all('img'):#找到class="wrap"的div里面的所有标签 3 urls.append(img.attrs['src'])#获取img标签的src属性，即图片网址 4 5 i=0 6 savedir=r'c:\users\hp\desktop\images'#路径中不能包含中文 7 for url in urls: 8 urllib.urlretrieve(url, '%s\%s.jpg'%(savedir,i)) 9 i =1 10 print 'done'