15 Beautiful Soup（提取數據詳解find_all()）

# 1、獲取所有tr標簽
# 2、獲取第2個tr標簽
# 3、獲取所有class等於even的tr標簽
# 4_1、將所有id等於test,class也等於test的所有a標簽提取出
# 4_2、獲取所有a標簽下href屬性的值
# 5、獲取所有的職位信息（純文本）

# 1、獲取所有tr標簽

from bs4 import BeautifulSoup
text = """
<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
        <tr class="h">
            <td class="l" width="374">職位名稱</td>
            <td>職位類別</td>
            <td>人數</td>
            <td>地點</td>
            <td>發布時間</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">研發工程師（上海1）</a></td>
            <td>技術類</td>
            <td>1</td>
            <td>上海</td>
            <td>2020-1-1</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">工程師（北京2）</a></td>
            <td>技術類</td>
            <td>2</td>
            <td>北京</td>
            <td>2020-2-2</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">工程師（上饒3）</a></td>
            <td>管理類</td>
            <td>3</td>
            <td>上饒</td>
            <td>2020-3-3</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(text, 'lxml')
# 1、獲取所有tr標簽
trs = soup.find_all('tr')
for tr in trs:
    print(tr)
    print('='*30)

 

# 2、獲取第2個tr標簽

# 2、獲取第2個tr標簽
# limit參數指限制多少個標簽提取
tr2 = soup.find_all('tr', limit=2)[1]
print(tr2)

# 3、獲取所有class等於even的tr標簽

# 3、獲取所有class等於even的tr標簽
# class為python關鍵字，后面加_加以區分
trs = soup.find_all('tr', class_ = 'even')
for tr in trs:
    print(tr)
    print('='*30)

#方法二：
trs = soup.find_all('tr', attrs={'class':'even'})
for tr in trs:
    print(tr)
    print('='*30)

# 4_1、將所有id等於test,class也等於test的所有a標簽提取出

# 4_1、將所有id等於test,class也等於test的所有a標簽提取出
# 方法一：
alists1 = soup.find_all('a', attrs={'id':'test', 'class':'test'})
print(alists1)
# 方法二
alists2 = soup.find_all('a', class_='test', id='test')
print(alists2)

# 4_2、獲取所有a標簽下href屬性的值

# 4_2、獲取所有a標簽下href屬性的值
ahs = soup.find_all('a')
for ah in ahs:
    # 方法一：通過下標操作
    href1 = ah['href']
    print('href1={}'.format(href1))
    # 方法二：通過屬性操作
    href2 = ah.attrs['href']
    print('href2={}'.format(href2))

# 5、獲取所有的職位信息（純文本）

# 5、獲取所有的職位信息（純文本）
trs = soup.find_all('tr')[1:]   # 從第二個tr開始獲取
movies = []
for tr in trs:
    movie = {}
    tds = tr.find_all('td')
    title = tds[0].string
    category = tds[1].string
    num = tds[2].string
    city = tds[3].string
    time = tds[4].string
    movie['title'] = title
    movie['category'] = category
    movie['num'] = num
    movie['city'] = city
    movie['time'] = time
    movies.append(movie)

print(movies)

# 5、獲取所有的職位信息（純文本）方法二：推薦

trs = soup.find_all('tr')[1:]   # 從第二個tr開始獲取
movies = []
for tr in trs:
    movie = {}
    # 獲取tr下所有非標簽字符
    # infos= list(tr.strings)
    # 獲取tr下所有非標簽&非空白字符
    infos = list(tr.stripped_strings)
    #print(infos)
    movie['title'] = infos[0]
    movie['category'] = infos[1]
    movie['num'] = infos[2]
    movie['city'] = infos[3]
    movie['time'] = infos[4]
    movies.append(movie)

print(movies)

 

附：關於string、strings、stripped_strings屬性以及get_text()方法：

string:　　　　　　獲取某個標簽下的非標簽字符串，返回值是一個字符串。

strings:　　　　　  獲取某個標簽下的子孫非標簽字符串，返回值是一個生成器。

stripped_strings:　 獲取某個標簽下的子孫非標簽字符串並去掉空白字符，返回值是一個生成器。

get_text():　　　    獲取某個標簽下的子孫非標簽字符串，不是以列表的形式返回，是以普通字符串返回。