1.导入需要的模块requests，BeautifulSoup，os（用于文件读写）。
2.创建一个类，并初始化。
|
1
2
3
4
5
6
7
8
|
class
BeautifulPicture:
def
__init__(
self
):
# 类的初始化操作
self
.headers
=
{
# 给请求指定一个请求头来模拟chrome浏览器
'User-Agent'
:
'Mozilla/5.0 (Windows NT 10.0; WOW64)'
' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
self
.web_url
=
'url'
# 要访问的网页地址
self
.folder_path
=
'E:\\1\\pic'
# 设置图片要存放的文件目录
|
3.先请求图片所在的网页，返回网页response
|
1
2
3
|
def
request(
self
, url):
# 返回网页response
r
=
requests.get(url,
self
.headers)
# 向目标url地址发送get请求，返回一个response对象
return
r
|
调用request方法，print(r.text)就可以看到控制台上print出的网页源码了。
4.通过BeautifulSoup工具获取需要抓取的img标签，这里根据不同的网页布局css选择器也会有不同：
|
1
2
3
4
5
6
|
def
get_pic(
self
):
r
=
self
.request(
self
.web_url)
all_item
=
BeautifulSoup(r.text,
'html.parser'
).select(
".search_results > .item"
)
for
item
in
all_item:
img
=
item.find(
'a'
).find(
'img'
)
url
=
img[
'src'
]
|
此处，我是先抓取img所在的div（类名为item），再获取div下的a链接下的img，网页具体代码格式为
|
1
2
3
4
5
6
7
8
|
<
div
class="flex_grid credits search_results" style="margin:4px 14px 0 15px">
<
div
class="item" data-w="640" data-h="256">
<
a
href="">
<
img
srcset="" src="" alt="">
</
a
>
</
div
>
......
</
div
>
|
通过遍历可以获取所有图片的链接。
5.获取到图片地址链接后，就可以下载图片并保存到本地了。那么就需要确认初始化定义的文件夹是否存在，如果不存在，需要创建。
|
1
2
3
4
5
6
7
8
9
|
def
mkdir(
self
, path):
# 创建文件夹
path
=
path.strip()
is_exists
=
os.path.exists(path)
if
not
is_exists:
print
(
'创建名字叫做'
, path,
'的文件夹'
)
os.makedirs(path)
print
(
'创建成功！'
)
else
:
print
(path,
'文件夹已经存在了，不再创建'
)
|
6.接下来就可以保存图片了。
第四步操作，在get_pic方法中，获取到所有图片所在的div标签后，先确保存放图片的文件下是否存在，调用方法
self.mkdir(self.folder_path) # 创建文件夹
os.chdir(self.folder_path) # 切换路径至上面创建的文件夹
遍历所有的div，根据url名中jpg/png的不同，决定保存图片的后缀名
|
1
2
3
4
5
6
7
8
9
|
i
=
1
# 后面用来给图片命名
for
item
in
all_item:
img
=
item.find(
'a'
).find(
'img'
)
url
=
img[
'src'
]
if
url.count(
'jpg'
) >
0
:
self
.save_img(url,
str
(i)
+
'.jpg'
)
elif
url.count(
'png'
) >
0
:
self
.save_img(url,
str
(i)
+
'.png'
)
i
+
=
1
|
其中save_img方法为：
|
1
2
3
4
5
6
|
def
save_img(
self
, url, name):
# 保存图片
img
=
self
.request(url)
f
=
open
(name,
'ab'
)
f.write(img.content)
print
(name,
'文件保存成功！'
)
f.close()
|
创建MyBeautifulPicture类的实例，调用get_pic方法，至此，保存图片到本地就可以实现了。
完整的get_pic方法为：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
def
get_pic(
self
):
r
=
self
.request(
self
.web_url)
all_item
=
BeautifulSoup(r.text,
'html.parser'
).select(
".search_results > .item"
)
self
.mkdir(
self
.folder_path)
# 创建文件夹
os.chdir(
self
.folder_path)
# 切换路径至上面创建的文件夹
i
=
1
# 后面用来给图片命名
for
item
in
all_item:
img
=
item.find(
'a'
).find(
'img'
)
url
=
img[
'src'
]
# print(url)
if
url.count(
'jpg'
) >
0
:
self
.save_img(url,
str
(i)
+
'.jpg'
)
elif
url.count(
'png'
) >
0
:
self
.save_img(url,
str
(i)
+
'.png'
)
i
+
=
1
|