首页 » 网站优化 » » 正文

python爬取热门电影?爬虫实战!

来源:黔优网 时间:2024-12-18 14:04:51 浏览量:0

很多小伙伴学习爬虫的一个原因就是想要爬取一些热门的电影下来,然后在自己有空的时候慢慢看,今天小编就带来了一个关于爬取某站热门电影的python爬虫实战项目(内附python爬虫源代码),接下来就让我们来看看python怎么爬取热门电影吧!

本篇文章URL已作了特别处理,所以代码不能直接使用。爬虫学习的是思路而不是代码的复制,希望小伙伴们能自行根据思路写出自己的爬虫代码!

另外:恶意爬取别人的网站数据是违法行为,在学习的过程中请注意爬取力度。

爬取别人网站的视频内容是对该网站的侵权,在爬取该视频内容之前请事先确定目标网站是否允许你进行视频的爬取,可以查看网站的robot文件。非法大量爬取某网站的视频内容可能会遭受对方的起诉,所以请不要随意爬取别人的视频内容。

一、首先我们要找到目标

找到目标先分析一下网页,很幸运这个只有一个网页,不需要翻页。

二、F12查看网页源代码

找到目标,分析如何获取需要的数据。找到href与电影名称

三、进行代码实现,获取想要资源。

''' 爬取电影与地址路径 操作步骤 1,获取到url内容 2,css选择其选择内容 3,保存自己需要数据 ''' #导入爬虫需要的包 import requests from bs4 import BeautifulSoup #requests与BeautifulSoup用来解析网页的 import time #设置访问网页时间,防止自己IP访问多了被限制拒绝访问 import re class Position(): def __init__(self,position_name,position_require,):#构建对象属性 self.position_name=position_name self.position_require=position_require def __str__(self): return '%s%s/n'%(self.position_name,self.position_require)#重载方法将输入变量改成字符串形式 class Aiqiyi(): def iqiyi(self,url): head= { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47" } #模拟的服务器头 html = requests.get(url,headers=head) #headers=hard 让脚本以浏览器的方式去访问,有一些网址禁止以python的反爬机制,这就是其中一个 soup = BeautifulSoup(html.content, 'lxml', from_encoding='utf-8') # BeautifulSoup打看网页 soupl = soup.select(".qy-list-wrap") # 查找标签,用css选择器,选择自己需要数据 进行选择页面第一次内容(标签要找到唯一的,找id好,如果没有考虑其他标签如class) results = [] # 创建一个列表用来存储数据 for e in soupl: biao = e.select('.qy-mod-li') # 进行二次筛选 for h in biao: p=Position(h.select_one('.qy-mod-link-wrap').get_text(strip=True), h.select_one('.title-wrap').get_text(strip=True))#调用类转换(继续三次筛选选择自己需要内容) results.append(p) return results # 返回内容 def address(self,url): #保存网址 head = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47" } # 模拟的服务器头 html = requests.get(url, headers=head) soup = BeautifulSoup(html.content, 'lxml', from_encoding='utf-8') # BeautifulSoup打看网页 alist = soup.find('div', class_='qy-list-wrap').find_all("a") # 查找div块模块下的 a标签 ls=[] for i in alist: ls.append(i.get('href')) return ls if __name__ == '__main__': time.sleep(2) #设置2秒访问一次 a=Aiqiyi() url = "https://list.*****.com/www/1/-------------11-1-1-iqiyi--.html" with open(file='e:/练习.txt ', mode='a+') as f: # e:/练习.txt 为我电脑新建的文件,a+为给内容进行添加,但不进行覆盖原内容。 for item in a.iqiyi(url): line = f'{item.position_name} {item.position_require} ' f.write(line) # 采用方法 print("下载完成") with open(file='e:/地址.txt ', mode='a+') as f: # e:/练习.txt 为我电脑新建的文件,a+为给内容进行添加,但不进行覆盖原内容。 for item in a.address(url): line=f'https{item} ' f.write(line) # 采用方法 print("下载完成") 

四、查看现象

到此这篇python怎么爬取热门电影的文章就介绍到这了,更多python爬虫实战项目可以搜索W3Cschool以前的文章或继续浏览下面的相关文章进行了解,还请大家多多支持W3Cschool。

免责声明:黔优网以上展示内容来源于用户自主上传、合作媒体、企业机构或网络收集整理,版权争议与本站无关,文章涉及见解与观点不代表黔优网官方立场,请读者仅做参考。本文标题:python爬取热门电影?爬虫实战!,本文链接:https://www.qianu.com/seo/6020.html,欢迎转载,转载时请说明出处。若您认为本文侵犯了您的版权信息,或您发现该内容有任何违法信息,请您立即点此【投诉举报】并提供有效线索,也可以通过邮件(邮箱号:kefu@qianu.com)联系我们及时修正或删除。