5000电影数据处理

王 S 聪想要在海外开拓万 D 电影的市场, 这次他在考虑: 怎么拍商业电影才 能赚钱?毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影 业来说比以往任何时候都更加重要。  所以,他就请来了你(数据分析师)来帮 他解决问题, 给出一些建议, 根据数据分析一下商业电影的成功是否存在统一公 式?以帮助他更好地进行决策。

解决的终极问题是: 电影票房的影响因素有哪些?

接下来我们就分不同的维度分析:

•    观众喜欢什么电影类型?有什么主题关键词?

•     电影风格随时间是如何变化的?

•     电影预算高低是否影响票房?

•    高票房或者高评分的导演有哪些?

•     电影的发行时间最好选在啥时候?

•    拍原创电影好还是改编电影好?

本次使用的数据来自于 Kaggle 平台(TMDb 5000 Movie Database)。收录了 美国地区 1916-2017 年近 5000 部电影的数据,包含预算、导演、票房、电影评 分等信息。原始数据集包含 2 个文件:

•    tmdb_5000_movies:电影基本信息,包含 20 个变量

•    tmdb_5000_credits:演职员信息,包含 4 个变量

请使用 Python  编程,完成下列问题:

(1)使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集,进 行数据清洗、 数据挖掘、数据分析和数据可视化等,研究电影票房的影响因素有 哪些? 从不同的维度分析电影,讨论并分析你的结果。

(2)附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息, 请你选择 合适的指标,进行特征提取, 建立机器学习的预测模型, 预测 1000  部电影的 vote_average 和 vote_count,并保存为 tmdb_1000_predicted.csv。

数据清洗

1  导入数据

2  缺失值处理

缺失记录仅____3__条,采取网上搜索,补全信息。

 

缺失记录的电影标题为《America Is Still the Place》, 日期为2014-06-01

缺失记录的电影 runtime 分别为____94___min 和 _240__min。

3  重复值处理

运行结果:有__4803____个不重复的id,可以认为没有重复数据。

4  日期值处理

将 release_date 列转换为日期类型

5  筛选数据

使用数据分析师最喜欢的一个语法:

票房、预算、受欢迎程度、评分为___0____的数据应该去除;

评分人数过低的电影,评分不具有统计意义,筛选评分人数大于_50__的数据。

此时剩余___2961___条数据,包含__16____个字段。

6 json 数据转换

**说明: **genres,keywords,production_companies,production_countries,cast,crew  这 6 列都是 json 数据,需要处理为列表进行分析。

处理方法:

json 本身为字符串类型,先转换为字典列表,再将字典列表转换为,以’,'分割的字符串

 

7  数据备份

原文地址:https://www.cnblogs.com/enough/p/15703767.html