观影大数据分析（上）

题目

王S聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。
解决的终极问题是：电影票房的影响因素有哪些？
接下来我们就分不同的维度分析：
• 观众喜欢什么电影类型？有什么主题关键词？
• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？
本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评分等信息。原始数据集包含 2 个文件：
• tmdb_5000_movies：电影基本信息，包含 20 个变量
• tmdb_5000_credits：演职员信息，包含 4 个变量
请使用 Python 编程，完成下列问题：
（1）使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有哪些？从不同的维度分析电影，讨论并分析你的结果。
（2）附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。

数据清洗

导入数据

credits = pd.read_csv("tmdb_5000_credits.csv")
movies = pd.read_csv('tmdb_5000_movies.csv')

缺失值处理

通过观察可以发现，两个表中存在相同字段。那我们将两张表合并，并找出需要的字段，删去不需要的字段。

# 删除所有不必要的列
del credits['title']
del credits['movie_id']
del movies['homepage']
del movies['spoken_languages']
del movies['original_title']
del movies['overview']
del movies['tagline']
del movies['status']
# 合并两张表
fullDf = pd.concat([movies, credits], axis=1)

查看大表信息

fullDf.info()

缺失记录仅3条，采取网上搜索，补全信息

补全release_data

# 找出release_data列缺失值
nanX2 = fullDf['release_date'].isnull()
fullDf.loc[nanX2, :]

fullDf.loc[4553, 'release_date'] = '2014/06/01'

缺失记录的电影标题为《America Is Still the Place》，日期为2014/06/01。

补全runtime

nanX1 = fullDf['runtime'].isnull()
fullDf.loc[nanX1, :]

# 将查询到的信息填写上去
fullDf.loc[2656, 'runtime'] = '98'
fullDf.loc[4140, 'runtime'] = '81'

缺失记录的电影 runtime 分别为98min 和 81min。

重复值处理

sum(fullDf.duplicated())
# 处理重复值
fullDf.drop_duplicates(subset=['id'], keep='first')
fullDf.info()

运行结果：有4803个不重复的 id，可以认为没有重复数据。

日期值处理

# 将release_date的数据类型改为日期类型
fullDf.loc[:, 'release_date'] = pd.to_datetime(fullDf.loc[:, 'release_date'], format='%Y-%m-%d', errors='coerce')
fullDf.info()

筛选数据

使用数据分析师最喜欢的一个语法：

df.describe()

票房、预算、受欢迎程度、评分为0的数据应该去除；
评分人数过低的电影，评分不具有统计意义，筛选评分人数大于50的数据。

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')

json数据转换

json_cols = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']
for i in json_cols:
    fullDf[i] = fullDf[i].apply(json.loads)


def get_names(x):
    return ",".join(i['name'] for i in x)

def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']

fullDf['genres'] = fullDf['genres'].apply(get_names)
fullDf['keywords'] = fullDf['keywords'].apply(get_names)
fullDf['production_companies'] = fullDf['production_companies'].apply(get_names)
fullDf['production_countries'] = fullDf['production_countries'].apply(get_names)
fullDf['cast'] = fullDf['cast'].apply(get_names)
fullDf['crew'] = fullDf['crew'].apply(get_director)

数据备份

# 数据备份
fullDf.to_csv("./fullDf.csv", encoding='utf-8', index=False)