炼数成金数据分析课程---9、食物数据分析实例

炼数成金数据分析课程---9、食物数据分析实例

一、总结

一句话总结：

大纲+实例学习法：重大纲，细节先略，主实例

好东西是大部分人都会觉得好的：比如那些博客，比如教学视频，比如我，比如生活中的方方面面

完全不必纠结任何事；不同时刻的心境真的不一样，你要知道，下一个心境和这个区别很大，所以完全没必要纠结什么

1、对食物数据分析一般可以分析什么？

比如食物中哪种食物的某样成分含量最高

比如每组食物的Zn元素的含量是多少

2、如何查看食物中哪种食物的某样成分含量最高？

1、ndata = pd.merge(nutrients, info, on='id', how='outer') #连接 食物描述 和 营养成分

2、by_nutrient = ndata.groupby(['nutgroup', 'nutrient'])

3、get_maximum = lambda x: x.xs(x.value.idxmax())

4、max_foods = by_nutrient.apply(get_maximum)[['value', 'food']] #获取值最大的食物

3、如何查看每组食物的Zn元素的含量是多少？

1、ndata = pd.merge(nutrients, info, on='id', how='outer')

2、result = ndata.groupby(['nutrient', 'fgroup'])['value'].quantile(0.5) #求中位数

3、result['Zinc, Zn']

#连接 食物描述 和 营养成分：能够获取不同食物里面所含的营养成分
ndata = pd.merge(nutrients, info, on='id', how='outer')
result = ndata.groupby(['nutrient', 'fgroup'])['value'].quantile(0.5) #求中位数
result['Zinc, Zn'] 

4、打开比较大的txt文件用什么？

直接用chrome：效果比notepad++和sublim速度快很多，而且，文件还很好的被格式化了

5、打开比较大的json文件用什么？

直接用chrome：又快格式也规整

6、python中json访问数据库的方式？

db=json.load(open('data/foods-2011-10-03.json'))

只访问db[0]的键：db[0].keys() #key()方法访问key()

访问键和值：db[0]['nutrients'][0] #python中的json数据如何访问-数组方式

7、如何取营养物质的前7种？

1、db=json.load(open('data/foods-2011-10-03.json'))

2、nutrients=DataFrame(db[0]['nutrients'])

3、nutrients[:7] #取营养物质的前7种

8、如何构建食物的营养成分数据？

1、db=json.load(open('data/foods-2011-10-03.json'))

2、for rec in db:

3、    fnuts = DataFrame(rec['nutrients']) #rec是循环变量，表示db数据集中的每一条数据

4、    nutrients.append(fnuts)

db=json.load(open('data/foods-2011-10-03.json'))
for rec in db:
    fnuts = DataFrame(rec['nutrients']) #rec是循环变量，表示db数据集中的每一条数据
    fnuts['id'] = rec['id'] #给fnuts增加id字段，这个id字段是食品的id
    nutrients.append(fnuts)

9、如何构建食物信息数据？

1、db=json.load(open('data/foods-2011-10-03.json'))

2、info_keys=['description','group','id','manufacturer']

3、info=DataFrame(db,columns=info_keys)

10、如何对食物信息重命名？

1、col_mapping = {'description' : 'food','group' : 'fgroup'}

2、info = info.rename(columns=col_mapping, copy=False) #重命名

col_mapping = {'description' : 'food',
               'group'       : 'fgroup'}
info = info.rename(columns=col_mapping, copy=False) #重命名
info

11、如何连接食物信息和营养成分信息？

ndata = pd.merge(nutrients, info, on='id', how='outer')

12、如何求 食物信息和营养成分联合数据的 中位数？

1、ndata = pd.merge(nutrients, info, on='id', how='outer')

2、result = ndata.groupby(['nutrient', 'fgroup'])['value'].quantile(0.5) #求中位数

quantile
英 ['kwɒntaɪl]  美
n. [计] 分位数；分位点

二、食物数据分析实例

1、数据介绍

 每一条数据分为portions，description，tags，nutrients，group，id，manufacturer 这些东西

db[0].keys()
[u'portions',
 u'description',
 u'tags',
 u'nutrients',
 u'group',
 u'id',
 u'manufacturer']


每一个物品的营养nutrients要检测很多中，比如第一件食品就是162种（比如要检测什么蛋白质，钙，镁等）
每件食品所包含的营养成分是不一样的，所以要检测的种数也是不一样的

                            description        group    units     value
0                               Protein  Composition        g    25.180
1                     Total lipid (fat)  Composition        g    29.200
2           Carbohydrate, by difference  Composition        g     3.060
3                                   Ash        Other        g     3.280
4                                Energy       Energy     kcal   376.000
5                                 Water  Composition        g    39.280
6                                Energy       Energy       kJ  1573.000
7                  Fiber, total dietary  Composition        g     0.000
8                           Calcium, Ca     Elements       mg   673.000
9                              Iron, Fe     Elements       mg     0.640
10                        Magnesium, Mg     Elements       mg    22.000

这是其中营养物质中蛋白质Protein的一条数据
db[0]['nutrients'][0]
{u'description': u'Protein',
 u'group': u'Composition',
 u'units': u'g',
 u'value': 25.18}

2、代码

# -*- coding: utf-8 -*-
from pandas import Series, DataFrame
import matplotlib.pyplot as plt
plt.rc('figure', figsize=(10, 6))
import pandas as pd
import json
#6000+数据
db=json.load(open('data/foods-2011-10-03.json'))
#2条数据
#db=json.load(open('data/food_small.json'))
len(db)
#print(db)

db[0].keys() #key()方法访问key()
db[0]['nutrients'][0] #python中的json数据如何访问-数组方式

nutrients=DataFrame(db[0]['nutrients'])
nutrients
nutrients[:7] #取营养物质的前7种

#只提取数据中的'description','group','id','manufacturer'这几样
info_keys=['description','group','id','manufacturer']
info=DataFrame(db,columns=info_keys)

#info
info[:5] #取前五条

pd.value_counts(info.group)[:10] #pandas包统计物品数据
#pd.value_counts(info.group)

nutrients = []

#将 营养成分 记录下来
for rec in db:
    fnuts = DataFrame(rec['nutrients']) #rec是循环变量，表示db数据集中的每一条数据
    fnuts['id'] = rec['id'] #给fnuts增加id字段，这个id字段是食品的id
    nutrients.append(fnuts)

fnuts
#nutrients #单纯的各个营养成分拼接的表


nutrients = pd.concat(nutrients, ignore_index=True) #将营养成分连接起来

nutrients

nutrients.duplicated().sum() #重复项的数目
nutrients = nutrients.drop_duplicates() #去掉重复项
nutrients

#重命名：方便观测数据
col_mapping = {'description' : 'food',
               'group'       : 'fgroup'}
info = info.rename(columns=col_mapping, copy=False) #重命名
info

col_mapping = {'description' : 'nutrient',
               'group' : 'nutgroup'}
nutrients = nutrients.rename(columns=col_mapping, copy=False)
nutrients

#连接 食物描述 和 营养成分：能够获取不同食物里面所含的营养成分
ndata = pd.merge(nutrients, info, on='id', how='outer')

ndata


#ndata.ix[30000] #.ix is deprecated.
ndata.loc[30000] #查找第30000行的信息的情况

#根据营养成分和分组，画出中位数的表
result = ndata.groupby(['nutrient', 'fgroup'])['value'].quantile(0.5) #求中位数
result
result['Zinc, Zn'] #取 Zinc, Zn 这一行的数据
result['Zinc, Zn'].order().plot(kind='barh')

# 找营养成分最丰富的或最不丰富的
by_nutrient = ndata.groupby(['nutgroup', 'nutrient'])

get_maximum = lambda x: x.xs(x.value.idxmax())
get_minimum = lambda x: x.xs(x.value.idxmin())

max_foods = by_nutrient.apply(get_maximum)[['value', 'food']] #获取值最大的食物
max_foods

# make the food a little smaller
max_foods.food = max_foods.food.str[:50]
max_foods.food

max_foods.loc['Amino Acids']['food']