拓端tecdat|R语言平滑算法LOESS局部加权回归、三次样条、变化点检测拟合电视节目《白宫风云》在线收视率

原文链接：http://tecdat.cn/?p=24067

原文出处：拓端数据部落公众号

此示例基于电视节目的在线收视率。我们将从抓取数据开始。

1.  
    
2.  
   # 加载软件包。
3.  
   packages <- c("gplot2", "MASS", "reshpe", "splnes",
4.  
   "XML")
5.  
    

分析的系列是亚伦·索尔金 (Aaron Sorkin) 的 《白宫风云》。

1.  
    
2.  
   if (!fle.eiss(fie)) {
3.  
   # 解析HTML内容。
4.  
   html <- htmlPrse(lis?si=17ectn=a")
5.  
   # 根据id选择表格。
6.  
   tml <- pahppl(html, //tal[@d='Tle']"[1] ?
7.  
   # 转换为数据集。
8.  
   da <- reHTML(hml)
9.  
   # 第一个数据行。
10.  
    head(da )
11.  
    # 保存本地副本。
12.  
    write.csv(ata[, -3], fle)
13.  
     
14.  
    # 读取本地副本
15.  
    daa <- red.sv(fie)
16.  
    # 检查结果
17.  
    str(dat)
18.  
     

Mean 是每集的平均评分，所以我们有一个参数， Count 是每集的投票数，所以我们有一个样本大小。使用标准误差方程，我们将计算每个评分的“误差幅度”。请注意，由于有几集收视率非常高，因此收视率分布不正常。

1.  
    
2.  
   # 计算季
3.  
   daa$saon <- 1 + (daX - 1)%/%22
4.  
   # 特殊情况
5.  
   at$sasn[which(dta$sesn > 7)] <- c(7, NA)
6.  
   # 因子变量
7.  
   daa$saon <- fator(aa$sesn)
8.  
    

我们对数据采取的最后一步是添加季编号，以便以后能够在绘图上区分它们。 除了两个特例（最后一季有 23 集，一个节目是电影特辑）外，《白宫风云》每一季 都有 22 集。我们使用除以 22 的余数来计算季，修复特殊情况，并将变量分解为绘图目的。

1.  
    
2.  
   # 计算季
3.  
   asaon <- 1 + (aX - 1)%/%22
4.  
   # 特殊情况
5.  
   dtseson[wich(dtsasn > 7)] <- c(7, A)
6.  
   # 因子变量
7.  
   dtseson <- fctor(dasasn)
8.  
    

最后的图使用 95% 和 99% 的置信区间来可视化不确定性。

1.  
   qlot(dta =dat, x = X, y = mu, clr =sasn, gem = "pont") +
2.  
   genge(es(yin = u - 1.96*se, ymx = u + 1.96*se), alpa = .5) +
3.  
   golie(as(yin =mu - 2.58*se, yax = mu + 2.58*e), apa = .5) +
4.  
    
5.  
    

该图对于每个季节的平均收视率会更有用，这些收视率很容易用该ddply() 函数检索 。还计算了最小和最大集数，以便能够绘制每个季节的水平段。由于我们将之前的绘图保存为 ggplot2 对象，因此添加线条只需要对额外的图形元素进行编码并将其添加到保存的元素之上。

1.  
   # 计算季平均值。
2.  
   men <- dply(daa,.(easn), summrs,
3.  
   ma = mean),
4.  
   xmi= in(X,
5.  
   xmx = ma(X)
6.  
   # 将平均值添加到绘图中。
7.  
   g + go_eme(daa = eas,
8.  
   as( xmin, max, = mean, en= man))

变化点检测算法

如果您的目标是找到系列中的突然变化，请使用变化点检测算法。

1.  
   # PELT算法计算变化点。
2.  
   p <- tmean(atamu, 'PELT')
3.  
   # 提取结果。
4.  
   xmin <- c(0, max[-legh(xmax)])
5.  
   # 绘图。
6.  
   gem_segnt(dat = eg)

平滑算法：LOESS(局部加权回归)和三次样条

现在让我们平滑这个系列。基本图都将使用相同的数据，我们将在其上叠加一条通过不同方法计算的趋势线。

1.  
    
2.  
   # 绘图
3.  
   plot(data
4.  
   x = X,
5.  
   y = mu,
6.  
   alpa = I0.5),
7.  
   gom = line")
8.  
    
9.  
    

平滑数据的最简单方法是使用局部多项式，我们将其应用于每个季节的分数，然后应用于它们的去趋势值。更复杂的平滑方法使用 splines 。它仅用于最后一个图中。

1.  
    
2.  
   # 每一季的LOESS平滑
3.  
    
4.  
   LOESS(se = FALSE) +
5.  
   goln(y = tmu,neyp= dhe"+
6.  
   as(colo = sason)
7.  
    
8.  
    

1.  
    
2.  
   # 对去趋势的数值进行LOESS平滑处理
3.  
   smooth(se = FALSE) +
4.  
   eoin(es =memu)), itype = ") +
5.  
    
6.  
    

1.  
    
2.  
   # 立方样条
3.  
   g +
4.  
   smooth( "m", ns(x, 8)
5.  
    

三次样条提供的信息与我们从变化点检测中了解到的情况几乎相同：该系列有三个时期，是由于观众收视率的一次下降。

1.  
    
2.  
   # 三次样条和变化点
3.  
   gmoth(method = ~ ns(x, 8))
4.  
    

---

最受欢迎的见解

1.R语言多元Logistic逻辑回归 应用案例

2.面板平滑转移回归(PSTR)分析案例实现

3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

4.R语言泊松Poisson回归模型分析案例

5.R语言混合效应逻辑回归Logistic模型分析肺癌

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病

8.python用线性回归预测股票价格

9.R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测