同比环比的区别 百度百科
同比,就是跟去年同期比，英文名 on year-on-year basis。
环比,就是跟上一个周期比，就是相邻时间段的对比，一般是指报告期水平与前一时期水平之比.
例如,去年3月的价格指数是100,今年3月的价格指数是105,那么今年3月价格同比增长5%.
例如,今年2月的价格指数是105,今年3月的价格指数是105,那么今年3月价格环比增长为0.
因此, Chain算法更像是环比,去历史最近一个周期的最大值和最小值进行评估异常点.
参考链接
一点调参总结
-
window: 同期比较的滑动窗口大小, 建议乘上周期数,再乘上一定的倍数; 如周期为7天,可以设置为7*4,适当扩大参考范围.
-
max_threshold: 最大值的倍数阈值, 高于该阈值判定为异常点
-
min_threshold: 最小值的倍数阈值, 低于该阈值判定为异常点
-
influence : 异常点的折算值, 避免异常值之后的所有的点都无法再判断为异常点 (借鉴了z-score的算法, 看上一篇)
-
output_multiples: 放大异常值结果的倍数, 默认为1
复制粘贴下来就可以运行的Python程序
# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import math
import datetime
def paint_array(dfs=[], labels=[], title='输出字典测试'):
assert len(dfs) == len(labels)
plt.rcParams['font.sans-serif'] = ['SimHei'] # 显示中文标签
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(16, 8))
for i in range(0, len(dfs)):
plt.plot(dfs[i], label=labels[i])
plt.legend(loc='best')
plt.title(title + str(datetime.datetime.now()))
plt.show()
def chain_amplitude_algo(data):
input_ids = [157]
output_ids = [161]
output_multiples = [1]
for input_id, output_id, output_multiple in zip(input_ids, output_ids, output_multiples):
# 设置chain各种参数 ,window为同期相比的滑动窗口大小, window乘上回归周期 * 4*7
window, max_threshold, min_threshold, influence = 8 * 2, 1.5, 0.5, 0.5
y = data[input_id]['data_value']
signals = np.zeros(len(y))
filteredY = np.array(y)
maxFilter = [0] * len(y)
minFilter = [0] * len(y)
maxFilter[window - 1] = np.max(y[0:window])
minFilter[window - 1] = np.min(y[0:window])
for i in range(window, len(y)):
if filteredY[i] > maxFilter[i - 1] * max_threshold:
signals[i] = 1
filteredY[i] = filteredY[i] * influence + filteredY[i - 1] * (1.0 - influence)
elif filteredY[i] < minFilter[i - 1] * min_threshold:
signals[i] = -1
filteredY[i] = filteredY[i] * influence + filteredY[i - 1] * (1.0 - influence)
maxFilter[i] = np.max(y[i - window: i])
minFilter[i] = np.min(y[i - window: i])
series_dict = dict(signals=np.asarray(signals * output_multiple),
maxFilters=np.asarray(maxFilter),
minFilters=np.asarray(minFilter)
)
data[output_id] = data[input_id].copy()
data[output_id]['data_value'] = np.asarray(series_dict['signals'])
# 绘图
paint_array(dfs=[signals, maxFilter, minFilter, np.asarray(y)],
labels=['signals', 'maxFilter', 'minFilter', 'y'])
def paint(dfs=[], labels=[], title='暂无'):
assert len(dfs) == len(labels)
plt.rcParams['font.sans-serif'] = ['SimHei'] # 显示中文标签
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(16, 8))
for i in range(0, len(dfs)):
plt.plot(dfs[i]['data_value'], label=labels[i])
plt.legend(loc='best')
plt.title(title + str(datetime.datetime.now()))
plt.show()
if __name__ == '__main__':
idx = pd.date_range('2020-01-01', periods=190, freq='D')
# 构造一个周期为8*2的余弦函数
cos_arr = np.arange(len(idx)) * np.pi / 8
for i in range(0, len(cos_arr)):
# 这里加一, 将余弦函数整体上移1个单位, 避免出现负值, 出现负值,会导致大量误判,
cos_arr[i] = math.cos(cos_arr[i]) + 1
# 人为制造4个异常点
cos_arr[32] += 4
cos_arr[44] -= 1
# cos_arr[45] -= 2
cos_arr[132] += 4
cos_arr[182] += 4
data_value = pd.Series(cos_arr, index=idx)
df = pd.DataFrame({
'data_time': idx, # 时间列
'data_value': data_value # 数据列
})
data = {}
data[157] = df
data[161] = pd.DataFrame()
chain_amplitude_algo(data)
# paint(dfs=[data[157], data[161]], labels=['origin', 'signal'], title='origin模拟以天为周期的业务数据,signal模拟脉冲信号')
"""
以上涉及的场景数据暂无负值,如有负值请改造min_threshold,特判最小值小于0时改为乘于一个大于1的数值
"""
输出示例
实际拟合
注意点
- 以上涉及的场景数据暂无负值,如有负值请改造min_threshold,特判最小值小于0时改为乘于一个大于1的数值, influence : 异常点的折算值,也要对应进行改造.