数据中的异常值，应该直接移除吗？

不少人说是我：我的数据当除此以外反常差值，是不是某种程度删去？要回答这个原因，我们必须从反常差值的本质来回忆说。也许有的人实在反常差值极佳理解，不就是“反常”的差值吗？关键是，怎样都无反常呢？实有：在10个数据当中（上图银色点）；也转为红、绿、黄绿色的3个点，它们都是反常差值吗？反常差值本来是一个较为宽松的本质，它至少包含了三种处理方式：(1) 离群差值（outliner）离群差值是所指从因变量y的相反来看统称反常的差值，如图当中的粉红色点和粉粉红色点，偏离y的均差值较其它点更近。离群差值一般而言使用校内解构残差来显然。(2) 高反向差值（high leverage）高反向差值是所指从自变量x的相反来看统称反常的差值，如图当中的黄绿色点和粉粉红色点，在x轴上偏离x的均差值较近。高反向差值一般而言使用反向差值来显然。(3) 爆冷负面影响差值（influential observation）爆冷负面影响差值是所指对静态负面影响相当大的差值，假定，如果删去了该差值，都会导致静态起因不大推移（如值差值彻底改变相当大）。爆冷负面影响点一般而言使用COOK'D差值、DFBETAS和DFFITS来显然。上图比较了相异反常差值对静态匹配效果的负面影响。图当中银色实新线透露不含这3个反常差值的匹配新线，粉粉红色、粉红色、黄绿色实新线分别透露含粉粉红色点、粉红色点、黄绿色点时的匹配新线。不难看出，含有粉粉红色点时，对静态匹配负面影响几乎相当大（与银色实新线几乎重合）；含有黄绿色点时，匹配新线被垂直拉更高，即重归值近小于银色实新线；含有粉红色点时，匹配新线也被拉更高。如果要显然的话，粉粉红色点虽然从x朝著和y朝著上都偏离均差值，但却不是爆冷负面影响点；黄绿色点和粉红色点才是爆冷负面影响点，因为基本上的任一点日后可以导致值起因不大推移。我们直到现在已经明白了如何显然一个点是不是反常点，紧接着的原因就是，如果我发现了反常点，某种程度怎么管控？不少人常常简单粗暴的方法，即这样一来删去。这并不是比较好的急于，有时甚至都会让你错过一些只不过的表征。当你发现反常差值后，一定要先分清是什么原因导致的反常差值，然后再权衡如何管控。如果是统称录入有误或实验室记录有误等，这很容易，立刻修订方能。如果不是录入有误，而是显然存在这样的反常差值，这时无需根据相异处理方式来分别对待。首先，如果这一反常差值并不亦然一种瞬时的，而是极其无意间的物理现象，或者说你并不想统计分析这种无意间的物理现象，这时可以将其删去。实有如，你要统计分析胸围与体温的父子关系，但你的统计分析人群当中恰好纳入了明星，这种处理方式，可以将其删去，只用其他人同步进行统计分析。因为这并不亦然一种瞬时的物理现象，而且你也许也不想统计分析比如说的情况。其次，如果反常差值存在且亦然了一种现实存在的物理现象，那就无法上当删去。比如调查报告了100个村的肺炎发病，也许显然有个别村庄的发病显然优于其它村，这时就无法上当删去，而是要把这些反常点纳入，重新匹配静态，统计分析其表征。实有：某实验室样品了细菌培养肠胃使用量与间隔时间的父子关系，试同步进行统计分析。很明显，上图当中的两个锯是反常点，可以让一维重归的值起因连续不断推移。那这种处理方式是否无需删去这两个差值呢？首先看一下这两个差值是否实验误差，如果这两个差值是正确地的，那它很也许亦然了一种显然。假定，在短期内增长缓慢，但是到了一个关键间隔时间点后（如30），种群使用量就都会骤减。此时如果你这样一来删去这两个点，就无法只不过发现这种表征。所以我们可以纳入这两个点，但是无法匹配一维重归，而是要根据其大小匹配非一维静态。如此处可以权衡对间隔时间time同步进行所指数转换，可以发现转换后静态更能直接匹配数据。