2018年泰迪杯题目及答案 泰迪杯数据挖掘比赛b题

一．问题背景

近年来企业外部环境越来越不确定，复杂多变的外部环境，让企业供应链面临较多难题。

需求预测作为企业供应链的第一道防线，重要程度不言而喻，然而需求预测受多种因素的影响，导致预测准确率普遍较低，因此需要更加优秀的算法来解决这个问题。需求预测是基于历史数据和未来的预判得出的有理论依据的结论，有利于公司管理层对未来的销售及运营计划、目标，资金预算做决策参考；其次，需求预测有助于采购计划和安排生产计划的制定， 减少受业务波动的影响。如果没有需求预测或者预测不准，公司内部很多关于销售、采购、财务预算等决策都只能根据经验而来了，会导致对市场预测不足，产生库存和资金的积压或不足等问题，增加企业库存成本。

二．数据说明

附件中的训练数据（order_train1.csv）提供了国内某大型制造企业在 2015 年 9 月 1日至 2018 年 12 月 20 日面向经销商的出货数据（格式见表 1），反应了该企业产品在不同销售区域的价格和需求等信息，包括：order_date（订单日期）、sales_region_code（销售区域编码）、item_code（产品编码）、first_cate_code （产品大类编码）、second_cate_code （产品细类编码）、sales_chan_name （销售渠道名称）、item_price （产品价格）和 ord_qty （订单需求量）。

表1：训练数量（历史数据）的数据格式

其中“订单日期”为某个需求量的日期；一个“产品大类编码”会对应多个“产品细类编码”；“销售渠道名称”分为 online（线上）和 offline（线下），“线上”是指淘宝和京东等电商平台，“线下”是指线下实体经销商。

附件中的预测数据（predict_sku1.csv）提供了需要预测产品的销售区域编码、产品编码、产品品类和产品细品类（格式见表 2）。

表2：需要预测的产品的数据样例

三．需要解决的问题

1. 请对附件中的训练数据（order_train1.csv）进行深入地分析，可参照但不限于下述主

题。

（1） 产品的不同价格对需求量的影响；

（2） 产品所在区域对需求量的影响，以及不同区域的产品需求量有何特性；

（3） 不同销售方式（线上和线下）的产品需求量的特性；

（4） 不同品类之间的产品需求量有何不同点和共同点；

（5） 不同时间段（例如月头、月中、月末等）产品需求量有何特性；

（6） 节假日对产品需求量的影响；

（7） 促销（如 618、双十一等）对产品需求量的影响；

（8） 季节因素对产品需求量的影响。

1. 基于上述分析，建立数学模型，对附件预测数据（predict_sku1.csv）中给出的产品，预测未来 3 月（即 2019 年 1 月、2 月、3 月）的月需求量，将预测结果按照表 3 的格式保存为文件 result1.xlsx，与论文一起提交。请分别按天、周、月的时间粒度进行预测，试分析不同的预测粒度对预测精度会产生什么样的影响。

B题论文共90页，一些修改说明7页，正文72页，附录11页。

这次泰迪杯我做得有点晚了，一方面是之前有点事耽搁了两天，所以我是从6天前才开始做。另一方面泰迪杯不愧是时间这么长的比赛，数据量极大，第一问方便你们挑选，题目给出的8个角度我全都分析了，重点是后面需要自己标注数据的四个角度例如节假日等，需要谨慎查询并标注，这四个数据预处理花了我不少时间。不过求解也就是麻烦点，做起来其实也就是相关性＋差异性分析＋分类统计绘图挑着用。重点是第二问，机器学习预测是肯定的，但是预测精度我调参了很久都比较低，后来只能结合神经网络自动寻优，但是这题数据量太大，月周日三个模型各跑了一天一共三天，最后精度确实都可以，最高的模型精度是80%以上，对于这个题目数据来说是非常高了，最后直接应用就完事了。之所以篇幅这么长，是因为：第一问8个角度都分析了。此外我论文很多的篇幅需要用来解释我为什么要这么做，基本就是手把手教你怎么做，并且我还要照顾每个人的水平，所有会有些地方需要写得很繁琐，一些中间过程展现得事无巨细，并且表格很多，你们自己放到附录即可。

在这里，我给大家讲一下具体是怎么做吧，精力有限可能讲得不够详细，如果看着觉得累，可以看我更新汇总贴里面的视频讲解：

OK，这里是我的目录：

摘要：

请对附件中的训练数据（order_train1.csv）进行深入地分析，可参照但不限于下述主题。

对于这一问而言，我把8个主题全部分析了.

（1） 产品的不同价格对需求量的影响；（2） 产品所在区域对需求量的影响，以及不同区域的产品需求量有何特性；（3） 不同销售方式（线上和线下）的产品需求量的特性；（4） 不同品类之间的产品需求量有何不同点和共同点；（5） 不同时间段（例如月头、月中、月末等）产品需求量有何特性；（6） 节假日对产品需求量的影响；（7） 促销（如618、双十一等）对产品需求量的影响；（8） 季节因素对产品需求量的影响。

首先我要说一下，影响和特性的求解方式是不一样的。

影响是看到底有没有影响，影响的程度到底有多大，主要是相关性分析＋差异性分析。

而特性，则本质上只需要分类统计汇总分析。

具体可以分为以下三类。

1.产品的不同价格对需求量的影响；

两个定量数据之间的影响分析：

那就直接相关性分析：

之后做分位数回归，看一下究竟价格是怎么影响需求量的，在哪个点影响最大以及这种影响是怎么随着价格的变化而变化的：

（2） 产品所在区域对需求量的影响，以及不同区域的产品需求量有何特性；（6） 节假日对产品需求量的影响；（7） 促销（如618、双十一等）对产品需求量的影响；（8） 季节因素对产品需求量的影响。

有这样一张总表：

这道题的需求量数据很明显并不是正态分布的：

对于所在区域，一共是五个独立变量，因此，要做多独立样本非参数检验：

确定完差异程度之后，也就是有没有影响以及影响大小之后，做特性统计：

对于其余的，则首先要标注数据，但标注的时候大家一定要谨慎，例如节假日是不包括周六周日的，这个大家一定要清楚！：

同时，大家要分清楚农历和阳历，对于除夕、端午节这些节日，都是按照农历计算的，我们要查询到每一年这些节日对应的公历日期才可以：

比如中秋节：

全部标注完之后，开始做差异性分析，只有是否，所以这里就是双独立样本检验了：

之后是促销因素，

促销我选用了618 双十一和双十二：

方法一样我就不赘述了。

大家也要注意，小学常识：季节不是1-3月就是春天，那是农历，对于公历来说：

标注之后，采用和所在区域一样的多独立样本检验即可。

对于特性分析来说，只需要做统计分析即可：

OK，第一问结束。

第二问：

基于上述分析，建立数学模型，对附件预测数据（predict_sku1.csv）中给出的产品，预测未来3月（即2019年1月、2月、3月）的月需求量，将预测结果按照表3的格式保存为文件result1.xlsx，与论文一起提交。请分别按天、周、月的时间粒度进行预测，试分析不同的预测粒度对预测精度会产生什么样的影响。

第二问花了我整整三天的时间。

这道题肯定是不可以用时间序列的，又不是一个产品，需求量当然不是只跟时间有关。

因为这很明显是一个多输入的非线性回归问题，也就是说，有多个因素影响需求量，每个因素都可以作为自变量，需求量是因变量。题目也说了：

机器学习训练是肯定的，但是这个数据量实在太大了，59w多条，训练起来很麻烦。

而且手动调参精度我一直提升不上去，最后只能是结合神经网络自动寻优。

按照题目要求，我们是需要训练出月、周、日三个模型的，跑这三个模型花了我整整三天时间。

给大家看一下精度最低的那个模型吧：

70多是最低的，最高的是哪个模型为了保证限量我就不说了，精度是80%多。

看一下最后的预测表格：

整理成题目要求的格式：

是这样的：

教大家一个判断自己结果到底对不对的方法，同一个产品，三个月的需求量虽然会有变化，但是绝对不会相差太多，如果相差非常大，那么模型肯定是存在问题的。

大家可以看一下上面的预测结果相差的程度，基本是合理的。

当然了，真正的精度是从训练集测试集表现来的，这个我在论文里会有精度的表格。

一共2619个，全部预测完毕：

OK，那么就讲到这里吧，实在太累了，讲解得可能不够详细，详细的讲解大家还是移步我的讲解视频吧，会是事无巨细的一个讲解：