新的天梯平台阐述


以NBA分析为目标。

数据分为多个层次,每个层次的数据通过不同的手段进行处理。

第一,最底层的是原始数据。通过scrapy配合json采集。通过mongo存储。

第二,数据被转存至mysql。在存入的过程中,需要对数据有效性进行验证。

第三,对转存的数据的各种基础数据进行筛选。比如,球队、比赛等。

第四,对基础数据进行计算并存储,得到各类高级数据。高级数据通过各种猜测得出。

第五,对以往数据进行验证,总结策略。对现行数据进行记录。