以NBA分析为目标。
数据分为多个层次,每个层次的数据通过不同的手段进行处理。
第一,最底层的是原始数据。通过scrapy配合json采集。通过mongo存储。
第二,数据被转存至mysql。在存入的过程中,需要对数据有效性进行验证。
第三,对转存的数据的各种基础数据进行筛选。比如,球队、比赛等。
第四,对基础数据进行计算并存储,得到各类高级数据。高级数据通过各种猜测得出。
第五,对以往数据进行验证,总结策略。对现行数据进行记录。
admin