新的进展
在老家又待了两天，重新构思了爬虫，采用MySQL作为数据库，重新将数据采集了一次。 根据先前的思路，在技术上存…
方案三
第三次变更方案。因为技术能力薄弱，数据数量庞大且数据结构复杂的情况下，我无法胜任数据处理的工作。 所以只能退而…
再一次新的方案
之前的想法，直接将数据通过MySQL来进行存储，但是实践中无法保证所有数据都是格式化的，毕竟一百多万条，不可能…
新的方案
流程如下：scrapy采集原始数据->MongoDB存储原始数据->连接器转存聚合数据->PHP提取聚合数据-…
教训
之前还在运作希望能开门店，组织团队，把公司经营规模扩大。但是自己考虑不周，没有把方方面面考虑深入，导致并没有按…