一分钟产生40万条数据，大概是400MB，期间要有其它程序处理这些数据。最初采用了Redis和MySQL，因为有读有写，发现写库根本来不及。最后采用的方式是：先缓存数据在内存，将每10万条数据进行序列化，写文件（7200转的硬盘，每秒写100MB），另外一程序解析文件，处理数据（处理完数据没那么多了），之后存库。
本文共 207 字，大约阅读时间需要 1 分钟。
一分钟产生40万条数据，大概是400MB，期间要有其它程序处理这些数据。最初采用了Redis和MySQL，因为有读有写，发现写库根本来不及。最后采用的方式是：先缓存数据在内存，将每10万条数据进行序列化，写文件（7200转的硬盘，每秒写100MB），另外一程序解析文件，处理数据（处理完数据没那么多了），之后存库。
转载于:https://www.cnblogs.com/fx2008/p/4099641.html