JAVA高并发问题,大数据,频繁I/O操作。

发布网友发布时间：2022-05-02 16:05

共3个回答

热心网友时间：2022-05-03 12:42

建议采用缓存处理，按照你说的这种数据量，基于redis的缓存完全可以满足，存取速度可以10W+的，另外，拟采用的hashMap 是ConcurrentHashMap还是其他，页面展示是增量查询还是直接所有的再查询一次，socket数据接收你是用的netty还是mina，这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求，完全可以考虑做分布式集群的，估计这只是领导想要的目标吧追问ConcurrentHashMap,Socket这块暂时用的Mina接收
我担心的是每隔5秒钟内就进行10万数据的更新，这个量是每天不断支持的，但是不一定每一条都会更新，正常情况都更新。这样刷IO会比较严重。

追答第一：考虑适当延长更新时间间隔
第二：在不延长时间间隔的情况下，采用事务处理或批处理，10W条数据不是很多，也不是很大，redis在1s内完全可以全部处理完
第三：尽量不要采用普通的关系型数据库如Oracle、MySQL，即便采用，也要考虑定时批量入库，建议直接采用内存数据库
第四：不建议直接用Hadoop，毕竟Hadoop是高延迟的分布式系统，其功能主要用于离线数据的处理，你的应用应该属于低延迟的系统。
还有什么疑问，可加QQ讨论。

热心网友时间：2022-05-03 14:00

缓存服务器集群，读取信息从缓存服务器读，那后台读取数据高并发应该会好点
hadoop 集群也会好很多，现在hadoop火的不行了，hadoop2也出来了，赶紧学习新技术

热心网友时间：2022-05-03 15:34

java并发包的hashmap就够了，业务逻辑设计的就有问题

并发包hashmap与同步 hashmap在多线程10W条数据之后，性能不是一个级别的

每次获取最新就先过滤一遍cache然后再进行数据库查询然后组合结果

更新可以多线程取单队列（并发包hashmap）然后同步更新

这是我以前的设计逻辑追问不明白你说的并发包hashmap是什么？
我接收消息用的是Mina。

追答ConcurrentHashMap 并发包应该没问题的