求教MySQL大数据量查询问题

发布网友发布时间：2022-04-09 01:23

共2个回答

懂视网时间：2022-04-09 05:44

1亿条数据，分100张表

1.首先创建100张表

$i=0;
while($i<=99){
echo "$newNumber ";
$sql="CREATE TABLE `code_".$i."` (
`full_code` char(10) NOT NULL,
`create_time` int(10) unsigned NOT NULL,
PRIMARY KEY (`full_code`),
) ENGINE=MyISAM DEFAULT CHARSET=utf8";
mysql_query($sql);
$i++;

2.分表规则：

full_code作为主键，对full_code做hash

$table_name=get_hash_table(‘code‘,$full_code);

function get_hash_table($table,$code,$s=100){
$hash = sprintf("%u", crc32($code));
echo $hash;
$hash1 = intval(fmod($hash, $s));
return $table."_".$hash1;
}

这样插入数据前通过get_hash_table获取数据存放的表名。

3.使用merge存储引擎来实现一张完整的code表

CREATE TABLE IF NOT EXISTS `code` (
`full_code` char(10) NOT NULL,
`create_time` int(10) unsigned NOT NULL,
INDEX(full_code)
) TYPE=MERGE UNION=(code_0,code_1,code_2.......) INSERT_METHOD=LAST ;

通过select * from code就可以得到所有的full_code数据了。

mysql大数据分表后查询

标签：

热心网友时间：2022-04-09 02:52

表的结构再简单，也架不住数据量庞大啊。只有2个字段的表，查询语句上好像也做不出什么优化。个人想法是，防伪码不会经常被查。一般一个防伪码被查个两三次就差不多了吧，是否可以考虑把建立时间较久远的防伪码去除，只保留一段时间以内的。或者按序列号创建时间分表存储数据，时间较为久远的数据单独放一张表；近期的新序列号放在另一张表，增加序列号生成时间字段。但凡在一定的创建时间之前的老序列号，就去查老表老数据，否则就查新表新数据。序列号的生成应该是有规律的吧，大数据只能分表来提升查询效率。