数据库原理及数据库的优化

1、数据库的原理

数据库:持久化存储,存到硬盘

性能:oracl>db2>sqlserver>mysql oracl,db2,sqlserver性能差不多,几十万次每秒,myslq性能差很多,几千次每秒,都属于关系型数据库

mysql数据库中user表负责权限管理

mysql运行程序在内存,数据存储在硬盘,程序运行在内存中

java向mysql发送sql语句,就是发送字符串,接收方接受字符串后,对字符串进行处理,先判定有没有相应的权限,然后根据处理后的内容进行相应的处理,确定对哪个表进行操作后,将该表拷贝到内存中进行相应操作,处理完后更新回去,将原来的表覆盖掉。查找和修改是进行for循环遍历找O(n),新增是末尾添加O(1),删除是遍历查找O(n)然后将最后一个复制粘贴到被删除的地方,标记位向前移动一个,本质还是数组

数据库在设计时尽可能保持长度一致,这样性能是最好的

索引,给数据库中需要频繁查找且数据量大的数据列添加索引,索引就是每条数据的序列号,然后需要查找的时候将索引加载到内存中,在内存中以树的形式存储,通过O(logn)的时间复杂度查找到要查的数据索引,通过索引再到数据库中找到要查找的数据

2、数据库的优化

mysql运行是它的main方法在操作系统运行,数据库的表文件通过磁盘IO将文件读到内存,磁盘IO读写有限,当读取比较多的时候,就会出现排队的现象。

固态盘不能作为主要的数据存储,因为固态盘有固定的读写次数,指每个扇区,容易使数据丢失。

缺陷:数据库假如一个文件有1000万条数据,占几百个G,哪怕知识查找一条20B的数据都要将这1000万的数据全部加载到内存中,这对内存的损耗非常大。如果只是对单条数据进行处理性能浪费很大,应当批量处理会更好,关联计算。

MySQL数据库是关系型数据库,擅长关联计算,比如求平均、求最大值最小值、求和、去重等。

单次操作多的时候,将表文件按类拆成多个更小的表文件,会降低计算量,内存的占用,加快程序速度,对单次表操作效能增加很有效,但是不适合表的关联计算

关联计算多的情况,则存成大表更合适

如果有既有关联操作,又有数据的单表操作,查询等,应当考虑将表文件复制成两份,单表操作进一份拆分的小表,关联操作进另一份大表,虽然会浪费磁盘存储空间,但是磁盘便宜,用空间换取时间是值得的,要注意两份表要保持数据同步。

非关系型数据库:自动能拆分成小文件,每一份数据都是单独文件,内存的(redismangodb),Java内部(数组、链表、hashMap),硬盘中的(hive、kafka、ElasticSearch、zookeeper),不擅长关联计算,擅长单点计算