当前位置:首页 > 数码 > 优化SQL语句的十条倡导-让你的SQL速度飞起来 (优化sql语句执行效率的方法)

优化SQL语句的十条倡导-让你的SQL速度飞起来 (优化sql语句执行效率的方法)

admin5个月前 (05-04)数码37

SQL优化不时是备受关注的抢手话题,无论是在面试还是上班中,开发人员都或许遇到。

当开发人员担任的在线界面发生性能疑问时,须要对其启动优化。在优化的思绪中,通常会首先思考优化SQL语句,由于它的转换老本要比修正代码小得多。

本文分享一些优化SQL的技巧,宿愿对读者有所协助。

1防止经常使用

很多时刻,开发人员在编写SQL语句时,为了繁难起见,青睐间接经常使用来一次性性查出表中一切列的数据。

失误示例

select*fromuserwhereid=1;

实践的业务场景中,兴许咱们只真正须要经常使用其中的一两列数据。查了很少数据,但是却糜费了数据库资源,如内存或许CPU。

此外,在经过网络IO传输数据的环节中,数据传输期间也会参与。

另一个最关键的疑问是:不会经常使用笼罩索引,会发生少量的前往表操作,造成查问SQL性能低下。

优化如下:

正确示例

selectname,agefromuserwhereid=1;

在查问SQL语句时,只审核须要经常使用的列,不须要审核多余的列。

2用"unionall"交流"union"

妇孺皆知,在SQL语句中经常使用union关键字后,可以取得从新排序后的数据。

而假设经常使用unionall关键字,可以失掉包括反双数据在内的一切数据。

失误示例

(select*fromuserwhereid=1)union(select*fromuserwhereid=2);

从新排序的环节须要遍历、排序和比拟,耗时更长,消耗更多的CPU资源。

所以假设可以经常使用unionall,尽量不要经常使用union。

正确示例

(select*fromuserwhereid=1)unionall(select*fromuserwhereid=2);
优化SQL语句的十条倡导

除非存在一些不凡状况,比如在之后,结果集中发生反双数据,而业务场景不准许发生反双数据,那么可以经常使用。

3小表驱动大表

小表驱动大表,即一个小表的数据集驱动一个大表的数据集。

假设有两个表,order和user,表有1万条数据,表有100条数据。

这时,假设你想查问一切无成效户下的订单列表。

可以经常使用关键字成功:

select*fromorderwhereuser_idin(selectidfromuserwherestatus=1)

也可以经常使用关键字成功:

select*fromorderwhereexists(select1fromuserwhereorder.user_id=user.idandstatus=1)

在上述提到的业务场景中,更适宜经常使用关键字来成功业务需求。

由于in关键字蕴含在SQL语句中,会先口头子查问语句,而后口头外部语句。假设中的数据量较小,作为条件的查问速度更快。

而假设SQL语句蕴含关键字,会先口头左边的语句(主查问语句)。

而后将其作为条件与左边的语句启动婚配。假设婚配成功,就可以查问数据。假设没有婚配,数据就会被过滤掉。

在这个需求中,表有1万条数据,表有100条数据。

是一个大表,是一个小表。

假设在左边,更适宜经常使用关键字。

总结一下:

4批量操作

假设有一批须要在业务处置之后拔出的数据怎样办?

失误示例

for(Orderorder:list){orderMer.insert(order);}

经过循环一一拔出数据。

insertintoorder(id,code,user_id)values(123,'001',100);

这个操作须要屡次向数据库动员恳求能力成功这批数据的拔出。

但是妇孺皆知,在咱们的代码中,每次远程恳求数据库都会消耗肯定的性能。

而且假设咱们的代码须要屡次恳求数据库来成功这个业务配置,那就肯定会消耗更多的性能。

正确的模式是提供一个批量拔出数据的方法。

正确示例

orderMapper.insertBatch(list);#insertintoorder(id,code,user_id)#values(123,'001',100),(124,'002',100),(125,'003',101);

这样,只要要远程恳求一次性数据库,SQL的性能会失掉优化。数据越多,改良成果越大。

但是,须要留意的是不倡导一次性性批量操作过多的数据。假设数据过多,数据库的照应会十分缓慢。

批量操作须要掌握一个度,倡导每个批次的数据尽量管理在500以内。假设数据超越500,可以分多个批次启动处置。

5经常使用limit

有时刻,咱们须要查问某些数据的第一条记载,例如:查问某个用户的第一笔订单,并且想要看到他的第一笔订单的期间。

失误示例

selectid,create_datefromorderwhereuser_id=123orderbycreate_dateasc;

依据用户ID查问订单,依照订单期间排序,首先找出用户的一切订双数据,失掉一个订单汇合。

而后在代码中,失掉第一个元素的数据,也就是第一笔订单的数据,以失掉第一笔订单的期间。

Listlist=orderMapper.getOrderList();Orderorder=list.get(0);

只管这种模式在配置上没有疑问,但是十分低效。它须要先查问一切的数据,有点糜费资源。

优化如下:

正确示例

selectid,create_datefromorderwhereuser_id=123orderbycreate_dateasclimit1;

经常使用limit1只前往用户最早的订单期间的数据。

另外,在删除或修负数据时,为了防止误操作造成删除或修正不关系的数据,也可以在SQL语句的开端参与。

updateordersetstatus=0,edit_time=now(3)whereid>=100andid<200limit100;

这样,即使操作失误,例如id失误,也不会影响太多的数据。

6不要在in关键字中经常使用过多的值

关于批量查问接口,通经常常使用in关键字来过滤数据。例如,我想经过一些指定的id批量查问用户消息。

SQL语句如下:

selectid,namefromcategorywhereidin(1,2,3...100000000);

假设不加任何限度,查问语句或许会一次性性查问少量的数据,这很容易造成接口超时。

那么应该怎样做呢?

selectid,namefromcategorywhereidin(1,2,3...100)limit500;

可以在SQL中经常使用limit来限度数据。

不过,咱们更多地是在业务代码中参与限度。伪代码如下:

publicListgetCategory(Listids){if(CollectionUtils.isEmpty(ids)){returnnull;}if(ids.size()>500){thrownewBusinessException("太多了")}returnmapper.getCategoryList(ids);}

另一种处置打算是:假设ids中的记载超越500条,可以经常使用多线程来分批查问数据。每个批次只审核500条记载,最后将查问到的数据聚兼并前往。

但是,这只是一个暂时处置打算,不实用于ids过多的场景。由于ids很多,即使数据可以极速检测,假设前往的数据量过大,网络传输会十分消耗性能,接口性能也不会有太大优化。

7增量查问

有时刻,须要经过远程接口查问数据,而后将其同步到另一个数据库中。

失误示例

select*fromuser;

假设间接失掉所有数据,而后启动同步。只管这样十分繁难,但是带来一个很大的疑问,即假设数据量很大,查问性能会十分差。

select*fromuserwhereid>#{lastId}andcreate_time>=#{lastCreateTime}limit100;

依照id和期间升序,每次只同步一批数据,这批数据只要100条记载。每次同步成功后,保留这100条数据中最大的id和期间,用于同步下一批数据时经常使用。

这种增量查问方法可以提高单次查问的效率。

8高效分页

有时,在列表页面查问数据时,为了防止一次性性前往过少数据影响接口的性能,咱们通常对查问接口启动分页处置。

中罕用于分页的关键字:

selectid,name,agefromuserlimit10,20;

假设表中的数据量较小,经常使用limit关键字启动分页是没有疑问的。但是假设表中的数据量很大,经常使用limit关键字会造成性能疑问。

例如,如今分页参数变为:

selectid,name,agefromuserlimit1000000,20;

MySQL会找到1,000,020条数据,而后摈弃前1,000,000条数据,只查问最后的20条数据,这是一种资源糜费。

那么,如何对这些海量数据启动分页呢?

优化SQL语句:

selectid,name,agefromuserwhereid>1000000limit20;

首先,找到上一页的最大id,而后应用id的索引启动查问。但是,在这种打算中,id须要延续有序。

还可以经常使用启动分页优化。

selectid,name,agefromuserwhereidbetween1000000and1000020;

须要留意的是,between应该在惟一索引上启动分页,否则每页的大小会不分歧。

9经常使用衔接查问代替子查问

假设在MySQL中须要从两个以上的表中查问数据,通常有两种成功方法:子查问和衔接查问。

子查问的示例如下:

select*fromorderwhereuser_idin(selectidfromuserwherestatus=1)

子查问语句可以经过in关键字成功,一个查问语句的条件落在另一个select语句的查问结果之内。程序先运转最内层的嵌套语句,而后再运转外层语句。

子查问语句的好处是,假设触及的表的数量较少,它繁难且结构明晰。

但是,子查问口头时须要创立暂时表,查问成功后须要删除这些暂时表,这会带来一些额外的性能消耗。

这时,可以改为衔接查问。

selecto.*fromorderoinnerjoinuseruono.user_id=u.idwhereu.status=1

10衔接的表不能太多

失误的示例

selecta.name,b.name.c.name,d.namefromainnerjoinbona.id=b.a_idinnerjoinconc.b_id=b.idinnerjoindond.c_id=c.idinnerjoineone.d_id=d.idinnerjoinfonf.e_id=e.idinnerjoingong.f_id=f.id

假设太多,MySQL在选择索引时会变得十分复杂,容易选择失误的索引。

而且假设没有命中,嵌套循环衔接是从两个表中读取一行数据启动逐对比拟,复杂度为n²。

因此,应尽量管理衔接的表数量。

正确的示例

selecta.name,b.name.c.name,a.d_namefromainnerjoinbona.id=b.a_idinnerjoinconc.b_id=b.id

假设在业务场景的成功中须要查问其余表中的数据,可以在a、b、c表中参与冗余的特定字段,例如在表a中参与冗余的d_name字段来保留须要查问的数据。

但是,也有一些ERP系统,只管并发量不大,但业务比拟复杂,须要衔接十几个表来查问数据。

因此,衔接的表数量应依据系统的实践状况来确定,不能一律而论,越少越好。


[转载]SQL数据库如何加快查询速度

[转载:、升级硬件2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。 3、扩大服务器的内存4、增加服务器CPU个数5、对于大的数据库不要设置数据库自动增长,它会降低服务器的性能6、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。 如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。 7、查询时不要返回不需要的行、列8、用select top 100 / 10 Percent 来限制用户返回的行数或者SET ROWCOUNT来限制操作的行9、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数10、一般在GROUP BY 个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。 他们的执行顺序应该如下最优:select的Where字句选择所有合适的行,Group By用来分组个统计行,Having字句用来剔除多余的分组。 这样Group By 个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。 如果Group BY的目的不包括计算,只是分组,那么用Distinct更快11、一次更新多条记录比分多次更新每次一条快,就是说批处理好MS SQL Server查询优化方法查询速度慢的原因很多,常见如下几种1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)2、I/O吞吐量小,形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足5、网络速度慢6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。 9、返回了不必要的行和列10、查询语句不好,没有优化可以通过如下方法来优化查询1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。 数据量(尺寸)越大,提高I/O越重要.2、纵向、横向分割表,减少表的尺寸(sp_spaceuse)3、升级硬件4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。 注意填充因子要适当(最好是使用默认值0)。 索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段5、提高网速;6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。 配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。 运行 Microsoft SQL Server? 2000 时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的 1.5 倍。 如果另外安装了全文检索功能,并打算运行 Microsoft 搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的 3 倍。 将 SQL Server max server memory 服务器配置选项配置为物理内存的 1.5 倍(虚拟内存大小设置的一半)。 7、增加服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。 使用并行还是串行程是MsSQL自动评估选择的。 单个任务分解成多个任务,就可以在处理器上运行。 例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。 但是更新操作 UPDATE,INSERT,DELETE还不能并行处理。 8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like ‘a%‘ 使用索引 like ‘%a‘ 不使用索引用 like ‘%a%‘ 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。 对于字段的值很长的建全文索引。 9、DB Server 和APPLication Server 分离;OLTP和OLAP分离10、分布式分区视图可用于实现数据库服务器联合体。 联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。 这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。 有关更多信息,参见设计联合数据库服务器。 (参照SQL帮助文件‘分区视图‘)a、在实现分区视图之前,必须先水平分区表b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。 这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。 系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。 数据的位置对应用程序是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的:1、 查询语句的词法、语法检查2、 将语句提交给DBMS的查询优化器3、 优化器做代数优化和存取路径的优化4、 由预编译模块生成查询规划5、 然后在合适的时间提交给系统处理执行6、 最后将执行结果返回给用户其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。 12、Commit和rollback的区别 Rollback:回滚所有的事物。 Commit:提交当前的事物. 没有必要在动态SQL里写事物,如果要写请写在外面如: begin tran exec(@s) commit trans 或者将动态SQL 写成函数或者存储过程。 13、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。 如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。 14、SQL的注释申明对执行没有任何影响15、尽可能不使用光标,它占用大量的资源。 如果需要row-by-row地执行,尽量采用非光标技术,如:在客户端循环,用临时表,Table变量,用子查询,用Case语句等等。 游标可以按照它所支持的提取选项进行分类: 只进 必须按照从第一行到最后一行的顺序提取行。 FETCH NEXT 是唯一允许的提取操作,也是默认方式。 可滚动性 可以在游标中任何地方随机提取任意行。 游标的技术在SQL2000下变得功能很强大,他的目的是支持循环。 有四个并发选项READ_ONLY:不允许通过游标定位更新(Update),且在组成结果集的行中没有锁。 OPTIMISTIC WITH valueS:乐观并发控制是事务控制理论的一个标准部分。 乐观并发控制用于这样的情形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行。 当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力。 如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较。 如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误。 如果值是一样的,服务器就执行修改。 选择这个并发选项 OPTIMISTIC WITH ROW VERSIONING:此乐观并发控制选项基于行版本控制。 使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读入游标后是否有所更改。 在 SQL Server 中,这个性能由 timestamp 数据类型提供,它是一个二进制数字,表示数据库中更改的相对顺序。 每个数据库都有一个全局当前时间戳值:@@DBTS。 每次以任何方式更改带有 timestamp 列的行时,SQL Server 先在时间戳列中存储当前的 @@DBTS 值,然后增加 @@DBTS 的值。 如果某 个表具有 timestamp 列,则时间戳会被记到行级。 服务器就可以比较某行的当前时间戳值和上次提取时所存储的时间戳值,从而确定该行是否已更新。 服务器不必比较所有列的值,只需比较 timestamp 列即可。 如果应用程序对没有 timestamp 列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制。 SCROLL LOCKS 这个选项实现悲观并发控制。 在悲观并发控制中,在把数据库的行读入游标结果集时,应用程序将试图锁定数据库行。 在使用服务器游标时,将行读入游标时会在其上放置一个更新锁。 如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁。 如果在事务外打开游标,则提取下一行时,锁就被丢弃。 因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开。 更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行。 然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读取。 滚动锁根据在游标定义的 SELECT 语句中指定的锁提示,这些游标并发选项可以生成滚动锁。 滚动锁在提取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准。 下次提取时,服务器为新提取中的行获取滚动锁,并释放上次提取中行的滚动锁。 滚动锁独立于事务锁,并可以保持到一个提交或回滚操作之后。 如果提交时关闭游标的选项为关,则 COMMIT 语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护对所提取数据的隔离。 所获取滚动锁的类型取决于游标并发选项和游标 SELECT 语句中的锁提示。 锁提示 只读 乐观数值 乐观行版本控制 锁定无提示 未锁定 未锁定 未锁定 更新 NOLOCK 未锁定 未锁定 未锁定 未锁定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 错误 更新 更新 更新 TABLOCKX 错误 未锁定 未锁定 更新其它 未锁定 未锁定 未锁定 更新 *指定 NOLOCK 提示将使指定了该提示的表在游标内是只读的。 16、用Profiler来跟踪查询,得到查询所需的时间,找出SQL的问题所在;用索引优化器优化索引17、注意UNion和UNion all 的区别。 UNION all好18、注意使用DISTINCT,在没有必要时不要用,它同UNION一样会使查询变慢。 重复的记录在查询里是没有问题的19、查询时不要返回不需要的行、列20、用sp_configure ‘query governor cost limit‘或者SET QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源。 当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉。 SET LOCKTIME设置锁的时间10万数据量查询居然要50秒用select top 100 / 10 Percent 来限制用户返回的行数或者SET ROWCOUNT来限制操作的行22、在SQL2000以前,一般不要用如下的字句: IS NULL, <> , !=, !> , ! <, NOT, NOT EXISTS, NOT IN, NOT LIKE, and LIKE ‘%500‘,因为他们不走索引全是表扫描。 也不要在WHere字句中的列名加函数,如Convert,substring等,如果必须用函数的时候,创建计算列再创建索引来替代.还可以变通写法:WHERE SUBSTRING(firstname,1,1) = ‘m‘改为WHERE firstname like ‘m%‘(索引扫描),一定要将函数和列名分开。 并且索引不能建得太多和太大。 NOT IN会多次扫描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 来替代,特别是左连接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,现在2000的优化器能够处理了。 相同的是IS NULL,“NOT, NOT EXISTS, NOT IN能优化她,而” <> ”等还是不能优化,用不到索引。 23、使用Query Analyzer,查看SQL语句的查询计划和评估分析是否是优化的SQL。 一般的20%的代码占据了80%的资源,我们优化的重点是这些慢的地方。 24、如果使用了IN或者OR等时发现查询没有走索引,使用显示申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN (‘男’,‘女’)25、将需要查询的结果预先计算好放在表中,查询的时候再SELECT。 这在SQL7.0以前是最重要的手段。 例如医院的住院费计算。 26、MIN() 和 MAX()能使用到合适的索引27、数据库有一个原则是代码离数据越近越好,所以优先选择Default,依次为Rules,Triggers, Constraint(约束如外健主健CheckUNIQUE……,数据类型的最大长度等等都是约束),Procedure.这样不仅维护工作小,编写程序质量高,并且执行的速度快。 28、如果要插入大的二进制值到Image列,使用存储过程,千万不要用内嵌INsert来插入(不知JAVA是否)。 因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍),服务器受到字符后又将他转换成二进制值.存储过程就没有这些动作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image), 在前台调用这个存储过程传入二进制参数,这样处理速度明显改善。 29、Between在某些时候比IN速度更快,Between能够更快地根据索引找到范围。 用查询优化器可见到差别。 select * from chineseresume where title in (‘男‘,‘女‘) Select * from chineseresume where between ‘男‘ and ‘女‘ 是一样的。 由于in会在比较多次,所以有时会慢些。 30、在必要是对全局或者局部临时表创建索引,有时能够提高速度,但不是一定会这样,因为索引也耗费大量的资源。 他的创建同是实际表一样。 31、不要建没有作用的事物例如产生报表时,浪费资源。 只有在必要使用事物时使用它。 32、用OR的字句可以分解成多个查询,并且通过UNION 连接多个查询。 他们的速度只同是否使用索引有关,如果查询需要用到联合索引,用UNION all执行的效率更高.多个OR的字句没有用到索引,改写成UNION的形式再试图与索引匹配。 一个关键的问题是否用到索引。 33、尽量少用视图,它的效率低。 对视图操作比直接对表操作慢,可以用stored procedure来代替她。 特别的是不要用视图嵌套,嵌套视图增加了寻找原始资料的难度。 我们看视图的本质:它是存放在服务器上的被优化好了的已经产生了查询规划的SQL。 对单个表检索数据时,不要使用指向多个表的视图,直接从表检索或者仅仅包含这个表的视图上读,否则增加了不必要的开销,查询受到干扰.为了加快视图的查询,MsSQL增加了视图索引的功能。 34、没有必要时不要用DISTINCT和ORDER BY,这些动作可以改在客户端执行。 它们增加了额外的开销。 这同UNION 和UNION ALL一样的道理。 SELECT top 20 ,comid,position,,worklocation, convert(varchar(10),,120) as postDate1,workyear,degreedescription FROM jobcn__query ad where referenceID in(‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘, ‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘, ‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘,‘JCNAD‘, ‘JCNAD‘,‘JCNAD‘) order by postdate desc35、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数36、当用SELECT INTO时,它会锁住系统表(sysobjects,sysindexes等等),阻塞其他的连接的存取。 创建临时表时用显示申明语句,而不是 select INTO. drop table t_lxh begin tran select * into t_lxh from chineseresume where name = ‘XYZ‘ --commit 在另一个连接中SELECT * from sysobjects可以看到 SELECT INTO 会锁住系统表,Create table 也会锁系统表(不管是临时表还是系统表)。 所以千万不要在事物内使用它!!!这样的话如果是经常要用的临时表请使用实表,或者临时表变量。 37、一般在GROUP BY 个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。 他们的执行顺序应该如下最优:select 的Where字句选择所有合适的行,Group By用来分组个统计行,Having字句用来剔除多余的分组。 这样Group By 个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。 如果Group BY的目的不包括计算,只是分组,那么用Distinct更快38、一次更新多条记录比分多次更新每次一条快,就是说批处理好39、少用临时表,尽量用结果集和Table类性的变量来代替它,Table 类型的变量比临时表好40、在SQL2000下,计算字段是可以索引的,需要满足的条件如下:a、计算字段的表达是确定的b、不能用在TEXT,Ntext,Image数据类型c、必须配制如下选项 ANSI_NULLS = ON, ANSI_PADDINGS = ON, …….41、尽量将数据的处理工作放在服务器上,减少网络的开销,如使用存储过程。 存储过程是编译好、优化过、并且被组织到一个执行规划里、且存储在数据库中的 SQL语句,是控制流语言的集合,速度当然快。 反复执行的动态SQL,可以使用临时存储过程,该过程(临时表)被放在Tempdb中。 以前由于SQL SERVER对复杂的数学计算不支持,所以不得不将这个工作放在其他的层上而增加网络的开销。 SQL2000支持UDFs,现在支持复杂的数学计算,函数的返回值不要太大,这样的开销很大。 用户自定义函数象光标一样执行的消耗大量的资源,如果返回大的结果采用存储过程42、不要在一句话里再三的使用相同的函数,浪费资源,将结果放在变量里再调用更快43、SELECT COUNT(*)的效率教低,尽量变通他的写法,而EXISTS快.同时请注意区别: select count(Field of null) from Table 和 select count(Field of NOT null) from Table 的返回值是不同的。 44、当服务器的内存够多时,配制线程数量 = 最大连接数+5,这样能发挥最大的效率;否则使用 配制线程数量 <最大连接数启用SQL SERVER的线程池来解决,如果还是数量 = 最大连接数+5,严重的损害服务器的性能。 45、按照一定的次序来访问你的表。 如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们。 如果你(不经意的)某个存储过程中先锁定表B,再锁定表A,这可能就会导致一个死锁。 如果锁定顺序没有被预先详细的设计好,死锁很难被发现46、通过SQL Server Performance Monitor监视相应硬件的负载 Memory: Page Faults / sec计数器如果该值偶尔走高,表明当时有线程竞争内存。 如果持续很高,则内存可能是瓶颈。 Process:1、% DPC Time 指在范例间隔期间处理器用在缓延程序调用(DPC)接收和提供服务的百分比。 (DPC 正在运行的为比标准间隔优先权低的间隔)。 由于 DPC 是以特权模式执行的,DPC 时间的百分比为特权时间 百分比的一部分。 这些时间单独计算并且不属于间隔计算总数的一部 分。 这个总数显示了作为实例时间百分比的平均忙时。 2、%Processor Time计数器如果该参数值持续超过95%,表明瓶颈是CPU。 可以考虑增加一个处理器或换一个更快的处理器。 3、% Privileged Time 指非闲置处理器时间用于特权模式的百分比。 (特权模式是为操作系统组件和操纵硬件驱动程序而设计的一种处理模式。 它允许直接访问硬件和所有内存。 另一种模式为用户模式,它是一种为应用程序、环境分系统和整数分系统设

ORACLE SQL语句优化技术分析

为了让更多的新手受益,我抽空把SQL语句优化部分进行了整理,希望大家一起进步。

一、操作符优化

1、IN 操作符

用IN写出来的SQL的优点是比较容易写及清晰易懂,这比较适合现代软件开发的风格。但是用IN的SQL性能总是比较低的,从Oracle执行的步骤来分析用IN的SQL与不用IN的SQL有以下区别:

ORACLE试图将其转换成多个表的连接,如果转换不成功则先执行IN里面的子查询,再查询外层的表记录,如果转换成功则直接采用多个表的连接方式查询。由此可见用IN的SQL至少多了一个转换的过程。一般的SQL都可以转换成功,但对于含有分组统计等方面的SQL就不能转换了。

推荐方案:在业务密集的SQL当中尽量不采用IN操作符,用EXISTS 方案代替。

2、NOT IN操作符

此操作是强列不推荐使用的,因为它不能应用表的索引。

推荐方案:用NOT EXISTS 方案代替

3、IS NULL 或IS NOT NULL操作(判断字段是否为空)

判断字段是否为空一般是不会应用索引的,因为索引是不索引空值的。

推荐方案:用其它相同功能的操作运算代替,如:a is not null 改为 a0 或a’’等。不允许字段为空,而用一个缺省值代替空值,如申请中状态字段不允许为空,缺省为申请。

4、 及操作符(大于或小于操作符)

大于或小于操作符一般情况下是不用调整的,因为它有索引就会采用索引查找,但有的情况下可以对它进行优化,如一个表有100万记录,一个数值型字段A,30万记录的A=0,30万记录的A=1,39万记录的A=2,1万记录的A=3。那么执行A2与A=3的效果就有很大的区别了,因为A2时ORACLE会先找出为2的记录索引再进行比较,而A=3时ORACLE则直接找到=3的记录索引。

5、LIKE操作符

LIKE操作符可以应用通配符查询,里面的通配符组合可能达到几乎是任意的查询,但是如果用得不好则会产生性能上的问题,如LIKE ‘%5400%’ 这种查询不会引用索引,而LIKE ‘X5400%’则会引用范围索引。

一个实际例子:用YW_YHJBQK表中营业编号后面的户标识号可来查询营业编号 YY_BH LIKE ‘%5400%’ 这个条件会产生全表扫描,如果改成YY_BH LIKE ’X5400%’ OR YY_BH LIKE ’B5400%’ 则会利用YY_BH的索引进行两个范围的查询,性能肯定大大提高。

6、UNION操作符

UNION在进行表链接后会筛选掉重复的记录,所以在表链接后会对所产生的结果集进行排序运算,删除重复的记录再返回结果。实际大部分应用中是不会产生重复的记录,最常见的是过程表与历史表UNION。如: select * from gc_dfys union select * from ls_jg_dfys 这个SQL在运行时先取出两个表的结果,再用排序空间进行排序删除重复的记录,最后返回结果集,如果表数据量大的话可能会导致用磁盘进行排序。

推荐方案:采用UNION ALL操作符替代UNION,因为UNION ALL操作只是简单的将两个结果合并后就返回。

select * from gc_dfys union all select * from ls_jg_dfys

二、SQL书写的影响

1、同一功能同一性能不同写法SQL的影响。

如一个SQL在A程序员写的为 Select * from zl_yhjbqk

B程序员写的为 Select * from _yhjbqk(带表所有者的前缀)

C程序员写的为 Select * from (大写表名)

D程序员写的为 Select * from (中间多了空格)

以上四个SQL在ORACLE分析整理之后产生的结果及执行的时间是一样的,但是从ORACLE共享内存SGA的原理,可以得出ORACLE对每个SQL 都会对其进行一次分析,并且占用共享内存,如果将SQL的字符串及格式写得完全相同,则ORACLE只会分析一次,共享内存也只会留下一次的分析结果,这不仅可以减少分析SQL的时间,而且可以减少共享内存重复的信息,ORACLE也可以准确统计SQL的执行频率。

2、WHERE后面的条件顺序影响

WHERE子句后面的条件顺序对大数据量表的查询会产生直接的影响。如: Select * from zl_yhjbqk where dy_dj = 1KV以下 and xh_bz=1 Select * from zl_yhjbqk where xh_bz=1 and dy_dj = 1KV以下 以上两个SQL中dy_dj(电压等级)及xh_bz(销户标志)两个字段都没进行索引,所以执行的时候都是全表扫描,第一条SQL的dy_dj = 1KV以下条件在记录集内比率为99%,而xh_bz=1的比率只为0.5%,在进行第一条SQL的时候99%条记录都进行dy_dj及xh_bz的比较,而在进行第二条SQL的时候0.5%条记录都进行dy_dj及xh_bz的比较,以此可以得出第二条SQL的CPU占用率明显比第一条低。

3、查询表顺序的影响

在FROM后面的表中的列表顺序会对SQL执行性能影响,在没有索引及ORACLE没有对表进行统计分析的情况下,ORACLE会按表出现的顺序进行链接,由此可见表的顺序不对时会产生十分耗服物器资源的数据交叉。(注:如果对表进行了统计分析,ORACLE会自动先进小表的链接,再进行大表的链接)

三、SQL语句索引的利用

1、操作符优化(同上)

2、对条件字段的一些优化

采用函数处理的字段不能利用索引,如:

substr(hbs_bh,1,4)=’5400’,优化处理:hbs_bh like ‘5400%’

trunc(sk_rq)=trunc(sysdate), 优化处理:sk_rq=trunc(sysdate) and sk_rqtrunc(sysdate+1)

进行了显式或隐式的运算的字段不能进行索引,如:ss_df+2050,优化处理:ss_df30

‘X’ || hbs_bh’X’,优化处理:hbs_bh’’

sk_rq+5=sysdate,优化处理:sk_rq=sysdate-5

hbs_bh=,优化处理:hbs_bh=’ ’,注:此条件对hbs_bh 进行隐式的to_number转换,因为hbs_bh字段是字符型。

条件内包括了多个本表的字段运算时不能进行索引,如:ys_dfcx_df,无法进行优化 qc_bh || kh_bh=’’,优化处理:qc_bh=’5400’ and kh_bh=’’

四、其他

ORACLE的提示功能是比较强的功能,也是比较复杂的应用,并且提示只是给ORACLE执行的一个建议,有时如果出于成本方面的考虑ORACLE也可能不会按提示进行。根据实践应用,一般不建议开发人员应用ORACLE提示,因为各个数据库及服务器性能情况不一样,很可能一个地方性能提升了,但另一个地方却下降了,ORACLE在SQL执行分析方面已经比较成熟,如果分析执行的路径不对首先应在数据库结构(主要是索引)、服务器当前性能(共享内存、磁盘文件碎片)、数据库对象(表、索引)统计信息是否正确这几方面分析。

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: 优化SQL