衡量企业应用数据库性能的6大指标 -pg电子游戏网站

1顶
1踩

【编者按】本文作者是 omed habib,在其职业生涯中花费了大量的时间不断探索一些新方法以提高大型 web 应用的性能状况。本篇文章中,作者详细介绍了数据库的六大性能指标,帮助我们更好对数据库性能进行评估和改进。

在前一篇文章中,我们曾对 sql 和非 sql 进行过简要介绍。本文基于这些主题,通过回顾最重要的六个性能指标,帮助评估企业应用数据库的健康状况。

具体来说,本文包括以下内容:
  • 事务
  • 查询性能
  • 用户和查询冲突
  • 容量
  • 配置
  • nosql 数据库

事务

事务可以观察真实用户的行为:能够在应用交互时捕获实时性能。众所周知,测量事务的性能包括获取整个事务的响应时间和组成事务的各个部分的响应时间。通常我们可以用这些响应时间与满足事务需求的基线对比,来确定当前事务是否处于正常状态。

如果你只想衡量应用的某个方面,那么可以评估事务的行为。所以,尽管容器指标能够提供更丰富的信息,并且帮助你决定何时对当前环境进行自动测量,但你的事务就足以确定应用性能。无需向应用程序服务器获取 cpu 的使用情况,你更应该关心用户是否完成了事务,以及该事务是否得到了优化。

补充一个小知识点,事务是由入口点决定的,通过该入口点可以启动事务与应用进行交互。

一旦定义了事务,会在整个应用生态系统中对其性能进行测量,并将每个事务与基线进行比对。例如,我们可能会决定当事务的响应时间与基线相比,一旦慢于平均响应时间的两个标准差是否就应该判定为异常,如图1所示。



图1-基于基线评估当前事务响应时间

用于评估事务的基线与正在进行的事务活动在时间上是一致的,但事务会由每个事务执行来完善。例如,当你选定一个基线,在当前事务结束之后,将事务与平均响应时间按每天的小时数和每周的天数进行对比,所有在那段时间内执行的事务都将会被纳入下周的基线中。通过这种机制,应用程序可以随时间而变化,而无需每次都重建原始基线;你可以将其看作是一个随时间移动的窗口。

总之,事务最能反映用户体验的测量方法,所以也是衡量性能状况最重要的指标。

查询性能
最容易检测到查询性能是否正常的指标就是查询本身。由查询引起的问题可能会导致时间太长而无法识别所需数据或返回数据。所以不妨在查询中排查以下问题。

1. 选择过多冗余数据

编写查询语句来返回适当的数据是远远不够的,很可能你的查询语句会返回太多列,从而导致选择行和检索数据变得异常缓慢。所以,最好是列出所需的列,而不是直接用 select*。当需要在特定字段中查询时,该计划可能会确定一个覆盖索引从而加快结果返回。覆盖索引通常会包含查询中使用的所有字段。这意味着数据库可以仅从索引中产生结果,而不需要通过底层表来构建。

另外,列出结果中所需的列不仅可以减少传输的数据,还能进一步提高性能。

2. 表之间的低效联接

联接会导致数据库将多组数据带到内存中进行比较,这会产生多个数据库读取和大量 cpu。根据表的索引,联接还可能需要扫描两个表的所有行。如果写不好两个大型表之间的联接,就需要对每个表进行完整扫描,这样的计算量将会非常大。其他会拖慢联接的因素包括联接列之间存在不同的数据类型、需要转换或加入包含 like 的条件,这样就会阻止使用索引。另外,还需注意避免使用全外联接;在恰当的时候使用内部联接只返回所需数据。

3. 索引过多或过少

如果查询优化没有可用的索引时,数据库会重新扫描表来产生查询结果,这个过程会生成大量的磁盘输入/输出(i/o)。适当的索引可以减少排序结果的需要。虽然非唯一值的索引在生成结果时,不能像唯一索引那样方便。如果键越大,索引也会变大,并通过它们创建更多的磁盘 i/o。大多数索引是为了提高数据检索的性能,但也需要明白索引本身也会影响数据的插入和更新,因为所有相关联的指标都必须更新。

4. 太多的sql导致争用解析资源

任何 sql 查询在执行之前都必须被解析,在生成执行计划之前需要对语法和权限进行检查。由于解析非常耗时,数据库会保存已解析的 sql 来重复利用,从而减少解析的耗时。因为 where 语句不同,所以使用文本值的查询语句不能被共享。这将导致每个查询都会被解析并添加到共享池中,由于池的空间有限,一些已保存的查询会被舍弃。当这些查询再次出现时,则需要重新解析。

用户和查询冲突
数据库支持多用户,但多用户活动也可能造成冲突。

1. 由慢查询导致的页/行锁定

为了确保查询产生精确的结果,数据库必须锁定表以防止在运行读取查询时再发生其他的插入和更新行为。如果报告或查询相当缓慢,需要修改值的用户可能需要等待至更新完成。锁提示能帮助数据库使用最小破坏性的锁。从事务数据库中分离报表也是一种可靠的解决方法。

2. 事务锁和死锁

当两个事务被阻塞时会出现死锁,因为每一个都需要使用被另一个占用的资源。当出现一个普通锁时,事务会被阻塞直到资源被释放。但却没有解决死锁的方案。数据库会监控死锁并选择终止其中一个事务,释放资源并允许该事务继续进行,而另一个事务则回滚。

3. 批处理操作造成资源争夺

批处理过程通常会执行批量操作,如大量的数据加载或生成复杂的分析报告。这些操作是资源密集型的,但可能影响在线用户的访问应用的性能。针对此问题最好的解决办法是确保批处理在系统使用率较低时运行,比如晚上,或用单独的数据库进行事务处理和分析报告。

容量
并不是所有的数据库性能问题都是数据库问题。有些问题也是硬件不合适造成的。

1. cpu 不足或 cpu 速度太慢

更多 cpu 可以分担服务器负载,进一步提高性能。数据库的性能不仅是数据库的原因,还受到服务器上运行其他进程的影响。因此,对数据库负载及使用进行审查也是必不可少的。由于 cpu 的利用率时时在变,在低使用率、平均使用率和峰值使用率的时间段分别检查该指标可以更好地评估增加额外的 cpu 资源是否有益。

2. iops 不足的慢磁盘

磁盘性能通常以每秒输入/输出操作(iops)来计。结合 i/o 大小,该指标可以衡量每秒的磁盘吞吐量是多少兆。同时,吞吐量也受磁盘的延迟影响,比如需要多久才能完成请求,这些指标主要是针对磁盘存储技术而言。传统的硬盘驱动器(hdd)有一个旋转磁盘,通常比固态硬盘(ssd)或闪存更慢。直到近期,ssd 虽然仍比 hdd 贵,但成本已经降了下来,所以在市场上也更具竞争力。

3. 全部或错误配置的磁盘

众所周知,数据库会被大量磁盘访问,所以不正确配置的磁盘可能带来严重的性能缺陷。磁盘应该适当分区,将系统数据目录和用户数据日志分开。高度活跃的表应该区分以避免争用,通过在不同磁盘上存放数据库和索引增加并行放置,但不要将操作系统和数据库交换空间放置在同一磁盘上。

4. 内存不足

有限或不恰当的物理内存分配会影响数据库性能。通常我们认为可用的内存更多,性能就越好。监控分页和交换,在多个非繁忙磁盘中建立多页面空间,进一步确保分页空间分配足够满足数据库要求;每个数据库供应商也可以在这个问题上提供指导。

5. 网速慢

网络速度会影响到如何快速检索数据并返回给终端用户或调用过程。使用宽带连接到远程数据库。在某些情况下,选择 tcp/ip 协议而不是命名管道可显著提高数据库性能。

配置

每个数据库都需设置大量的配置项。通常情况下,默认值可能不足以满足数据库所需的性能。所以,检查所有的参数设置,包括以下问题。

1. 缓冲区缓存太小

通过将数据存储在内核内存,缓冲区缓存可以进一步提高性能同时减少磁盘 i/o。当缓存太小时,缓存中的数据会更频繁地刷新。如果它再次被请求,就必须从磁盘重读。除了磁盘读取缓慢之外,还给 i/o 设备增添了负担从而成为瓶颈。除了给缓冲区缓存分配足够的空间,调优 sql 查询可以帮助其更有效地利用缓冲区缓存。

2. 没有查询缓存

查询缓存会存储数据库查询和结果集。当执行相同的查询时,数据会在缓存中被迅速检索,而不需要再次执行查询。数据会更新失效结果,所以查询缓存是唯一有效的静态数据。但在某些情况下,查询缓存却可能成为性能瓶颈。比如当锁定为更新时,巨大的缓存可能导致争用冲突。

3. 磁盘上临时表创建导致的 i/o 争用

在执行特定的查询操作时,数据库需要创建临时表,如执行一个 group by 子句。如果可能,在内存中创建临时表。但是,在某些情况下,在内存中创建临时表并不可行,比如当数据包含 blob 或 text 对象时。在这些情况下,会在磁盘上创建临时表。大量的磁盘 i / o 都需要创建临时表、填充记录、从表中选择所需数据并在查询完成后舍弃。为了避免影响性能,临时数据库应该从主数据库中分离出来。重写查询还可以通过创建派生表来减少对临时表的需求。使用派生表直接从另一个 select 语句的结果中选择,允许将数据加到内存中而不是当前磁盘上。

nosql 数据库

nosql 的优势在于它处理大数据的能力非常迅速。但是在实际使用中,也应该综合参考 nosql 的缺点,从而决定是否适合你的用例场景。这就是为什么nosql通常被理解为 「不仅仅是 sql」,说明了 nosql 并不总是正确的pg电子游戏网站的解决方案,也没必要完全取代 sql,以下分别列举出五大主要原因。

1. 挑剔事务

难以保持 nosql 条目的一致性。当访问结构化数据时,它并不能完全确保同一时间对不同表的更改都生效。如果某个过程发生崩溃,表可能会不一致。一致事务的典型代表是复式记账法。相应的信贷必须平衡每个借方,反之亦然。如果双方数据不一致则不能输入。nosql 则可能无法保证「收支平衡」。

2. 复杂数据库

nosql 的支持者往往以高效代码、简单性和 nosql 的速度为傲。当数据库任务很简单时,所有这些因素都是优势。但当数据库变得复杂,nosql 会开始分解。此时,sql 则比 nosql 更好地处理复杂需求,因为 sql 已经成熟,有符合行业标准的接口。而每个 nosql 设置都有一个唯一的接口。

3. 一致联接

当执行 sql 的联接时,由于系统必须从不同的表中提取数据进行键对齐,所以有一个巨大的开销。而 nosql 似乎是一个空想,因为缺乏联接功能。所有的数据都在同一个表的一个地方。当检索数据时,它会同时提取所有的键值对。问题在于这会创建同一数据的多个副本。这些副本也必须更新,而这种情况下,nosql 没有功能来确保更新。

4. schema设计的灵活性

由于 nosql 不需要 schema,所以在某些情况下也是独一无二的。在以前的数据库模型中,程序员必须考虑所有需要的列能够扩展,能够适应每行的数据条目。在 nosql 下,条目可以有多种字符串或者完全没有。这种灵活性允许程序员迅速增加数据。但是,也可能存在问题,比如当有多个团体在同一项目上工作时,或者新的开发团队接手一个项目时。开发人员能够自由地修改数据库,也可能会不断实现各种各样的密钥对。

5. 资源密集型

nosql 数据库通常比关系数据库更加资源密集。他们需要更多的 cpu 储备和 ram 分配。出于这个原因,大多数共享主机公司都不提供 nosql。你必须注册一个 vps 或运行自己的专用服务器。另一方面,sql 主要是在服务器上运行。初期的工作都很顺利,但随着数据库需求的增加,硬件必须扩大。单个大型服务器比多个小型服务器昂贵得多,价格呈指数增长。所以在这种企业计算场景下,使用 nosql 更为划算,例如那些由谷歌和 facebook 使用的服务器。

总结

本文主要介绍了评估数据库状况时需要考量的六个最主要的因素:
  • 事务
  • 查询性能
  • 用户和查询冲突
  • 容量
  • 配置
  • nosql 数据库

原文链接:https://dzone.com/articles/top-6-database-performance-metrics-to-monitor-in-e(译者:oneapm工程师)
译文来自:
  • 大小: 127.2 kb
来自:
1
1
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • php学习心得 php初学者 实用 快速入门版

  • php基础

  • php 是弱类型语言,变量在声明时不需要定义数据类型,php 会根据变量的值,自动为变量设置数据类型。php,全称 "hypertext preprocessor",是一种流行的通用开源脚本语言,特别适合于 web 开发。php 可以用来处理表单,存取和修改数据库信息,跟踪用户,甚至可以用来创建图片。学习 php 需要实践和时间,但一旦你掌握了基础知识,你就可以开始创建动态和互动的网页。在 php 中,提供了两种类型的函数:内置函数和用户自定义函数。php 可以连接到各种数据库,最常见的是 mysql。

  • php标签1. 标准写法: 2. 短标签形式( sgml 形式)标签 3. 编译 php 时,选择 -- enable - short - tags 配置选项 4. 或在 php . ini 文件设置 short_open_tag 为 on。php 配置文件中必须禁用此选项防止解析 xml ,因为相同的语法适用于 xml 标记。

  • ==2021/3/6 星期六== 很久没写过博客了,发现很多地方用php会很省事,决定学习一下php。写完php语法发现篇幅较长,所以准备再写一个[php进阶篇]() * php的许多内容可以查阅[php官方手册](www.php.net/manual/zh/manual.php)

  •                                                  php的学习路线 第一阶段:网页入门 1)html(掌握) html文本排版、表格和超级链接、表单和框架 2)css css语法与属性、盒子模型、div css布局 3)html5 css3(掌握) html5、css3 4)bootstrap(重点) bootstrap的布署、全局css样式、c...

  • 在线学习系统的主要使用者分为管理员和学生、教师,实现功能包括管理员:pg电子游戏网站首页、个人中心、教师管理、学生管理、学习天地管理、学习资料管理、学习论坛、系统管理、订单管理、考试管理,学生:pg电子游戏网站首页、个人中心、教师管理、学生管理、学习天地管理、学习资料管理、师生交流管理、系统管理、考试管理,教师;|---|---static 存放静态资源 css、js、img。|---|-----|---controller 控制器。|---|-----|---model 数据模型。|---|-----|---view 页面。

  • 1、多阅读手册和源代码没什么比阅读手册更值得强调的事了–仅仅通过阅读手册你就可以学习到很多东西,特别是很多有关于字符串和数组的函数。就在这些函数里面包括许多有用的功能,如果你仔细阅读手册,你会经常发现在以往的项目开发过程中,很多时候你在“重复发明轮子”,而实际上你只需要一个核心函数就可以完成相应的功能。手册是你的朋友。另外,现在有很多使用php开发的开源程序。为什么不去学习和借鉴呢?下载一份开源的...

  • 教学课程 http://www.hzyaoyi.cn/php/ (01)新闻管理系统 https://ke.qq.com/course/3419424 (02)电子商务商城购物网站 https://ke.qq.com/course/3419423 (03)个人音乐播放器网站系统 https://ke.qq.com/course/3450512 (04)音乐播放器平台网站 https://ke.qq.com/course/3451110 (05)公司企业网站系统 ...

  • str字符串,define常量,require文件引入,pcre正则表达式,array数组,mysqli连接数据库。。。

  • 一、简介 php是在服务器端运行的脚本语言,可以快速写成动态的网页;常用的有lamp与wamp组合 静态网页与动态网页 静态网页特点: 1、每个网页内容都在服务器上,每个网页都是独立的存在; 2、容易被搜索引擎检索。相对稳定; 3.、没有数据库支持,维护难度大; 4、交互性差,功能方面限制大; 动态网页特点: 1、交互性好,会根据用户的要求进行改变; 2、自动更新; 3、不同用户访问同一网页会出现不同页面; 二、php语法 php标记: <%代码%> //asp风格 <?ph

  • 本篇文章的目的是想较全面地推荐10本[url=http://www.kubiji.cn/forum-id260.html]php[/url]书籍,暂不讨论[url=http://www.kubiji.cn/forum-id259.html]linux[/url]/nginx/[url=http://www.kubiji.cn/forum-id266.html]mysql[/url]等其他丛书。 ...

  •   我对博闻视点所推出的技术类图书一向很看好。有幸又看到了由周老师组织出版的《php权威编程》一书,相信周老师所带领的团队缔造的结晶绝非凡品。另外图书的作者是php5 首席设计师andi gutmans、pear 创始人stig saether bakken、php 核心贡献者derick三位业内大师级的人物。所有这些,说其权威性一点也不为过。  本人使用过的开发语言比较杂一些,对vb、a

  • 1.《php与mysql程序设计》 --php与mysql的经典之作,该书既有基础部分,又有深层次的东西。 2.《细说php》 --介绍php开发中最主流的技术,内容既实用又全面,辅以视频教程,使读者轻松掌握所学知识。 3.《php web 2.0 开发实战》 --该书适合中、高级的php程序员阅读。 4.《php高级程序设计:模式、框架

  • 以下内容来自不同网站综合 零基础入门php 致php路上的“年轻人” php的学习规划建议 php入门篇 php环境lamp/lnmp安装与配置 php基础学习 之 字符串操作 php基础学习 之 函数篇 php基础学习 之 类与面向对象 php基础学习 之 常量定义 php基础学习 之 数组篇 php变量的内存管理 php7的基本变量 php7.0新特性 php 正则表达式 mysql基础学习笔记 php与mysql关系大揭秘 合格php工程师的知识结构 php程序‘猿

  • 前端:1、javascript高级程序设计(对js有一个全面的了解)2、锋利的jquery(它可以告诉你怎么用jquery更好)3、html和css这个我还没有真心看过什么好书,有什么好书大家推荐一下啊后端:1、深入php:面向对象、模式与实践(可以提升你编程到架构层次)2、高性能php应用开发(教你怎么优化你的网站)3、php经典实例(让你参考别人是如何实现的)服务器:1、鸟哥的私房菜(这个是l...

  • php学习的小伙伴么,看看这个图。怎么学习php,php大神

  • 知乎上看到一题主询问:"自学php有哪些书籍和教程值得推荐?",互联网深度屌丝秦风给出了不错的答案,希望能够帮助自学php的朋友们。 以下仅供参考: 尤其不认可w3school之类的东西,不够深度,理解不深,比起这个更建议看官方文档,中文不清楚,看英文的。 入门视频: 入门视频推荐:哈佛大学公开课:构建动态网站 beginner php and mysql ...

global site tag (gtag.js) - google analytics
网站地图