Monthly Archives: December 2020

在这次数据技术嘉年华大会上，我和大家分享的主题是Oracle的In Memory新特性。In Memory特性是Oracle12c推出的三个重大新特性之一，通过引入内存中独立的列存区域，可以大幅度提升查询性能。 这次的主题主要从四个方面展开，首先介绍In Memory的基础架构，Oracle采用什么的架构来支持In Memory内存区域的存储和查询访问。 在正式开始之前，首先把一些易混的概念梳理清楚，Oracle中有太多的内存缓存组件，简单介绍一下各自的功能和差异。DB Cache是数据块的缓存，日常的增删改查都需要先将数据保存到这个区域，而DB Cache又跟据使用差异的不同分为Default、Keep和Recycle三个区域，Cache是表的属性，可以控制读取表数据的时候放到LRU链表的位置；Result Cache是11g引入的功能，可以直接将SELECT的查询结果或FUNCTION的返回结果缓存下来，再次访问的时候，如果依赖的对象没有发生过修改，可以不再进行查询或调用，而是直接返回Result Cache中缓存的结果；Memoptimize功能是在18和19中分别针对非常频繁的读表和写表进行的优化，通过设置独立的内存区域来加速对应的访问；Timesten是Oracle的独立的内存数据库，用来针对超高速的OLTP的请求，其独立部署支撑的TPS最高记录已经突破1亿；最后登场的就是今天要介绍的重点Oracle Database InMemory选件。 Oracle的In Memory功能并不是原有功能的替换，而是新功能的叠加，也就是说在保留DB Cache读写全部的功能的基础上增加了额外的列存区域。Oracle针对In Memory的访问同样提供了事务性，也就是针对列存区域的访问，ACID的功能同样是提供的。而且Oracle针对In Memory的使用已经彻底做到了CBO自动判断，证明这个功能已经相对成熟。 简单说明In Memory是如何提供事务一致性访问的，当DML修改DB Cache的数据块时，In Memory区域并不会同步修改，但是Oracle通过在对应行上打标记的方式通知In Memory，这里存在修改的数据，同时将DML的修改同步到In Memory的独立日志区。在查询访问时，访问In Memory区域之后，还需要访问日志区，将其中的DML修改Merge到列存读取的结果上，从而提供一致性的访问。 介绍完了In Memory的架构，下面来看看In Memory的性能优势和功能： In Memory对于查询访问的提升主要来自三个方面，除了内存访问带来的数据扫描的性能提升外，还可以配合星形查询转换以及布隆过滤等大幅度提升表连接的性能，此外In Memory对于聚集操作也有明显的性能提升。 In Memory除了可以加速表中列的访问速度，对于虚拟列或表达式计算也可以进行加速，使用内存表达式加速有用户定义虚拟列或Oracle自动检测两种方式。 由于系统中内存的容量总是有限的，In Memory除了提供压缩算法来降低内存的使用外，还可以配合12c的新特性Heatmap和ILM来自动完成数据段在In Memory内存中的生命周期管理。 由于In Memory的数据来源与存储在数据文件中的行格式，因此重启过程中会需要读取大量的数据到内存区。Oracle提供了加速这个过程的功能，通过设置独立的In Memory快速启动表空间，使得Oracle把列存的数据直接保存在表空间中的SECURE FILE … Continue reading →