登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 业界 ›Oracle 23ai TPC-H 测试环境部署

Oracle 23ai TPC-H 测试环境部署

劳暄美 2025-6-4 22:39:46
最近，我在 Oracle Database 23ai 上进行了 TPC-H 100GB 测试，并整理了完整的实施步骤和优化经验。如果你也想评估 Oracle 数据库在决策支持场景下的性能，可以参考我的步骤快速上手。
1. 环境准备

在开始测试之前，先介绍下本次测试环境基本情况：

  • 数据库版本：Oracle Database 23ai
  • 存储：500GB 可用硬盘空间（存放临时文件、数据和索引表空间等）
  • 内存：32GB
  • CPU：4核处理器（优化并行查询）
  • 操作系统：Oracle Linux 8.10（或 RHEL 兼容版本）
首先要确定在此环境成功安装了23ai数据库，安装数据库的具体步骤如果不清楚可参考《在OCI上快速静默安装23ai数据库》。
需要注意23ai只支持多租户架构，所以我这里测试是在ALFRED的租户下，在这个租户中新建一个tpch测试用户，用户的默认表空间指定为TBS_ALFRED，另外，再建立一个专门存放索引的表空间TBS_ALFRED_INDEX用于后续优化。
  1. alter session set container=ALFRED;
  3. --TABLESPACE:tbs_alfred,120G
  4. create tablespace tbs_alfred datafile '/u01/app/oracle/oradata/DEMO/alfred/tbs_alfred01.dbf' size 30G;
  5. --增加数据文件时报错，发现23ai默认创建的就是大文件表空间，那就直接resize 150G(避坑，这里大方点儿，之前我给了120G发现都不够..)
  6. ALTER DATABASE DATAFILE '/u01/app/oracle/oradata/DEMO/alfred/tbs_alfred01.dbf' RESIZE 150G;
  8. --TABLESPACE:tbs_alfred_index,60G,直接size指定
  9. create tablespace tbs_alfred_index datafile '/u01/app/oracle/oradata/DEMO/alfred/tbs_alfred_index01.dbf' size 60G;
  11. --创建测试用户tpch，并指定默认表空间为tbs_alfred，赋基本权限
  12. create user tpch identified by tpch default tablespace tbs_alfred;
  13. grant connect, resource to tpch;
  14. ALTER USER TPCH QUOTA UNLIMITED ON TBS_ALFRED;
  15. ALTER USER TPCH QUOTA UNLIMITED ON TBS_ALFRED_INDEX;
复制代码
这里创建数据文件时，同时监控看到，目前这套测试环境的IO能力并不强，极限也就是每秒200多M的写入。
为了方便后续测试，顺手配置sqlplus能够直接连接到PDB：
  1. # 配置PDB连接，更新tnsnames.ora后测试连接OK
  2. vi /u01/app/oracle/product/23.0.0/db_1/network/admin/tnsnames.ora
  3. sqlplus tpch/tpch@alfred
复制代码
2. 下载并安装 TPC-H 工具

TPC 组织官方提供 TPC-H Tools，包括：

  • DBGEN：生成测试数据（8 张表的 .tbl 数据文件）
  • QGEN：生成 SQL 查询（TPC-H 22 条查询语句）
(1) 下载 TPC-H 工具

从 TPC 官网 tpc.org 下载 TPC-H 工具包：

  • https://www.tpc.org/

  • 访问 TPC-H 下载页面
  • 选择 TPC-H Tools，下载 TPC-H_Tools_v3.0.1.zip
1.png

这里需要免费注册下，系统会发给你留的邮箱发送一个下载链接，注意这个链接只能下载一次，且有时间限制：
2.png


  • 下载成功后解压：(这里用oracle用户解压，方便测试，对于压测类工具个人习惯是放在介质目录/u01/media下)
    1. unzip TPC-H_Tools_v3.0.1.zip
    2. cd TPC-H V3.0.1
    复制代码
(2) 编译 DBGEN 和 QGEN

TPC-H 需要手动配置 makefile.suite，以指定 数据库类型 和 系统环境。
修改 Makefile

编辑 dbgen 目录下的 makefile.suite，实测只需搜索并修改以下行内容即可：
  1. CC=gcc
  2. DATABASE=ORACLE
  3. MACHINE=LINUX
  4. WORKLOAD=TPCH
复制代码
编译

执行make命令进行编译：
  1. make -f makefile.suite
复制代码
成功后，当前目录下会生成：

  • dbgen（用于生成数据）
  • qgen（用于生成查询 SQL）
3. 生成 100GB TPC-H 数据

TPC-H 允许不同规模的数据集，我这里选择 100GB（Scale Factor = 100）：
  1. # vi dbgen100.sh
  2. time ./dbgen -s 100 -vf
复制代码
100G也不小了，所以我这里担心时间过长，因此记录下时间，并把它放到后台执行防止期间中断：
  1. nohup sh dbgen100.sh &
复制代码
生成的数据文件包括，可使用命令 ls -lrth *.tbl 查看，直观的了解下各个表大小：
  1. [oracle@dbtest dbgen]$ ls -lrth *.tbl
  2. -rw-r--r--. 1 oracle oinstall 137M Mar  6 09:31 supplier.tbl
  3. -rw-r--r--. 1 oracle oinstall  389 Mar  6 09:31 region.tbl
  4. -rw-r--r--. 1 oracle oinstall 2.3G Mar  6 09:31 part.tbl
  5. -rw-r--r--. 1 oracle oinstall  12G Mar  6 09:31 partsupp.tbl
  6. -rw-r--r--. 1 oracle oinstall  17G Mar  6 09:31 orders.tbl
  7. -rw-r--r--. 1 oracle oinstall 2.2K Mar  6 09:31 nation.tbl
  8. -rw-r--r--. 1 oracle oinstall  75G Mar  6 09:31 lineitem.tbl
  9. -rw-r--r--. 1 oracle oinstall 2.3G Mar  6 09:31 customer.tbl
复制代码
后续优化建议：

  • 可以考虑拆分文件，dbgen支持拆分文件，这样同时可方便并行导入，本次100G的测试体量还OK，暂时就先这样。
4. 在 Oracle 数据库 23ai 中创建 TPC-H 表

TPC-H 提供了 dss.ddl，可以直接创建 8 张表。
这样基础测试基本不用改dss.ddl内容，默认表创建就会在TBS_ALFRED表空间中。
第一轮测试不做优化调整类工作。
另外特别提下，脚本中的字段类型定义，比如INTEGER、VARCHAR这些，并不需要手工改为NUMBER和VARCHAR2类型，Oracle自己就会做这个工作，直接执行创建即可，执行完可以desc检查下表结构。
后续优化建议：

  • 评估使用 分区表 是否可以提高查询性能，比如针对最大的几张表：lineitem、orders、partsupp，有没有合适的分区方式。
5. 使用 SQL*Loader 批量加载数据

TPC-H 生成的 .tbl 文件需要导入到 Oracle 数据库。我使用 SQL*Loader 进行高效批量导入。

  • 创建sqlldr导入所需要控制文件：
    对应测试的8张表，每张表单独一个控制文件，这里我故意将控制文件名字大写，更便于区分：
  1. --1. vi NATION.ctl
  2. LOAD DATA
  3. INFILE 'nation.tbl'
  4. INTO TABLE NATION
  5. TRUNCATE
  6. FIELDS TERMINATED BY '|'
  7. (
  8.     N_NATIONKEY    INTEGER EXTERNAL,
  9.     N_NAME         CHAR(25),
  10.     N_REGIONKEY    INTEGER EXTERNAL,
  11.     N_COMMENT      CHAR(152)
  12. )
  14. --2. vi REGION.ctl
  15. LOAD DATA
  16. INFILE 'region.tbl'
  17. INTO TABLE REGION
  18. TRUNCATE
  19. FIELDS TERMINATED BY '|'
  20. (
  21.     R_REGIONKEY    INTEGER EXTERNAL,
  22.     R_NAME         CHAR(25),
  23.     R_COMMENT      CHAR(152)
  24. )
  26. --3. vi SUPPLIER.ctl
  27. LOAD DATA
  28. INFILE 'supplier.tbl'
  29. INTO TABLE SUPPLIER
  30. TRUNCATE
  31. FIELDS TERMINATED BY '|'
  32. (
  33.     S_SUPPKEY     INTEGER EXTERNAL,
  34.     S_NAME        CHAR(25),
  35.     S_ADDRESS     CHAR(40),
  36.     S_NATIONKEY   INTEGER EXTERNAL,
  37.     S_PHONE       CHAR(15),
  38.     S_ACCTBAL     DECIMAL EXTERNAL,
  39.     S_COMMENT     CHAR(101)
  40. )
  42. --4. vi PART.ctl
  43. LOAD DATA
  44. INFILE 'part.tbl'
  45. INTO TABLE PART
  46. TRUNCATE
  47. FIELDS TERMINATED BY '|'
  48. (
  49.     P_PARTKEY     INTEGER EXTERNAL,
  50.     P_NAME        CHAR(55),
  51.     P_MFGR        CHAR(25),
  52.     P_BRAND       CHAR(10),
  53.     P_TYPE        CHAR(25),
  54.     P_SIZE        INTEGER EXTERNAL,
  55.     P_CONTAINER   CHAR(10),
  56.     P_RETAILPRICE DECIMAL EXTERNAL,
  57.     P_COMMENT     CHAR(23)
  58. )
  60. --5. vi PARTSUPP.ctl
  61. LOAD DATA
  62. INFILE 'partsupp.tbl'
  63. INTO TABLE PARTSUPP
  64. TRUNCATE
  65. FIELDS TERMINATED BY '|'
  66. (
  67.     PS_PARTKEY    INTEGER EXTERNAL,
  68.     PS_SUPPKEY    INTEGER EXTERNAL,
  69.     PS_AVAILQTY   INTEGER EXTERNAL,
  70.     PS_SUPPLYCOST DECIMAL EXTERNAL,
  71.     PS_COMMENT    CHAR(199)
  72. )
  74. --6. vi CUSTOMER.ctl
  75. LOAD DATA
  76. INFILE 'customer.tbl'
  77. INTO TABLE CUSTOMER
  78. TRUNCATE
  79. FIELDS TERMINATED BY '|'
  80. (
  81.     C_CUSTKEY     INTEGER EXTERNAL,
  82.     C_NAME        CHAR(25),
  83.     C_ADDRESS     CHAR(40),
  84.     C_NATIONKEY   INTEGER EXTERNAL,
  85.     C_PHONE       CHAR(15),
  86.     C_ACCTBAL     DECIMAL EXTERNAL,
  87.     C_MKTSEGMENT  CHAR(10),
  88.     C_COMMENT     CHAR(117)
  89. )
  91. --7. vi ORDERS.ctl
  92. LOAD DATA
  93. INFILE 'orders.tbl'
  94. INTO TABLE ORDERS
  95. TRUNCATE
  96. FIELDS TERMINATED BY '|'
  97. (
  98.     O_ORDERKEY      INTEGER EXTERNAL,
  99.     O_CUSTKEY       INTEGER EXTERNAL,
  100.     O_ORDERSTATUS   CHAR(1),
  101.     O_TOTALPRICE    DECIMAL EXTERNAL,
  102.     O_ORDERDATE     DATE "YYYY-MM-DD",
  103.     O_ORDERPRIORITY CHAR(15),
  104.     O_CLERK        CHAR(15),
  105.     O_SHIPPRIORITY INTEGER EXTERNAL,
  106.     O_COMMENT      CHAR(79)
  107. )
  109. --8. vi LINEITEM.ctl
  110. LOAD DATA
  111. INFILE 'lineitem.tbl'
  112. INTO TABLE LINEITEM
  113. TRUNCATE
  114. FIELDS TERMINATED BY '|'
  115. (
  116.     L_ORDERKEY        INTEGER EXTERNAL,
  117.     L_PARTKEY         INTEGER EXTERNAL,
  118.     L_SUPPKEY         INTEGER EXTERNAL,
  119.     L_LINENUMBER      INTEGER EXTERNAL,
  120.     L_QUANTITY        DECIMAL EXTERNAL,
  121.     L_EXTENDEDPRICE   DECIMAL EXTERNAL,
  122.     L_DISCOUNT        DECIMAL EXTERNAL,
  123.     L_TAX             DECIMAL EXTERNAL,
  124.     L_RETURNFLAG      CHAR(1),
  125.     L_LINESTATUS      CHAR(1),
  126.     L_SHIPDATE        DATE "YYYY-MM-DD",
  127.     L_COMMITDATE      DATE "YYYY-MM-DD",
  128.     L_RECEIPTDATE     DATE "YYYY-MM-DD",
  129.     L_SHIPINSTRUCT    CHAR(25),
  130.     L_SHIPMODE        CHAR(10),
  131.     L_COMMENT         CHAR(44)
  132. )
复制代码

  • 运行 SQL*Loader：
  1. # 1.NATION
  2. sqlldr userid=tpch/tpch@alfred control=NATION.ctl log=NATION.log bad=NATION.bad direct=true
  4. # 2.REGION
  5. sqlldr userid=tpch/tpch@alfred control=REGION.ctl log=REGION.log bad=REGION.bad direct=true
  7. # 3.SUPPLIER
  8. sqlldr userid=tpch/tpch@alfred control=SUPPLIER.ctl log=SUPPLIER.log bad=SUPPLIER.bad direct=true
  10. # 4.PART
  11. sqlldr userid=tpch/tpch@alfred control=PART.ctl log=PART.log bad=PART.bad direct=true
  13. # 5.PARTSUPP
  14. sqlldr userid=tpch/tpch@alfred control=PARTSUPP.ctl log=PARTSUPP.log bad=PARTSUPP.bad direct=true
  16. # 6.CUSTOMER
  17. sqlldr userid=tpch/tpch@alfred control=CUSTOMER.ctl log=CUSTOMER.log bad=CUSTOMER.bad direct=true
  19. # 7.ORDERS
  20. sqlldr userid=tpch/tpch@alfred control=ORDERS.ctl log=ORDERS.log bad=ORDERS.bad direct=true
  22. # 8.LINEITEM
  23. sqlldr userid=tpch/tpch@alfred control=LINEITEM.ctl log=LINEITEM.log bad=LINEITEM.bad direct=true
  25. # OPTION1：我这里因为先前只给了120G表空间，结果空间不够用，所以调整后继续加载。此外需要注意，更改LINEITEM.ctl为append，否则会清空之前记录
  26. sqlldr userid=tpch/tpch@alfred control=LINEITEM.ctl log=LINEITEM.log bad=LINEITEM.bad discard=LINEITEM.dsc direct=true skip=582854696
  28. # OPTION2：因为尚未建立任何主键唯一约束，看测试数据不是整数，误以为是数据多了一些，干脆还是全新导入，重新修改LINEITEM.ctl为truncate模式，重复步骤8，结果发现还是600037902行：
  29. sqlldr userid=tpch/tpch@alfred control=LINEITEM.ctl log=LINEITEM.log bad=LINEITEM.bad direct=true
复制代码
6. 运行 TPC-H 22 条查询

TPC-H 预定义了 22 条 SQL 查询，可以使用 qgen 生成 SQL 语句：
这里遇到一个问题，简单记录下：
  1. [oracle@dbtest dbgen]$ ./qgen -s 100 1 > query1.sql
  2. Open failed for ./1.sql at qgen.c:170
复制代码
这个报错浪费了些许时间，最后发现是要设置下变量，然后再次执行就OK：
  1. [oracle@dbtest dbgen]$ export DSS_QUERY=./queries
  2. [oracle@dbtest dbgen]$ ./qgen -s 100 1 > query1.sql
复制代码
确认OK后，直接使用下面命令，快速生成这22个query：
  1. for i in $(seq 1 22); do
  2.   ./qgen -s 100 $i > query$i.sql
  3.   echo "Generated query$i.sql"
  4. done
复制代码
然后就可以选择在 Oracle 数据库中运行，并记录执行时间：
  1. SQL>
  2. @query1
  3. @query2
  4. ...
  5. @query22
复制代码
至此，Oracle 23ai TPC-H 测试环境准备已经完成，注意此时还没有任何优化，甚至个别SQL的默认生成语法和Oracle并不兼容，后续文章将记录这些详细调整方法和一些优化技巧，敬请期待！

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
Oracle23aiTPC测试环境

使用道具 举报

相关推荐
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
劳暄美
2025-6-4 22:39:46

0

粉丝关注

11

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫