大模型评估排障指南 | 关于 LaTeX 公式解析
这是 大模型评估排障指南 系列文章的第二篇，敬请关注系列文章:[*]关于推理
[*]关于 \(\LaTeX\) 公式解析
[*]关于可复现性
解析 LaTeX 很难。这个问题在评估输出为 \(\LaTeX\) 的模型时经常会遇到，例如 Hugging Face 的 数学评估基准。
这个基准使用 \(\LaTeX\) 来表示数学领域的计算和符号。评估难点在于对模型输出与标准答案的解析和比较。
结果表明，解析 \(\LaTeX\) 没有标准方法。
摘自 sympy 文档
lm-evaluation 框架使用 sympy (一个用于符号数学的 Python 库) 来对 latex 进行解析和比较。
使用 sympy 解析真值 (用真值自身对比测试) 只能得到约 0.94 的准确率。
怎么会是这样呢？后来发现 sympy 无法解析某些 (标准的 \(\LaTeX\)) 表达式。
例如:
couldn't parse one of '
[0,1)
~~^couldn't parse one of (-\iny,-5]\cup\cup[5,\iny), I expected something else here
(-\iny,-5]\cup[5,\iny)
~~~~~~^couldn't parse one of -\frac{1}{{}2x} or -\frac{1}{{}2x}, I don't understand this
-\frac{1}{{}2x}
~~~~~~~~~~~^如何缓解这个问题？
重写 \(\LaTeX\) 语法解析模块 并在代码中添加必须功能；或者往代码里添加人工检查来提高模型得分。
在几乎陷入问题陷阱之后，我们认为在代码中添加字符串比较检查差不多就能缓解这个问题了。
LM 评估工具修复
结果
修复前后模型 Top 25 对比结果表格如下：
解析器修复前后模型在 MATH 基准测试结果对比Model Score RankOriginalFixed parserOriginalFixed parser rombodawg/Rombos-LLM-V2.5-Qwen-72b 47.58 50.68 1 1 MaziyarPanahi/calme-2.2-qwen2-72b 41.16 43.43 2 2 arcee-ai/Arcee-Nova 40.48 42.90 3 3 fblgit/TheBeagle-v2beta-32B-MGS 39.43 42.52 4 4 rombodawg/Rombos-LLM-V2.5-Qwen-32b 39.12 41.99 5 5 dnhkng/RYS-XLarge 38.97 41.24 6 6 dfurman/CalmeRys-78B-Orpo-v0.1 37.92 40.71 8 7 MaziyarPanahi/calme-2.2-rys-78b 37.92 39.95 8 9 MaziyarPanahi/calme-2.4-rys-78b 37.69 40.41 9 8 MaziyarPanahi/calme-2.3-rys-78b 36.56 38.97 10 10 MaziyarPanahi/calme-2.1-rys-78b 36.40 38.90 11 11 Qwen/Qwen2.5-72B 36.10 38.67 12 12 MaziyarPanahi/calme-2.1-qwen2-72b 36.03 38.07 13 15 Qwen/Qwen2-Math-72B-Instruct 35.95 38.14 14 14 dfurman/Qwen2-72B-Orpo-v0.1 35.42 38.14 15 13 abacusai/Smaug-Qwen2-72B-Instruct 35.35 37.46 16 19 anthracite-org/magnum-v1-72b 35.27 37.69 18 16 alpindale/magnum-72b-v1 35.27 37.69 18 16 Qwen/Qwen2-72B-Instruct 35.12 37.69 19 18 dnhkng/RYS-XLarge-base 34.67 37.16 20 20 Undi95/MG-FinalMix-72B 33.61 36.10 22 21 abacusai/Dracarys-72B-Instruct 33.61 35.65 22 22 Qwen/Qwen2.5-32B 32.85 35.50 23 23 anthracite-org/magnum-v2-72b 31.65 34.06 24 24 dnhkng/RYS-Huge-bnb-4bit 31.57 33.84 25 25英文原文: https://raw.githubusercontent.com/huggingface/evaluation-guidebook/refs/heads/main/contents/troubleshooting/troubleshooting-math-parsing.md
原文作者: Nathan Habib
译者: SuSung-boy
审校: Adeena
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]