🚨 复杂表格如何击败即使是先进的企业聊天机器人

🎯 企业关键数据通常存储在表格中:价格和费率、产品规格、报告等。

🔍我们最近的比较揭示了意想不到的结果:

流行的开源解决方案通常在复杂的表格上表现糟糕。

- 流行的Llama解析器API未对齐关键数据

  • 即使是Adobe的PDF Extract API(最低承诺金额为25K美元)也无法处理合并单元格

1. 第一个例子:一个具有水平合并单元格的表格.

在下面的屏幕截图中(图1),第一行中的表格有两个合并的列名,分别是“截至12月31日的三个月”和“截至12月31日的一年”。

Fig. 1. Financial summary for 2023

1.1. Adobe解析器

如果我们使用Adobe解析器,生成的表格将包含两个额外的空列名,应分别标记为“截至12月31日为止的三个月”和“截至12月31日为止的年度”(图2)。

Fig 2. Adobe parser result for the 1st table

1.2. 牧羊驼解析器

Llama解析器通过将“截至12月31日年度”列向左移动并将最后两列名称留空来搞乱了列顺序(图4)。

Fig 3. Llama parser result for the 1st table

1.3. 自定义Varex解析器

与以前的解析器相反,我们的解析器通过复制合并单元格的列名,正确排列了列名顺序(图4):

Fig 4. Azure parser result for the 1st table

1.4. 通过LLM响应的解析器比较

Table 1. Parsers’ results comparison by GPT-4o responses for the 1st table

如表1所示,LLM只有在给出AssistMe解析器的输出时才能生成正确响应。对于Adobe和Llama解析器,它无法找到答案,可能是因为Adobe的输出缺少列名,Llama的列顺序错误。

2. 第二个例子:一个带有垂直合并单元格的表格。

让我们来看一下表格,第一列有多个部分,每个部分描述了特定的设备特征。一些部分,比如“规格”,“I/O”和“电池”占据了多行(图5)。

Fig. 5. Table with device characteristics

2.1. Adobe分析器

与第一个例子类似,Adobe解析器在跨越多行(单元格)的部分上遇到了困难,在第一列中留下了大量空值(图6)。

Fig. 6. Adobe parser result for the second table

2.2. 骆驼解析器

在使用Llama解析器后,表格中包含节名称的第一列已被完全移除(图7)。

Fig 7. Llama parser result for the 2nd example

2.3. 自定义Varex解析器

Azure 解析器通过在空单元格的位置复制章节名称来解决 Adobe 解析器的问题(图8)。

Fig. 8. Azure parser result for the 2nd example

2.4. 通过LLM响应进行解析器比较

下表2比较了基于LLM(GPT-4o)响应正确性的考虑的解析器的结果,与与第2张表相关的问题有关。

Table 2. Parsers’ results comparison by GPT-4o responses for the 2nd table

正如您在表2中所看到的,第一栏中缺失的数值导致LLM在使用Adobe和Llama解析器的输出时生成了不完整的回答。相比之下,LLM在使用AssistMe解析器时产生了准确的答案,成功捕捉了所有列值。

总的来说,Adobe和Llama解析器在具有合并单元格的表格上表现不佳,因为它们未能复制数值,导致LLM应答不完整或不正确,因为缺少数值或列对齐不准确。另一方面,Varex解析器通过分割和复制数值有效地处理了合并单元格,使LLM能够生成更准确的答案。

💥 表格解析不佳的影响:

- 错误的定价/规格让客户感到沮丧

合规风险

品牌损害

  • AI信任受损

您可以免费尝试Varex解析器:[https://cloud.assistme.chat/]

2024-10-24 04:12:23 AI中文站翻译自原文