AI审计员：任务自动化实验揭示了关于GenAI生产力承诺的内容

我们之前探讨过生成人工智能（GenAI）的宏观影响的辩论。在那篇文章中，我们提出了一个观点，即仅停留在宏观层面的讨论可能会掩盖技术的变革潜力。经济学家长期以来一直指出，很难看到技术利益“冒泡”到宏观统计数据中。这个挑战在1987年由经济学家罗伯特·索洛（Robert Solow）著名地表达过：“计算机时代无处不在，除了生产率统计。”

与其仅从宏观视角来看待这项技术，案例表明应该认识到 GenAI 在任务层面上的作用，它起到了“语言增强器”的作用：将一组简短的词语转化为详细的结构化输出。这种力量体现在工作者发现这项技术如此有用，以至于在接受调查的5000多名工作者中，近70%的人隐藏了他们对 GenAI 的使用情况。

具有讽刺意味的是，即使在高盛集团内部，也认识到了这项技术的潜力。高盛集团首席信息官马可·阿根提在彭博公司的奇怪资产播客上接受采访时，重点强调了几个GenAI可以产生影响的关键领域：

1. 提升开发人员的生产力：GenAI可以提高开发人员的生产力10%到40%（平均20%），优化编码流程并拓展至软件开发生命周期的其他方面。Argenti进一步强调，人工智能助手不仅仅局限于编码任务。它还可以帮助制定适当的测试用例，生成全面的文档，以及开发部署脚本。这种更广泛的支持可以提升整个软件开发过程。

2. 提高搜索和检索信息的能力：传统上，查询大量非结构化文档需要准确的查询才能定位所需信息。由于GenAI能够识别语言结构，因此不需要相同级别的精确度。具体来说，该技术可以识别像电话号码这样的模式，而无需严格的规则，容忍偏差，例如字母“O”而非数字“0”。阿根蒂还指出，该技术可以从识别的文档中提取引用，从而管理幻觉的风险。

3. 准备一次，为不同的受众再利用：阿根提还指出利用GenAI重新利用内容的潜力。高盛集团的首席信息官看到技术如何可以减少“再利用”努力，因为一个内容块，比如一个推介册，可以轻松地转化为内部用户、外部推广努力和其他受众所需的形式。

考虑到这一背景，我们深入探讨技术如何在财务审计中实现自动化的工作。

利用GenAI进行财务审计：CustomGPT实验

为了探索GenAI在专业环境中的实际应用，我们进行了一项实验，使用CustomGPT记录了应收账款（AR）测试的结果，这是财务审计中常见的任务。

设置自定义GPT

一个定制的GPT已建立用于执行AR测试。提示指导AI扮演专业财务审计师和注册会计师的角色，进行以应收账款为重点的年终财务审计。AI被给予特定步骤要遵循，包括：

1. 请求应收款明细账，即应收款工作底稿。
2. 分析收到的AR确认并更新工作底稿。
3. 请求现金收据报告以进行后续收据检测。
4. 更新带有研究结果和结论的AR工作论文。

自定义 GPT 仅供实验使用，可在此处使用，但您必须登录到 ChatGPT 才能访问。

AR分户总帐工作底稿

实验从上传AR子分类帐作为工作文件开始：

接下来，AI被提供了AR确认，包括三个PDF确认和一个图片确认：

确认包括各种情况，以查看自定义 GPT 是否能够处理不同条件：

• 信天翁有限公司：已全额付款
• Bluebird解决方案：金额太高，将减少674,927美元。
• 信用集团：金额太低，客户欠额外50,000美元。
• 鸽子科技：空白确认签名（图像文件）

AR 确认测试结果

AI 处理了这些确认，并更新了应收账款工作底稿。

如图所示，人工智能正确记录了每一项确认，准确反映了确认金额，并在出现差异时进行了备注。

随后的收据测试

然后向定制的GPT提供了现金收据报告，以进行后续收据测试：

随后的收据检测结果:

AI 正确记录下了每一份随后收到的收据:

正如您所看到的，对于没有确认或后续收据的客户（Ibis和Jay），它记录为“差额为nan，需要进一步调查。”

什么是“NaN的差异”？

这似乎像是一个错误，但最好去问ChatGPT那些评论的含义是什么。

提示：“你为什么在Ibis和Jay上写“nan的差异，需要进一步调查”？“nan” 是什么意思？

响应: "ChatGPT: 术语“NaN”代表“不是数字”，这表示数据集中缺少或未定义的值。在AR工作论文中，“NaN的差异，需要进一步调查”表明计算无法完成，因为必要的数据 - 如确认金额或现金收据 - 缺失了客户的数据。”

人工智能利用数学术语执行审计文档的方式非常有趣。使用“NaN”（非数）源自数学和编程背景，通常用于表示浮点计算中未定义或不可表示的值。

将技术计算术语应用于会计背景可以说明，人工智能可以理解基本概念。它有效地使用“NaN”来标记审计证据缺失的情况，需要进一步调查。换句话说，它对完全会计词汇的不理解并不是完成任务的障碍。

分析

人工智能展示了处理复杂的AR测试任务的良好能力。

1. 它准确处理了各种确认场景，包括全额付款、超付和不足付。
2. 它正确地更新了具有确认结果的AR工作文件。
3. 对于后续的收款测试，它准确地追踪付款并识别需要进一步调查的项目。
4. 它没有为已收到确认的客户执行后续收据测试。
5. 它认识到有两位顾客出现了问题，但没有确认或随后的收据。
6. 它对后续的收据测试做出了正确的结论。

哪里不够了？

定制 GPT 没有为下一张收据测试完成以下列：

· 追溯到后续收据的总金额（对于部分确认或无确认的收据）

· 金额未确认或未追踪到后续收据

· 测试结论

这个想法是为了让GenAI“展示自己的工作”，以便让审计员更容易地审查它正在做什么。

此外，它没有将“确认金额结论（即，需要进一步工作程序）”栏目的结果重复到最终的“结论”栏目中。这个想法是，这最后的栏目应该包括来自AR确认和随后的收据测试的文件。但它只包括了后者。

結論

这个实验展示了生成式人工智能在自动化基本审计任务方面的潜力。生成式人工智能工具（定制GPT）能够进行以下操作：

• 编写AR工作文件。
• 准确从PDF和图像文件AR确认中提取信息。
• 正确将后续收据分配给客户。
• 适当处理差异。
• 生成准确的关于每位客户的初始结论。

尽管它在整理AR工作文献方面展示了这些能力，但仍需要“人在环中”。注册会计师必须审查工作文献，并确保文档完整（例如完成最后一列，找出未收到信息的AR的下一步等）。人工智能可以自动整理信息并进行初步评估。为了使工作符合专业标准，审计师必须运用专业判断力，并解释GenAI工具已经汇编的内容。

在我们的下一期中，我们将探讨GenAI如何成为彻底改变审计流程的拼图中的一部分。就像数字摄影需要多种技术的融合才能变得普及一样，我们将研究一系列创新，这些创新正准备创造未来的审计平台。此外，我们将深入探讨GenAI驱动的审计可能对审计团队的结构和组成产生的变革影响。