在使用LangProp使LLMs编写更好的自动驾驶代码的过程中，保持HTML结构。

Sure, here's the translation of the provided text into simplified Chinese while keeping the HTML structure: ```html Analogy from classical machine learning: LLM (Large Language Model) = optimizer; code = parameters; LangProp = PyTorch Lightning ``` Translated into simplified Chinese: ```html 经典机器学习的类比： LLM（大型语言模型）= 优化器；code = 参数；LangProp = PyTorch Lightning ```

Sure, here is the translated text in simplified Chinese while keeping the HTML structure: ```html

您可能已经使用过ChatGPT来撰写电子邮件、总结文档、查找信息或帮助调试您的代码。但我们是否可以更进一步，让ChatGPT驾驶汽车呢？

``` Translated text: 您可能已经使用过ChatGPT来撰写电子邮件、总结文档、查找信息或帮助调试您的代码。但我们是否可以更进一步，让ChatGPT驾驶汽车呢？

```html

这是我去年三月在Wayve开始实习时想要回答的问题。Wayve是伦敦的一家自动驾驶初创公司，致力于将端到端学习应用于城市驾驶这一具有挑战性的问题。当时，公司正准备推出其LLM研究团队，后来成功开发了LINGO-1和LINGO-2。当时AutoGPT刚刚发布，而Voyager还未发布。然而，LLM技术带来的颠覆性变革已经显而易见。问题是，我们如何利用这一新技术来处理驾驶这样一个语言不是主要模态的领域？

``` This HTML snippet retains the structure while translating the English text into simplified Chinese.

To translate the given English text into simplified Chinese within an HTML structure, you can use the following: ```html

在这篇博客文章中，我想概述一下我们的论文LangProp，该论文是我们在ICLR（国际学习表示会议）的LLM Agents研讨会上于2024年5月展示的。

``` This HTML code will display the translated text in simplified Chinese while maintaining the structure necessary for web content.

Sure, here is the translated text in simplified Chinese while keeping the HTML structure intact: ```html Motivation: 让我们将机器学习应用于文字编写，字面意义上。 ```

```html

应用LLM（大语言模型）到驾驶中的挑战可以分为两个方面：首先，LLM是非常庞大的模型，需要大量计算资源，并且运行速度较慢，这使得它们不太适合安全关键的实时应用，如自动驾驶；其次，虽然语言在高层次描述方面表现出色，并且作为逻辑、推理和规划的复杂工具，但它缺乏描述观察和提供空间控制行动所需的粒度和细节。

``` This HTML structure contains the translated text in simplified Chinese, maintaining the original structure provided.

Sure, here's the HTML structure with the translated text in simplified Chinese: ```html

我们意识到，我们并不一定需要使用LLMs来推断驾驶行为。相反，我们可以让LLMs自己编写驾驶代码。

```

To translate the provided English text into simplified Chinese while keeping the HTML structure intact, you can use the following code snippet: ```html

如果您曾经使用过ChatGPT来编写代码，那么这可能听起来像是一个糟糕的主意。它生成的代码很少能够立即正常工作，并且经常包含一些错误。但如果我们还使用LLMs来检测错误并自动修复它们，从而逐步改进代码质量，会怎么样呢？

``` This HTML code wraps the translated Chinese text in a `

` (paragraph) element, maintaining the structure as requested.

Sure, here is the translated text in simplified Chinese while keeping the HTML structure intact: ```html

我们进一步推进了这个想法 —— 不仅修复 bug，而是设计了一个训练框架，使我们能够根据您选择的目标函数改进LLM生成的代码。您可以通过训练数据集来“训练”您的代码，尝试减少损失。通过在验证数据集上运行，可以量化代码的改进。

``` This HTML snippet contains the translated text in simplified Chinese within a `

` (paragraph) element.

在保持HTML结构的情况下，将以下英文文本翻译成简体中文： 这听起来像机器学习了吗？实际上就是机器学习！但我们是在微调LLM吗？不是的 — 实际上，并没有在微调任何神经网络。相反，我们在微调代码本身！

Sure, here's the text translated into simplified Chinese, keeping the HTML structure: ```html

在语言编程中，“代码”是模型的参数，LLM 是优化器，指导参数朝减少损失的方向改进。为什么这很酷？因为通过这种思维，我们现在可以以数据驱动的方式自动优化软件本身！通过深度学习，我们见证了数据驱动方法在解决难以描述的问题上的威力。但迄今为止，机器学习的应用领域一直局限于由数值值参数化的模型。现在，它们也可以处理用代码描述的系统。

``` This HTML structure preserves the text formatting and applies the translation into simplified Chinese.

```html

如果您一直关注人工智能的发展历史，这是将一度流行的符号人工智能方法与更现代和成功的机器学习方法统一起来的一种优雅方式。符号人工智能是指让人类专家通过逻辑和代码描述世界的完美模型。然而，这种方法存在局限性，因为许多复杂任务（例如物体识别）超出了人类专家仅通过逻辑描述就能够实现的范围。

另一方面，机器学习让数据自己说话，并以自动化的方式拟合最能描述数据的模型。这种方法在包括模式识别、压缩和函数逼近等广泛的学科领域取得了极大成功。

然而，逻辑推理和长期规划等领域是那些简单地在数据上直接拟合神经网络往往失败的领域。这是因为在神经网络参数空间的模态中学习这些复杂操作是具有挑战性的。

借助LLMs和LangProp，我们最终可以将数据驱动的学习方法应用于学习符号系统并自动改进它们。

``` This HTML structure maintains the original text while providing the translation in simplified Chinese.

免责声明

在我们深入讨论之前，我觉得有必要先声明一些事情。

1. Certainly! Here's the translated text in simplified Chinese while keeping the HTML structure: ```html

   这项关于LangProp的工作是在Wayve实习项目期间进行的，并不直接反映公司的研发优先事项或战略。这篇博客文章的目的是将LangProp描述为一篇论文，文章中的所有内容都是我个人的观点。

   ```
2. ```html

   虽然我们主要展示LangProp用于自动驾驶的情况，但我们也要强调它的局限性，比如：(a) 它需要对环境进行完美的观察，(b) 我们只是让它在模拟环境中工作，并且远未达到实际部署的水平，(c) 生成的驾驶代码并不完美也不复杂，存在许多问题，不适合于实际部署。我们把LangProp看作是一个研究原型，展示了LLMs应用于数据驱动软件优化的潜力，而不是一个用于实际部署的产品。

   ```

Sure, here is the translated text in simplified Chinese, keeping the HTML structure intact: ```html 如果您需要进一步了解 LangProp 的限制条件，请查阅我们论文附录中的限制条件部分。 ``` This HTML structure ensures that the text remains in its original form for proper rendering on a webpage.

在此基础上，让我们看看LangProp是如何工作的！

Sure, here's how you can structure the HTML to display the text "How does LangProp work?" in simplified Chinese: ```html

LangProp是如何工作的？

``` In this HTML structure: - `lang="zh-CN"` specifies the language as simplified Chinese. - `

` tags are used to display the translated text "LangProp是如何工作的？"

Sure, here is the translation in simplified Chinese while keeping the HTML structure: ```html

我们重新引入符号人工智能和进化算法

```

```html LangProp 被设计成类似于 PyTorch Lightning — 一个 LangProp 模块跟踪被训练和用于推理的参数（一组脚本）。在训练模式下，一个策略跟踪器记录前向传播期间的输入、输出和任何异常。代码的性能由一个客观函数评估。根据分数，策略跟踪器重新排列当前存在的脚本，并将前 k 个脚本传递给 LLM 进行精炼。在推理时，通过调用具有最佳分数的代码来进行预测。 ```

To translate the given text into simplified Chinese while keeping the HTML structure intact, you can use the following: ```html

LangProp 训练器接受一个 LangProp 模块进行训练，需要提供训练数据集和验证数据集。数据集可以是任何可迭代对象，包括 PyTorch Dataset 对象，这使得将 LangProp 应用于现有任务更加简便。训练完成后，我们可以保存一个检查点，其中包括经过优化的代码集合以及一些用于排名代码的统计信息。

``` This HTML structure wraps the translated Chinese text in a `

` (paragraph) tag, which is suitable for displaying text content.

Sure, here is the text translated into simplified Chinese while keeping the HTML structure: ```html

我们用来选择最佳代码并改进它们的机制类似于进化算法，最初是随机选择样本，但随后会保留表现良好的样本并进行扰动以产生更适合的新一代样本。

```

To translate "Applying LangProp to driving" into simplified Chinese while keeping the HTML structure intact, you would use the following: ```html 应用LangProp于驾驶 ``` This translates the phrase directly into simplified Chinese characters, suitable for display in HTML content.

Sure, here's how you could structure the HTML to display the text "Now let’s try using LangProp to drive in CARLA!" in simplified Chinese: ```html

现在让我们尝试使用LangProp来在CARLA中驾驶！

``` In this HTML structure: - `` specifies that the language of the document is simplified Chinese. - `

` tags are used to display the translated text as a main heading.

Sure, here's the translated text in simplified Chinese while keeping the HTML structure: ```html CARLA 是一个开源的驾驶模拟器，用于自动驾驶研究。有一个排行榜挑战，可以评估您的自动驾驶车辆代理程序。我们在这个挑战中的标准路线和城镇上测试了 LangProp。 ``` This HTML structure allows you to integrate the translated Chinese text seamlessly into your webpage while preserving its formatting.

Sure, here is the translation of the text into simplified Chinese while keeping the HTML structure: ```html

将LangProp构建为机器学习框架的好处在于，现在我们不仅可以应用经典的监督学习，还可以使用模仿学习和强化学习技术。

``` This HTML snippet presents the translated text in simplified Chinese, maintaining the structure for web content.

To translate the provided text into simplified Chinese while keeping the HTML structure intact, you can use the following: ```html 具体来说，我们从离线数据集开始训练（该数据集包含来自专家的驾驶演示，包括状态和动作对），然后执行在线推演。在在线推演过程中，我们采用DAgger [1]，这是一种数据集聚合技术，通过在线推演收集的样本使用专家标签标记，并与当前数据集进行聚合。 ``` This HTML structure preserves the original formatting while providing the simplified Chinese translation of the text.

Certainly! Here's how you can structure the HTML to include the translated text in simplified Chinese: ```html

模型的输入（代码）是一个Python字典，包含环境状态的信息，包括车辆和周围行人的姿态和速度，以及与交通灯/停车标志的距离。输出是驾驶动作，即车辆应该行驶的速度和转向角。

``` In this HTML structure: - `lang="zh-CN"` indicates the content is in simplified Chinese. - The `` tags ensure proper display on various devices. - The translated text is enclosed in a `

` (paragraph) tag for proper semantic structure. Make sure to save this HTML file with an appropriate filename and open it in a web browser that supports simplified Chinese encoding to view the content correctly.

Certainly! Here's the translated text in simplified Chinese while keeping the HTML structure intact: ```html

每当发生违规行为，例如忽视交通信号灯或停车标志、与其他车辆、行人或骑行者发生碰撞，或停车时间过长，都会对表现评分产生惩罚。培训目标是最大化模仿学习分数（代理程序能多好地匹配实际行动标签）和强化学习分数的综合得分（减少违规惩罚）。

``` This HTML snippet now contains the translated text in simplified Chinese.

Sure, here's the translation in simplified Chinese while maintaining HTML structure: ```html LangProp 驾驶代理在行动中 ``` This maintains the text "LangProp driving agent in action" while converting it to simplified Chinese characters.

现在观看LangProp代理驾驶！

```html

我们在训练过程中发现，ChatGPT生成的初始驾驶策略非常有缺陷。特别是，它经常学习到一种简单的策略，即复制前一时刻的速度。这是模仿学习领域中已知的一种现象，称为因果混淆[2]。如果我们仅在离线数据集上进行行为克隆训练，这种简单但天真的策略会获得比其他更复杂的策略更高的得分。这就是为什么我们需要使用DAgger和强化学习等技术，以确保策略在在线执行中的表现。

```

在经过一两次迭代之后，模型停止复制之前的速度，开始向前移动，但它可能会过于谨慎（即使附近有演员，只要它们不处于碰撞路线上就停下来），或者是鲁莽的（一直向前行驶直到与演员相撞）。再经过几次迭代后，模型学会了保持与前方车辆的距离，甚至根据车辆的相对速度动态计算这个距离。它还通过观察速度和位置向量预测其他演员（例如乱穿马路的行人）是否与车辆发生碰撞。

在我们的论文实验中，我们展示了LangProp驾驶代理优于许多先前实施的驾驶代理。我们与PPO专家代理（Carla-Roach [3]，TCP [4]）和研究人员实施的专家代理（TransFuser [5]，InterFuser [6]，TF ++ [7]）进行比较，LangProp优于所有专家代理，除了TF ++。所有专家代理都是在GPT 3.5培训截止日期之后发布的，因此这个结果既令人惊讶又令人兴奋！

Sure, here is the text "Closing remark" translated to simplified Chinese while keeping the HTML structure intact: ```html 结束语 ```

Sure, here's the translated text in simplified Chinese while keeping the HTML structure intact: ```html 感谢您加入我的旅程！在这项工作中，我们主要探讨了在CARLA自动驾驶中应用LangProp的方法，同时还展示了LangProp可以轻松应用于更一般的问题，比如典型的RL环境CartPole-v1。LangProp在那些可以通过文本或代码形式获取性能反馈的环境或问题中效果最佳，这为模型提供了比单纯数值分数更丰富的语义信号。 ``` In this translation: - "LangProp" (presumably a technical term) is left untranslated as it appears to be a specific concept or method. - The structure of the original English text is maintained within HTML tags, ensuring it can be directly used in an HTML document.

在保持HTML结构的情况下，将以下英文文本翻译成简体中文： ``` 有无数种可能的应用方式可以像LangProp一样通过数据迭代改进软件，我们对这个领域的发展充满期待！ ``` 请注意，这是翻译后的简体中文文本，保留了原始文本的意思和大部分结构。

Sure, here is the translation in simplified Chinese, keeping the HTML structure: ```html 如果您喜欢我们的工作，请考虑在此基础上继续并引用我们的论文： ``` This HTML structure preserves the text while allowing it to be displayed correctly in web contexts.

@inproceedings{
ishida2024langprop,
title={LangProp: A code optimization framework using Large Language Models applied to driving},
author={Shu Ishida and Gianluca Corrado and George Fedoseev and Hudson Yeo and Lloyd Russell and Jamie Shotton and Joao F. Henriques and Anthony Hu},
booktitle={ICLR 2024 Workshop on Large Language Model (LLM) Agents},
year={2024},
url={https://openreview.net/forum?id=JQJJ9PkdYC}
}

Sure, the translation of "References" to simplified Chinese while keeping HTML structure would be: ```html 参考文献 ```

Certainly! Here's the HTML structure with the translated text in simplified Chinese: ```html

Stéphane Ross, Geoffrey Gordon, and Drew Bagnell. “A reduction of imitation learning and structured prediction to no-regret online learning.” In Proceedings of the fourteenth international conference on artificial intelligence and statistics, JMLR Workshop and Conference Proceedings, 2011.

``` Translated text in simplified Chinese: ```html

Stéphane Ross（斯特凡·罗斯）, Geoffrey Gordon（杰弗里·戈登）和Drew Bagnell（德鲁·巴格内尔）。"模仿学习和结构化预测归纳为无悔在线学习的降低"。发表于2011年第十四届人工智能与统计学国际会议论文集，JMLR工作坊与会议论文集。

``` This HTML structure maintains the original formatting while providing the translated text in simplified Chinese.

To translate the provided English text into simplified Chinese while keeping the HTML structure intact, you can use the following: ```html [2] Pim De Haan, Dinesh Jayaraman, and Sergey Levine. “模仿学习中的因果混淆”. Advances in Neural Information Processing Systems, 2019. ``` This preserves the citation format and indicates that the title "Causal confusion in imitation learning" has been translated into simplified Chinese as "模仿学习中的因果混淆". The `` tag is used to specify the language of the enclosed text within the HTML structure.

Sure, here's the text translated into simplified Chinese while keeping the HTML structure: ```html [3] Zhejun Zhang, Alexander Liniger, Dengxin Dai, Fisher Yu, and Luc Van Gool. “End-to-end urban driving by imitating a reinforcement learning coach.” In Proceedings of the IEEE/CVF international Conference on Computer Vision, pp. 15222–15232, 2021. ``` Translated to simplified Chinese: ```html [3] 张哲军，Alexander Liniger，戴登鑫，余小鱼，以及Luc Van Gool。“通过模仿强化学习教练进行端到端城市驾驶。”于《IEEE/CVF国际计算机视觉会议论文集》，页码15222–15232，2021年。 ``` This maintains the structure and format for HTML while providing the translated citation in simplified Chinese.

Certainly! Here's the simplified Chinese translation of the text: ```html [4] Penghao Wu, Xiaosong Jia, Li Chen, Junchi Yan, Hongyang Li, and Yu Qiao. “Trajectory-guided control prediction for end-to-end autonomous driving: A simple yet strong baseline.” Advances in Neural Information Processing Systems, 35:6119–6132, 2022. ``` Translated to simplified Chinese: ```html [4] 吴鹏豪, 贾晓松, 陈力, 闫俊驰, 李弘扬, 乔宇. “基于轨迹引导的端到端自动驾驶控制预测: 一个简单而强大的基线.” Advances in Neural Information Processing Systems, 35:6119–6132, 2022. ``` This HTML structure keeps the original format while displaying the translated Chinese text.

To translate the given English text into simplified Chinese within an HTML structure, you can use the following code snippet: ```html

[5] Kashyap Chitta, Aditya Prakash, Bernhard Jaeger, Zehao Yu, Katrin Renz, and Andreas Geiger. “Transfuser: Imitation with transformer-based sensor fusion for autonomous driving.” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.

``` This HTML code will display the citation in English within a paragraph (`

`) tag. If you want to display it in simplified Chinese characters, you would replace the English text with its corresponding translation. Here is the simplified Chinese translation of the citation: ```html

[5] Kashyap Chitta, Aditya Prakash, Bernhard Jaeger, Zehao Yu, Katrin Renz, 和 Andreas Geiger. “Transfuser: 基于Transformer的传感器融合模仿技术在自动驾驶中的应用.” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.

``` Make sure you have the correct Chinese characters encoded properly in your HTML document to ensure proper display.

Certainly! Here's the translation of the citation into simplified Chinese, while keeping the HTML structure intact: ```html [6] Hao Shao, Letian Wang, Ruobing Chen, Hongsheng Li, and Yu Liu. “安全增强型自动驾驶技术：基于可解释传感器融合变压器.” In Conference on Robot Learning, pp. 726–737. PMLR, 2023. ``` In simplified Chinese: ```html [6] 邵昊，王乐天，陈若冰，李洪升，刘宇. “安全增强型自动驾驶技术：基于可解释传感器融合变压器.” 在机器人学习会议上，第726–737页. PMLR, 2023. ``` This HTML structure preserves the citation format while providing the translated text in simplified Chinese.

Sure, here is the translation of the citation to simplified Chinese: ```html [7] Jaeger, Bernhard, Kashyap Chitta, 和 Andreas Geiger. “Hidden biases of end-to-end driving models.” 2023年IEEE/CVF国际计算机视觉会议论文集. ``` This maintains the structure in HTML format while presenting the citation in simplified Chinese.