噪声中寻觅信号:机器学习与市场 (Jane Street)
收听 Jane Street 的 Ron Minsky 与工程师们的对话,他们致力于时钟同步、可靠组播、构建系统和可重构硬件等各种领域。了解 Jane Street 如何解决问题,以及这些想法与更广泛的技术领域有何关联。
倾听并订阅:
噪声中寻觅信号:Machine Learning 与市场
嘉宾:In Young Cho
第三季,第七集 | 2025年3月10日
简介
In Young Cho 曾经想成为一名医生,但后来在 Jane Street 获得了一份交易实习机会。现在,她帮助领导研究团队在机器学习领域的工作。在本集中,In Young 和 Ron 探讨了交易、研究和软件工程之间存在的模糊界限,这些领域需要不同的敏感性,但通常融合在同一个人身上。他们讨论了灵活的研究工具和强大的生产系统之间的张力;在低数据、高噪声且经常发生机制转变的环境中,ML 面临的挑战;以及从简单线性模型到深度神经网络的转变。
概要
In Young Cho 曾经想成为一名医生,但后来在 Jane Street 获得了一份交易实习机会。现在,她帮助领导研究团队在机器学习领域的工作。在本集中,In Young 和 Ron 探讨了交易、研究和软件工程之间存在的模糊界限,这些领域需要不同的敏感性,但通常融合在同一个人身上。他们讨论了灵活的研究工具和强大的生产系统之间的张力;在低数据、高噪声且经常发生机制转变的环境中,ML 面临的挑战;以及从简单线性模型到深度神经网络的转变。
文本记录
00:03
Ron
欢迎收听 Signals and Threads,这是来自 Jane Street 的关于技术堆栈每一层的深入对话。我是 Ron Minsky。非常荣幸向大家介绍 In Young Cho。In Young 已经在 Jane Street 担任研究员和交易员近十年了,我们将讨论一下这段经历,以及 In Young 最近加入研究团队,在那里她领导着我们在机器学习领域所做的许多工作。感谢你的加入。
文本已复制 链接已复制
00:31
In Young
00:32
Ron
首先,谈谈你最初是如何来到 Jane Street 的,这会很有趣。
文本已复制 链接已复制
00:37
In Young
对于我们在校的许多交易员和研究员来说,我进入 Jane Street 的道路实际上非常标准。本科期间,我对我想做什么感到非常困惑。
文本已复制 链接已复制
00:48
Ron
00:49
In Young
我原本确信我想追随我妈妈的脚步成为一名医生,但我在高中时也很积极地参加数学竞赛。因此,我在大学一年级时学习了生物学、有机化学和高等数学课程,由于各种原因(可能没什么意思去深入探讨),我意识到医学院并不适合我,我经历了一段身份危机,试图弄清楚我想做什么。所以也许这不太标准。快进一点,我在韩国休了一些时间,在那里我通过一些较短的实习经历探索了各种不同的实习道路,我得出的结论是我绝对不想考虑工业界。最终,我回到了大学的招聘周期,我很多聪明的朋友告诉我,他们非常喜欢在 Jane Street 的申请和面试过程,我应该去看看。面试过程极具挑战性。我记得从现场面试那天出来,我的大脑完全死机了。我不知道你是否也有过这种经历,如果你一直在努力思考,你的头就会过热。我在白天的时候就有这种感觉。
文本已复制 链接已复制
02:07
Ron
02:07
In Young
它真的过热了。就像一台电脑。我奇怪地喜欢这种体验,即使我真的不知道金融是什么,也不知道这家神秘的自营交易公司会带来什么,但我还是想尝试一下实习。所以我猜这有点冗长。简而言之,我在大学二年级时在 Jane Street 实习后,直接从本科毕业,尽管我进来时对量化金融一无所知,但我真的很喜欢这里的工作。我觉得我每天都能学到新的东西。
文本已复制 链接已复制
02:41
Ron
我对实习本身有点好奇。实习的什么特点让你觉得,哦,是的,这就是我现在想做的事情?
文本已复制 链接已复制
02:47
In Young
就是它的动态性。我每天都来上班,基本上都要完成一种新的难题或一种我需要学习的新技能。有人和我一起学习这些新东西,我认为有一个庞大的支持网络,他们非常投入地确保我有一个良好的体验,并且我正在最大限度地利用我自己的智力资本。所以这与实际工作本身无关。我的意思是,工作本身也很有趣,而且我认为比我刚开始实习时想象的更有趣,但驱动我的主要因素是其他实习生是多么的善意、多么的聪明,以及多么的具有智力上的谦逊,以及我认为一旦我全职加入后会拥有的支持网络。
文本已复制 链接已复制
03:34
Ron
那么当你全职加入 Jane Street 时,你最终做了什么样的工作?你在公司里担任什么职位?你的工作是什么?
文本已复制 链接已复制
03:40
In Young
我的头衔是量化交易员,但这根本没有充分概括它。我认为交易员的工作非常多样化,所以在我的第一年,我做了各种各样的事情,从学习如何使用 OCaml(这是我们在内部使用的语言),到学习如何使用 VBA 作为后端编程语言......到 Excel。
文本已复制 链接已复制
04:02
Ron
我们在内部也大量使用的另一种编程语言。没错。
文本已复制 链接已复制
04:05
In Young
学习所有关于 bash 和 SQL 的知识,以及金融术语,学习如何拿起电话并回复经纪人,这太可怕了。我有很多很多在使用工作电话时发生的事故。一个有趣的故事是,有一个来自外部客户的电话打进来,我桌子上的人说,你已经在这里一个月了,你可以接电话了。我接起电话,我僵住了,最后我说“啊,这是 Jane Street”,而不是“Jane Street—我是 In Young”,我需要抓住其他人,我基本上需要把电话递给桌子上的其他人。我被告知我应该停车,但我不知道那是什么意思。在这一点上,我基本上接受了它,并认为停车是一个神奇的代码词。我放下电话,喊出了停车这个词。
文本已复制 链接已复制
04:58
Ron
04:59
In Young
不,不,不,因为喊出停车这个词没有任何作用。我旁边的导师友善地说,你的电话上有一个叫做停车的按钮,那是你按的。我说,好吧,我会去做的。所以有这种事情。学习交易的基础知识。
文本已复制 链接已复制
05:14
Ron
我们能回到经纪人的事情吗?我觉得人们对 Jane Street 的心理模型通常非常关注他们听到的关于技术的事情。所以他们想象一个房间里满是人,他们所做的就是坐下来编写程序,然后程序进行交易。所以接到经纪人的电话,我们为什么要接经纪人的电话?在业务层面到底发生了什么?
文本已复制 链接已复制
05:31
In Young
所以这对 Jane Street 来说不是很标准。这是我认为在 2013 年出现的一项新业务。我认为在 2013 年左右之前,我们互动的主要方式是通过电子交易所匿名进行的。当然,我们会给人们打电话,或者如果我们必须与我们的主要经纪人或我们需要他们服务的各种人交谈,我们当然会与他们进行面对面的交谈,但我们不会明确地与客户或客户或其他类似的人进行互动。因此,你可能拥有的金融市场的一种模型是,一切都是匿名的,一切都发生在交易所,这应该导致公平和高效的结果。在大多数情况下,我认为这是真的,但在某些情况下,能够知道你的最终交易对手是谁,并且能够在他们必须进入市场并购买股票或出售 ETF 之前,协商他们想要的市场交易或服务是有帮助的。因此,一个例子是,如果你有一个州的养老金服务,他们需要进行季度再平衡,养老金服务可能相当大。因此,即使他们所做的是对指数基金进行相当普通的再平衡,所涉及的美元数量也可能相当大。你可以想象,作为电子交易所的做市商,站在数百万美元的流量的对立面可能会让人感到非常不安。你会在你的计算机程序上看到,该程序旨在在交易所进行互动,已售出一股 XYZ 股票,然后你将继续在交易所出售,你基本上会说,我错过了什么?最终的规模会有多大?在这种不确定性中,你可能会说,我可能只是犯了一些非常严重的错误,我将确保我在尝试弄清楚事情的时候做一些更保守的事情。我认为这最终导致退休服务或养老金服务的执行效果不佳,他们试图进行一种非常良性和无害的交易。因此,如果我们从一开始就知道我们正在与谁互动,我们就更容易有信心,并且能够就如何执行指数基金的交易提供财务建议。因此,我认为早在 2013 年,我们就开始更加认真地建立一项业务,我们在其中引入了客户,并且在能够直接向最终客户进行做市的流程中,我们会为许多类型的人拿起电话,但你可以想象,大多数电话交易都是与我们认识并已经加入的这些交易对手进行的,在那里我们达成了一些双边协议,我们将会在那里为他们进行做市,并且在非实时的情况下,为他们提供有关如何考虑他们可能想要的执行的建议。
文本已复制 链接已复制
08:27
Ron
所有这些都突出了信息在交易中的奇怪作用。你可能会认为,哦,世界上匿名的电子市场,这是执行事情的最佳方式,因为它是一个公平和平等的平台。但养老金服务是一个很好的例子,其中有一个额外的信息,这对所有参与者来说实际上是有用的,那就是养老金公司不是一个高度知情的交易员,他们正在与你进行交易,他们知道你不知道的东西。但它只是一个正在进行大额交易的人,因为这是他们日常业务的一部分。它并不反映他们对市场的某种私人信息。因此,知道它来自哪里可以让你提供更好的服务——特别是以一种非常简单的方式提供更好的价格——你可以向他们收取更少的钱,因为是谁来的以及他们正在进行的交易的规模。好的。所以这说明了为什么人们互相打电话的整个系统甚至存在于世界现代市场中。以及为什么我们参与其中,你的整个工作不仅仅是为经纪人接电话。你还在从事哪些其他类型的工作?
文本已复制 链接已复制
09:23
In Young
是的,正如我刚才提到的,我学会了如何写糟糕的代码,并在办公桌上编写了很多不同的系统和应用程序,这些系统和应用程序对我的日常工作非常有用。它可能与使我更容易可视化我每天进行的交易类型有关,无论是在市场、市场开放、市场收盘期间还是在白天,或者是一些工具,这些工具允许我回顾和分析我们所做的交易或我们拥有的机会,看看是否有可能根据我们所见的历史模式提出更多的交易。因此,从较高的层面来看,你可以将这两种工作流程描述为软件工程和研究,而非常粗略地将接电话描述为实时交易,但在日常生活中,这些都会混合在一起,我基本上可以磨练我的技能并了解每个单独的项目,并了解它们是如何联系在一起的,这非常酷。
文本已复制 链接已复制
10:21
Ron
关于实时交易,它不仅仅是字面上接电话并与经纪人交谈,我更广泛地认为它与实时决策有关,其中一些与与某个具体的个人进行个人交易有关,但很多与考虑所有系统以及我们进行交易的所有不同方式、了解市场中发生的事情以及弄清楚如何调整和影响这些系统的行为有关。这三件事的混合我认为是 Jane Street 擅长交易的关键部分,也是在现代市场中进行交易的意义所在。
文本已复制 链接已复制
10:52
In Young
是的,我们把所有这三件事混淆在交易员的同一个角色和头衔中,这非常令人困惑,我认为这是客户与 Jane Street 互动时对交易员的定义非常非常常见的困惑来源。我认为我们已经接受了这一点,并认为这种模糊性使我们能够确保将个人安排在他们最擅长或最适合的角色中。但是,如果你只是想在熟悉我们之前了解 Jane Street 是什么,这肯定会非常令人困惑。
文本已复制 链接已复制
11:25
Ron
而且我们使用的术语与行业其他地方的术语不一致。当人们说交易员时,他们通常指的是非常不同的事情。
文本已复制 链接已复制
11:32
In Young
但这不仅仅是我们。我认为很多地方对所有这些角色都有非常定制和令人困惑的名称和头衔,老实说,这确实使整体格局很难导航。
文本已复制 链接已复制
11:42
Ron
所以你今天的大部分工作都集中在研究上,今天你实际上也在研究部门,但我认为研究,正如你所说,一直是你的工作的一部分。你能给我们更多关于交易想法的研究是什么意思的细节吗?
文本已复制 链接已复制
11:55
In Young
好的,所以我将尝试将研究过程分解为几个步骤。我认为研究大致有四个阶段。一个是最初的探索阶段。所以在这里可能很重要的事情是,你需要有非常熟悉的、高度交互式的工具,这些工具可以以非常丰富、高性能和易于理解的方式显示信息,这样你就可以快速迭代你可能想要进一步探索的各种假设和想法。并且
文本已复制 链接已复制
12:26
Ron
当你提到像工具这样的工具时,我应该想象什么,比如一个彭博终端来获取股票的烛台图,我们用这些工具做什么?
文本已复制 链接已复制
12:32
In Young
让我设定一下场景,也许你想要做交易研究,你在尝试了解如何最好地与我们提到的养老金服务互动。因此,你可能想要知道的一件事是你可能有哪些交易想法?你应该向该客户可能拥有的订单展示哪个合适的市场,以及我们可以在基础设施方面做什么,以更好地了解金融市场,从而更好地为该订单报价?在最初的探索阶段,我想这相当于拥有一个彭博终端,并基本上说,这个交易对手是谁?他们的投资组合是什么样的?我们能否了解他们的投资组合的轮换频率?彭博终端上一个非常方便的功能是,你可以查看人们的 13F 或 13G 或 13D 文件,并了解每个季度人们的头寸是如何变化的。因此,你可以了解你可能从该养老金服务中看到的订单流。你可能看不到全部,但你也可以从彭博终端等工具提供的数据中获得更多数据点,例如,在我们不是向客户展示最终订单的人的那些日子里发生了什么。
文本已复制 链接已复制
13:50
Ron
你基本上想知道他们的头寸是什么,以及订单流可能是什么样子的,这会告诉你一些关于交易可能产生的市场影响的信息。影响越大,你就越需要移动价格,并且基本上向他们收取所有这些交易将极大地影响市场的事实。
文本已复制 链接已复制
14:02
In Young
14:03
Ron
14:04
In Young
酷。因此,第二个相互关联的步骤是,也许你有一个假设,即该养老金服务所做的大部分交易都是相当良性的。它不会对市场产生很大的影响,但他们在他们的投资组合中有一个有点奇怪的头寸,而且每当他们交易它时,它都会对市场产生很大的影响。你可能想要探索的一个假设是,当 Jane Street 不是收到此订单的人时,会有更大的影响,或者我们可以预测,在没有收到订单本身的情况下,客户何时可能会执行交易,从而基本上寻求为养老金服务提供更好的最终价格。因此,这里的一个重要步骤是数据收集。你需要的是客户可能进行交易的日期、他们可能进行交易的规模,以及他们进行交易的时间,以及在存在大额交易的那些时间里的回报。显然,你可能需要其他信息,并且你需要一种可靠的方式来收集这些信息,以便能够在此基础上进行研究或构建模型。
文本已复制 链接已复制
15:07
Ron
对吧?你需要围绕这个构建大量的基础设施才能做好,因为底层数据集有点糟糕。有很多奇怪的事情。有一个股票分割和一个股票代码名称更改,以及其他各种问题和数据中的错误,你需要弄清楚如何调整和掩盖这些问题,以此作为生成允许你进行研究的高质量数据集的一部分。如果它充满了这些错误,那么垃圾进垃圾出,你的研究不会给你带来任何好处。
文本已复制 链接已复制
15:29
In Young
当然,你可以从最简单的可能情况开始,在这里的数据生成阶段,你可以手动完成所有操作,并且你可以非常非常仔细地检查事情。我认为这实际上是建立对所有可能遇到错误的方式的直觉的好方法,而不是从一开始就从一个具有数百万甚至数十亿行的数据集开始,在这种情况下,很难获得对哪些类型的检查重要的直觉。但我同意数据收集是一项非常棘手且非常非常重要的任务。因此,一旦你有了数据,你就可以做我认为大多数人认为的研究,并且是最有趣的事情。你基本上说,我有这些数据,有一件事我想预测。你也必须对哪些类型的数据或特征重要以及你试图预测的哪些类型的事情具有创造性。我想在 Jane Street,我们经常将这些称为响应者。我认为在外部世界,这些可能会被称为因变量。我认为响应者是一种在 Jane Street 围墙外不常用的术语。
文本已复制 链接已复制
16:31
Ron
我认为预测者和响应者只是旧的统计术语。我认为我在 20 年前做与交易相关的糟糕研究时一直在使用预测者和响应者,我不认为我编造了它,但是
文本已复制 链接已复制
16:41
In Young
酷。Jane Street 有一个有趣的邮件列表,我拒绝订阅,名为社交投票,它非常有争议,比如你应该将这些预测者或特征称为什么,正确的命名法是什么?因此,我认为在 Jane Street,对于正确的术语是什么,有很多信仰阵营。因此,你拥有数据,并且你想要做出一些预测,并且你必须基本上弄清楚你想要转换数据的方式,以便做出预测。对于我提到的玩具案例,你有很多选择,在玩具案例中,你正在使用一个带有少量数据点的手动抓取的数据集,就模型和模型可表达性的复杂性与你可能过度拟合的程度而言。你可能想要尽可能简单。因此,你可能想要拥有的一种技术是线性回归,但是对于不同类型的数据集,尤其是随着特征集增长或你尝试建模的交互效应变得越来越复杂,线性回归可能不会奏效,你将不得不依赖更复杂的机器学习方法,包括深度学习方法,我认为这些方法构成了我这些天来大部分的困惑和思考。我提到研究有四个步骤,因此我认为我省略了一些步骤,但如果我不提及我认为研究中一个非常非常重要的步骤,即生产化步骤,我会感到失职。一旦你有一个模型中的预测,这很棒,你已经能够将你的想法一直带到具有你希望在样本外相信的预测的阶段,这真的很酷,但在很多方面,战斗在那时只完成了一半。你需要一种确保你有一种在市场中表达这些预测的方式。因此,你需要考虑表达这些信念最有效的方式是什么,并且你还需要确保你拥有可用的技术来可靠地执行你认为你正在执行的交易。因此,在此过程中有很多陷阱,并且交易越复杂,你需要投入更多的工作以确保你不会在此生产化过程中遇到各种问题。
文本已复制 链接已复制
18:54
Ron
特别是,如果你正在使用一组工具进行研究,并且你正在使用完全不同的一组工具进行实际的生产实施。研究工具可能是 Excel 电子表格或 Python 笔记本或其他东西,然后你的生产系统可能是一些用 OCaml 编写的交易系统,它具有完全不同的数学运算方式和表达配置等。我感觉从一开始,我们就使用了两种不同的研究风格。一种是你几乎从一开始就进行生产化,你或多或少有一个自动交易系统