我们的界面正在失去 "知觉"

想想你如何体验这个世界——你触摸、你听、你移动。

但是我们的数字世界变得越来越扁平，越来越沉寂。 被简化为玻璃屏幕下的文字。 这种转变使得界面更加简单。但这真的是我们的目标吗？ 界面是人与机器之间的桥梁。

它是我们告诉计算机我们想要什么的方式， 也是计算机与我们交流的方式。 其形态应该符合我们的工作方式，以便符合人体工程学和易于使用； 并且应该符合计算机的工作方式，以便保证简单性和良好的心智模型。 最近，我们过于关注适应计算机的形态，而不够关注我们自己的身体。

大扁平化 (The Great Flattening)

过去，计算机是物理上的庞然大物。 我们通过打孔卡、插入电线和拨动开关来编程。程序员穿梭于成排的开关和电缆之间，以物理方式编排他们的逻辑。使用计算机曾经是一种全身心的体验。

然后出现了终端和命令行。物理旋钮变成了键入的命令——功能更强大，但我们的数字世界变得不那么具体。

我们通过 GUI（图形用户界面）带回了一些触觉控制。我们对屏幕进行了拟物化设计，包括数字开关、扁平滑块和文件夹图标。但我们将一些功能保留在物理世界中，例如插入磁盘的插槽和大电源按钮。

然后出现了触摸屏。多么美好的事物！我们可以直接戳东西了！但现在我们生活在一个扁平的世界，一切都隐藏在玻璃展示柜后面。

随着越来越多的 AI 聊天机器人出现，我们正在失去更多的东西：纹理、颜色、形状。我们不再使用交互式控件，而是使用文本输入。想要编辑图像？键入命令。调整设置？在文本框中键入。学习新知识？阅读另一段文字。

做的乐趣 (The Joy of Doing)

我们已经成功地从我们的应用中消除了所有摩擦——想想滚动浏览社交信息流是多么轻松。但这是我们想要的吗？将末日滚动 (doomscrolling) 的感觉与揉面团、演奏乐器、素描进行比较……这些都需要付出努力，但也令人非常满意。当你剥夺了太多的摩擦时，意义和满足感也会随之消失。

想想你如何使用物理工具。绘画不仅仅是移动你的手——而是铅笔在纸上的感觉，压力的细微调整，石墨划过的声音。你移动你的身体去够到画布的另一边。你用另一只手擦除。你退后一步看整体画面。

我们让绘画感觉像打字， 但我们应该让_打字_感觉像_绘画_。

将 "你" 放回 UI (Putting the you back in UI)

那么，如果我们塑造界面以适应我们自己，我们的界面会是什么样子？

我们用_运动_思考， 用_空间_思考， 用_声音_思考， 用_模式_思考。 我们用手来雕刻，用眼睛来扫描，用耳朵来捕捉模式。

我们的计算机可以通过许多不同的格式与我们交流，每种格式都有其自身的优势：

文本 非常适合深度、细节和精确度。 但并不总是需要完整的段落。先显示关键点，然后让用户展开怎么样？

可视化 非常适合空间关系、趋势和快速洞察。 我们能否在空间上显示更多内容？或者将其编码在图表或颜色中？

声音 非常适合警报和背景意识。还有，模式。 为什么大多数 Web UI 都是静音的？我们可以使用微妙的声音或音效来突出显示模式吗？

触觉 提供被动反馈（振动、力）。 这是我总是忘记的一个！我们可以振动手机来提醒或传达模式。

反过来呢！我们也可以通过许多不同的方式与计算机通信，每种方式都有其自身的优势：

打字 精确、详细且熟悉 适用于撰写长篇想法、键盘快捷键和粗略方向。

点击和拖动 直接、细粒度的控制。 非常适合空间任务（设计、组织）和指向屏幕上的事物。

点击、滑动、捏合 直观的直接操作。 非常适合移动设备，但我们是否必须将手势限制为模仿鼠标交互？

手势 免提、流畅且富有表现力。 对于可访问性、快速操作和复杂的精细控制可能非常强大——此时可靠的检测感觉非常可行。

说话 易于表达零散的想法。 LLM 使得语音更加可行——我们可以让用户大声思考或用他们的声音进行粗略导航吗？

当我们结合不同的模态时，真正的魔力就会发生。你不能同时阅读、聆听和说话——尝试在谈论你的一天的同时阅读这段摘录：

如果五月的一个早晨没有下雨，瓦兰西·斯特林的生活将会完全不同。她会和她的其他族人一起去惠灵顿阿姨的订婚野餐，特伦特医生会去蒙特利尔。但是下雨了，你将听到因为下雨发生在她身上的事情。 ~ The Blue Castle

但是你可以在点击的同时说话， 在阅读的同时聆听， 在旋转旋钮的同时看图像， 在说话的同时做手势。

让我们构建能够让我们在各种感官之间进行多任务处理的界面。

重建桥梁 (Rebuilding the bridge)

那么，更丰富的界面会是什么样子？我坚信我们未来的界面应该：

• 让我们在有形的物品上进行协作，而不仅仅是短暂的聊天记录。
• 支持多个并发模态——语音、手势、视觉、空间组件。
• 响应环境信号——检测上下文、组织信息、帮助我们更好地思考。

去年，我粗略地探索了这对于思想组织工具会是什么样子。一个可以在你说话或打字时监听，并将你漫无边际的想法组织成卡片的工具。

这个界面非常粗糙，但感觉像是与技术互动的一种不同的方式。特别是它如何让我一会儿磕磕绊绊地表达粗略的想法，然后又可以响应诸如“重新组合我的卡片”或“添加 3 张关于这个的卡片”之类的命令。

我很乐意看到更多这样的探索！

我们的界面正在失去 "知觉" (Our interfaces have lost their senses)

我们整天戳、滑动和滚动浏览扁平、无声的屏幕。但我们不仅仅是眼睛和一根指针手指。我们用我们的手、我们的耳朵、我们的身体来思考。

计算的未来正在被设计。我们能构建更丰富的东西吗——可以和我们一起移动、说我们的语言并塑造我们的身体的东西？