Ivy.ai × Zilliz Cloud：构建 GenAI 驱动的聊天应用

用Ivy.ai首席技术官的话来开场，可能比任何产品介绍都更直白：“可靠性、可扩展性和性能都很棒。而且我们可以外包所有这些管理工作，不必担心服务器故障，这有助于我们将资源投入到产品开发和创新上，这真正使得我们的业务与众不同。”

01. 关于Ivy.ai

Ivy.ai做的事情，其实一句话就能概括：帮教育、医疗、公共部门把沟通效率提上去。他们的核心产品IvyQuantum™从2023年问世，就已经不是一个简单的问答机器人了。它能做的事情包括：

• 跨渠道沟通——网页、信息、语音、WhatsApp、社交媒体，全都能接入

• 在线客服实时对接

• AI自动生成电子邮件回复

• 无缝对接账户信息查询和潜在客户线索收集

不过，真正让Ivy.ai脱颖而出的，是其对数据安全和隐私保护的关注。毕竟，教育机构和医疗组织打交道的信息，很多都相当敏感。他们用特定的数据源来训练模型，确保每一次交互都能精准匹配客户的个性化需求。

02. 挑战：把GenAI推到教育场景里去

从早期基于检索的Ivy 1.0，升级到由GenAI驱动的IvyQuantum™，这条路并不好走。团队面临的挑战非常具体：需要一个能处理数十亿向量、支持亚秒级查询、并且随着数据量和业务需求同步膨胀而依然稳如泰山的解决方案。更关键的是，团队不想把精力花在管服务器上——创新才是正事。

在技术选型时，他们对市面上多个向量数据库进行了性能测试。高级数据科学家Saumil Patel回忆说：“Milvus的表现，在所有选项里是出类拔萃的。”它的QPS、写入速度和召回率，让团队印象颇深——这些恰恰是支撑一个GenAI聊天平台的核心指标。用户提问后，系统必须在眨眼间从向量数据库里找到最匹配的结果。

但事情没有那么顺畅。当他们在Google Cloud Platform上用Kubernetes自托管Milvus时，问题来了。“数据负载和需求一上来，系统就在生产环境中频频崩溃，”CTO Michal Oglodek说。面对这种局面，Ivy.ai没有选择硬扛，而是开始寻找一个更可靠、更能放手交付的路径。

03. Zilliz Cloud：全托管的向量数据库，扛住百亿级数据

经过几轮评估，他们最终选择了Milvus的全托管云服务——Zilliz Cloud。这套方案能够处理百亿级别的向量数据，这对IvyQuantum™的检索增强生成（RAG）应用来说，是刚需。更重要的是，全托管意味着Ivy.ai可以把数据库管理这摊事完全扔给Zilliz，自己专注在业务核心上。

注：Zilliz Cloud 助力 Ivy.ai Chatbot 架构示意图

可扩展性尤其让人安心。Oglodek说得很直白：“我们希望业务能轻松扩上去，而Zilliz Cloud的软件和服务正好让我们做到了这一点。”这种灵活度，对一个快速增长的业务来说，太重要了。而托管模式直接解决了他们自建时频繁遇到的稳定性问题——生产可靠性，这才是底线。

Patel对Zilliz Cloud的监控和分析能力赞不绝口：“我们能清清楚楚看到每秒的查询量和数据库当前总容量。”这种对数据库状态的实时洞察，对于优化运营和规划未来增长来说，价值不言而喻。

04. Zilliz Cloud——业务创新的基石

切换成Zilliz Cloud之后，Ivy.ai在业务层面拿到了实实在在的收益：

• 可靠性大幅提升
  ：从上线至今，再没有发生过停机或重大故障，客户体验的连贯性有了保障；

• 可扩展性轻松实现
  ：资源扩展变得像呼吸一样自然，甚至支撑了他们推出免费试用策略来获取新客户；

• 性能显著增强
  ：即便数据量自上线以来已经翻了两倍不止，系统依然保持快速响应，没有任何性能焦虑。

Oglodek的总结非常简洁：“可靠性、可扩展性和性能都无可挑剔。我们把这些管理工作外包出去，再也不用操心服务器出问题，团队的所有精力都能花在产品开发和创新上——这才是我们的核心竞争力。”

05. 展望未来

站在Zilliz Cloud提供的稳定、可扩展、高性能底座上，Ivy.ai对GenAI驱动的未来增长充满信心。市场营销高级副总裁Sharon Harrison说得很坚定：“创新是我们公司的灵魂。”随着GenAI持续重塑教育领域，背后由Zilliz Cloud向量数据库支撑的Ivy.ai，正稳稳站在变革的前沿，时刻准备迎接教育机构和学生不断变化的新需求。