dropbox怎么用(iPad使用dropbox)( 三 ) _iPad

模型性能指标：我们为机器学习团队使用的 Cannes v1 的模型建立了指标，并建立了自己的流水线来计算这些指标。我们关心的指标包括：

混淆矩阵，尤其需要注意假阴性率的变化。
ROC 曲线下的面积：虽然我们直接监视了混淆矩阵的统计信息，但我们也希望计算 AUROC，以便将来比较模型的性能。

上述模型性能指标每小时计算一次，并存储在 Hive 中。我们使用 Superset 来可视化重要的指标，并创建了一个 Cannes 的实时变化仪表板。Superset 是在各项指标的基础之上构建的，如果底层模型行为发生变化，它会赶在客户受到影响之前主动通知我们。
然而，仅凭监视和警报不足以确保系统健康，明确责任并建立上报问题的流程也是必要的。例如，我们记录了机器学习系统的上游依赖项，因为它们可能影响到模型的结果。此外，我们还创建了一个手册，详细介绍了解决问题的步骤，帮助值班的工程师判断问题来自 Cannes 内部还是其他的其他部分，并提供了在根本原因是机器学习模型的情况下，上报问题的流程。机器学习团队与非机器学习团队之间的紧密合作有助于确保 Cannes 的平稳运行。
目前的状况与未来的探索目前 Cannes 已部署到几乎所有的 Dropbox 流量中了。结果，我们每年 170 万美元的预热成本变成了如今每年 9,000 美元的机器学习基础设施（主要用于建议后台和预测服务的流量增加）。
对于该项目的下一个迭代，我们有许多期待的探索方面。如今 Cannes 已投入生产，我们可以尝试更为复杂的模型类型。我们还可以根据更详细的内部费用和使用情况数据，为模型开发更细致的成本函数。
我们还讨论过新建一个预览应用程序，通过机器学习更细致地控制预测决策，而不是针对每个文件进行预热/不预热的二元分类。我们可以通过具有预见性的预热来发挥更大的创造力，降低成本，同时又不会破坏用户的文件预览体验。
我们希望将 Cannes 项目积累的经验和工具推广到 Dropbox 的其他基础设施。利用机器学习优化基础设施是一个振奋人心的投资领域。
参考链接：https://dropbox.tech/machine-learning/cannes--how-ml-saves-us--1-7m-a-year-on-document-previews