导读：让我们来研究下 Uber 和 Netflix 上的 KSQL，ONNX，AutoML 和机器学习平台，看看它们之间是如何相互关联的。
在2018慕尼黑 OOP 会议上，我展示了使用 Apache Kafka 生态系统和深度学习框架（如 TensorFlow，DeepLearning4J）构建可扩展关键型（mission- critical）任务微服务的最新版本。本文中，我想分享出最新的幻灯片并讨论最新趋势。
本博文的主要内容与我在 Confluent Blog 中写的关于 Apache Kafka 生态系统和机器学习文章一样，但这里我更关注深度学习/神经网络。我还讨论了 Apache Kafka 生态系统中的一些创新以及机器学习最近几个月的趋势：Uber 和 Netflix 上的 KSQL，ONNX，AutoML 和机器学习平台。下面，让我们来看看这些有趣的平台以及它们之间是如何相互关联的。
KSQL：Apache Kafka 上的流式 SQL 语言
根据这篇文章(https://www.confluent.io/blog/ksql-open-source-streaming-sql?spm=a2c4e.11153959.blogcont507388.15.33b53218bbuEnD)可知：
“KSQL 是 Apache Kafka 上的流式 SQL 引擎，KSQL 降低了流处理领域的门槛，为 Kafka 中的数据处理提供了一个简单且完全交互的 SQL 接口，并且不再需要用诸如 Java 或 Python 编程语言编写代码！KSQL 是一个开放源码（Apache 2.0 licensed），具有分布式，可扩展，可靠和实时等特性。它支持大量的流处理操作，包括聚合，连接，窗口化，会话等等。”
你可以编写类似 SQL 查询的语句来部署可伸缩的关键型流处理 app（利用 Kafka Streams 底层技术）——这绝对是 Kafka 开源生态系统中的一大亮点。
KSQL 和机器学习
KSQL 是在 Kafka Streams 基础之上构建的，因此允许构建可扩展的关键型服务，它还包括神经网络在内的机器学习模型可通过构建用户自定义函数（UDF）轻松的嵌入。这些天我正在准备一个例子：将一个神经网络（更确切地说是一个自动编码器）用于传感器分析对异常进行检测，例如：实时检测病人健康检查中的健康临界值，以便向医生发送警报。
现在我们来谈谈机器学习生态系统中一些比较有意思的新发展。
ONNX：代表深度学习模式的开放版本
根据 ONNX 官网可知：
“ONNX 代表着深度学习模式的开放版本，采用 ONNX，AI 开发人员可以更轻松地在各种最先进的工具之间对模型进行迁移，并选择最适合他们的组合。”
这听起来与 PMML（预测模型标记语言，更多细节请参阅本文）和 PFA（便携式格式分析）类似，这两个标准用于定义和共享机器学习模型。然而，ONNX 在几个方面有所不同：
ONNX 专注于深度学习；
ONNX有几家巨型科技公司（AWS，微软，Facebook）和硬件厂商（AMD，NVidia，Intel，Qualcomm）在使用。
ONNX 已经支持许多较为领先的开源框架（TensorFlow，Pytorch，MXNet）。
ONNX 已经是 GA 版本1.0，并且可以在生产环境中使用（2017年12月由亚马逊，微软和 Facebook 声明）。对于不同的框架来说是一个很好的入门指南。
ONNX 和 Apache Kafka 生态系统
不幸的是，ONNX 还不支持 Java。 因此，目前还不支持将它嵌入到 Kafka Streams Java API 本地——只能通过一种解决方法：执行 REST 调用或嵌入 JNI 绑定。但我相信这只是时间问题，因为 Java 平台对许多企业部署关键任务应用程序来说非常重要。
现在，你可以使用 Kafka 的 Java API 或其他 Kafka 客户端。Confluent Blog 为多种编程语言提供了官方客户端，如 Python 或 Go，这两种编程语言都适用于机器学习应用程序。
自动机器学习（AKA AutoML）
如此处所述：
“自动机器学习（AutoML）是一个炙手可热的新领域，旨在使您轻松选择不同的机器学习算法，其参数设置和预处理方法提高了在大数据中检测复杂模式的能力。”
使用 AutoML，你不需要学习任何关于机器学习的知识就可以构建分析模型。 AutoML 使用决策树、聚类、神经网络等不同的实现方式来构建和比较不同模型，AutoML 支持即开即用。你只需要上传或连接历史数据集，然后单击几个按钮即可启动该过程——不一定对于每种用例来说都是完美的，但是你可以很轻松的改进许多现有的流程，而无需使用罕见且昂贵的数据科学家。
DataRobot 和 Google AutoML 是这个领域众多知名云产品中的两个。H2O AutoML 被集成到其开源的机器学习框架中，同时它们也提供了一个非常好的基于UI的商业产品，称为无人驾驶汽车AI。我强烈建议在任何一个 AutoML 工具上花费30分钟的时间来研究下，来看看现在的人工智能工具如何发展，这真的很吸引人。
AutoML 和 Apache Kafka 生态系统
大多数 AutoML 工具都提供了模型的部署。你可以访问分析模型，即通过一个 REST 接口，而不是像 Kafka 可扩展的事件驱动架构这样的的完美解决方案。 有一个好消息就是：许多 AutoML 解决方案还允许导出其生成的模型，以便将它们部署到你的应用程序中。例如，在 H2O 开源框架中的 AutoML 只是众多选择之一。您只需在你选择的编程语言（R，Python，Scala，Web UI）中使用另外一个操作：
这和构建线性回归方法、决策树或神经网络比较类似。其结果是生成的 Java 代码，你可以很轻松地将其嵌入到 Kafka Streams 微服务或任何其他的 Kafka 应用程序中去。借助 AutoML，你无需对机器学习有特别深入的了解，同样也可以构建和部署高度可扩展的机器学习。
ML 平台：Uber 的 Michelangelo 平台; Netflix 的 Meson 平台
科技巨头通常比“传统企业”早几年，他们早在几年前就已经建立了你今天或明天想要建造的东西。同样，ML 平台也不例外。编写一个来训练分析模型的机器学习源代码只是真实世界 ML 基础设施中非常小的一部分。你需要考虑整个开发过程，下图显示了 ML 系统中隐藏的技术结构：
你可能会用不同的技术来构建几个分析模型，并非所有内容都将在你的 Spark、Flink 聚类或单个云基础架构中构建。你可以在公共云中的一些大而昂贵的 GPU 上运行 TensorFlow 来构建强大的神经网络。又或者你可以使用 H2O 构建立一些小的，但非常有效率和高性能的决策树，它能在几微秒内做出推断。 ML 有许多应用用例。
这就是为什么许多科技巨头已经建立了自己的 ML 平台，如 Uber 的 Michelangelo 或Netflix 的 Meson。这些 ML 平台允许他们构建和监控强大的可扩展分析模型，同时也能够灵活地为每个用例选择正确的 ML 技术。
应用于 ML 平台的 Apache Kafka 生态系统
Apache Kafka 能够取得如此成功的原因之一就是它被很多科技巨头广泛使用。几乎所有伟大的硅谷公司，如 LinkedIn，Netflix，Uber 和 eBay 都在谈论他们将 Kafka 作为其关键任务应用的中枢神经系统。许多人专注于分布式信息流平台，但是我们也看到越来越多的附加组件被采用，如 Kafka Connect，Kafka Streams，REST Proxy，Schema Registry 以及 KSQL。
再看看上面的图片，想一想：Kafka 不适合 ML 平台吗？它可以进行训练，监控，部署，推理，配置，A / B 测试等。这也许就是 Uber，Netflix 和其他许多公司已经将 Kafka 作为 ML 基础设施核心组件的原因。
这一次，你不会被迫只使用一种特定的技术。Kafka 最棒的设计理念之一就是：你可以一次又一次地从它的分布式提交日志中重新处理数据，这就意味着可以使用一种技术构建不同的模型作为 Kafka 接收器（比如 Apache Flink 或 Spark），或者连接不同的技术，如：用于本地测试的 scikit-learn，运行在 Google Cloud GPU 上实现强大的深度学习的 TensorFlow，用于 AutoML 的 H2O 节点的部署安装，以及其它的部署在 Docker 容器或 Kubernetes中 Kafka Streams ML 的一些应用程序。所有这些 ML 应用程序都会按照自己的步调并行地使用数据，不过他们经常性的必须这么做。
这个例子很好的说明了如何使用 Kafka 和 Kafka Streams 来自动训练以及对可扩展 ML 微服务的部署。它没有必要再添加另一个大数据集群，这就是在你的 ML 应用程序上使用 Kafka Streams 或 KSQL 代替其他流处理框架的主要区别之一。
Apache Kafka 和深度学习：OOP 会议上的幻灯片
在对 Apache Kafka 生态系统和机器学习/深度学习的新趋势的所有讨论的同时，也展示了作者在 OOP 2018 会议上的演讲中展示幻灯片，幻灯片请点击此处观看(https://dzone.com/articles/5-machine-learning-trends-2018-combined-with-apach?spm=a2c4e.11153959.blogcont507388.34.493e3218ggyLiJ)。
我还使用了 Apache Kafka，Kafka Streams 以及不同的开源ML框架（如H2O，TensorFlow 和 DeepLearning4j（DL4J））构建了一些示例。GitHub 项目显示了将分析模型部署到高度可扩展的容错任务关键型 Kafka 微服务上是一件很容易的事。我们也很快将会推出一个 KSQL 演示。
本文由阿里云云栖社区组织翻译。
文章原标题《5 Machine Learning Trends for 2018 Combined With Apache Kafka Ecosystem》
译者：Mags，审校：袁虎。
作者信息：
转自：『云栖社区』公众号
资源下载
关注公众号：数据和云（OraNews）回复关键字获取
‘2017DTC’，2017 DTC 大会 PPT
‘DBALIFE’，“DBA 的一天”海报
‘DBA04’，DBA 手记4 经典篇章电子书
‘RACV1’, RAC 系列课程视频及 PPT
‘122ARCH’，Oracle 12.2 体系结构图
‘2017OOW’，Oracle OpenWorld 资料
‘PRELECTION’，大讲堂讲师课程资料