1. 链一财经首页
  2. 资讯

TensorFlow:BigData平台与AI平台协作的桥梁

定义

BigData平台:是以大规模分布式存储、运算,以及展现作为目标的平台,属于通用计算平台。一般包括以下的几个过程:数据采集、数据存储、数据处理、数据展现(可视化,报表和监控)。

AI平台:定位于人工智能学习训练,用于训练各种多层神经网络模型,包括图像识别、语音识别,机器翻译等,属于专用计算平台。

两个平台主要区别

首先是硬件配置不同:

BigData平台使用普通的机器,集群规模可达几百台机器。计算能力依靠多核CPU,通信依靠以太网卡。

AI平台采用高性能计算(High Performance Computing),集群规模一般在几台左右。机器配备高性能的GPU显卡和InfiniBand网卡。GPU计算能力是CPU的几十倍甚至达到几百倍。依靠InfiniBand网卡进行高速传输,不通过 OS 内核以及 TCP/IP 协议栈在网络上传输数据,因此延迟非常低,CPU 消耗非常少。

其次是软件使用方式不同:

TensorFlow是谷歌研发的第二代人工智能学习系统,可被用于语音识别或图像识别等多项机器深度学习领域,支持CPU和GPU计算。目前在BigData平台和AI平台上都选择使用TensorFlow作为深度学习工具。

BigData平台上不安装独立的TensorFlow集群,通过Yahoo发布的新框架TensorFlowOnSpark,支持TensorFlow在Spark和Hadoop集群上分布式执行。

AI平台使用Kubernetes或Docker管理工具搭建独立的TensorFlow集群,使用原生的方式运行分布式TensorFlow任务。

两个平台如何协作?

BigData平台擅长数据预处理转换、全流程业务处理、模型发布。AI平台擅长深度学习网络层次设计,快速训练模型、调整参数权重。两个平台之间可以取长补短,相互合作关系如下图:

TensorFlow:BigData平台与AI平台协作的桥梁

步骤1,BigData平台数据仓库中保存大量原始数据,如图片库、自然语言数据集等,利用Spark集群并发处理,把原始数据转换成TensorFlow专用的TFRecords格式数据。  

TensorFlow:BigData平台与AI平台协作的桥梁

步骤2,AI平台接收到TFRecords格式数据,设计神经网络模型结构层次、参数信息,在TensorFlow集群上开始训练神经网络。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤3,AI平台训练结束,输出模型文件。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤4,BigData平台获取训练好的模型,在Spark集群上做进一步处理。使用TensorFlowOnSpark加载模型文件,然后使用新数据进行增量训练,进一步完善模型,提供识别准确率。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤5,BigData平台增量训练结束,把最终生成的模型作为服务方式(例如Web服务方式)对外发布,供其它应用场景预测使用。

总结

综上所述,在当前人工智能产业蓬勃发展的大好形势下,BigData平台和AI平台不是竞争关系,而是紧密合作关系,可以实现共存共荣。

根据国家《关于防范代币发行融资风险的公告》,大家应警惕代币发行融资与交易的风险隐患。

本文来自LIANYI转载,不代表链一财经立场,转载请联系原作者。

发表评论

登录后才能评论

联系我们

微信:kkyves

邮件:kefu@lianyi.com

时间:7x24,节假日bu休息

QR code