Google I/O 2017推出的Tensorflow Lite有什么意义
发布网友
发布时间：2022-04-21 09:45
共1个回答
热心网友
时间：2023-08-13 16:24
点看：
1. TensorFlow采用DataFlow数据流模型我觉Dryad太相似处外Dryad第提DataFlow模型要说早参考MIT TaggedToken
machine面static dataflow dynamic dataflow architecture[2]资料. 规模机器习系统全面、靠支持DataFlowfeature本件容易事情Tensorflow做点支持control_dependence, merge, condition,for-loop/while-loop, iteration1. 像LSTMunrolling原需要predefine unroll现用for-loop做展(内部维持状态变化) 2. 比些算需要同input example做同训练(同gradient更新variables)前需要hack东西(至少DistBelif)现需要ConditionOp解决3. 比同variables用同optimizerSGD/AdaGrad/FTRL/Momentum等ControlFlow支持tensorflow graph更像种语言抽象(variables, tensors, controlflow, compile[指rewrite整graph, send/recv node, un-reference, graph partition, dynamic placement], parallelismfunctional programming等)角度讲少新东西面
2. 否用DataflowBSP并直接应关系Dataflowtensor/token流 schele控制流别部事情(session 何drive)事实Tensorflow提供灵性用户容易层做BSP(非喜欢做种模型缺点fault tolerance难做)SSP(非要概念引入) 或者parameter server结构(事实我认种通用结构pscentralized起存状态variables已, 5前DistBelief种架构)框架抽象进步做Synchronous or Asynchronous training所说Dataflow能做BSP没缘由
3. 数据表示tensor/token单单点非要说少创新确实谈基于tensor每single op做实现考究Eigen始每kernels op基本都micro-benchmark保证单opperformance达优既kernel级tensorflow框架支持用户随便扩展GPU、CPU甚至即使CPU针同指令级做优化定制任何事情失系统设计本身trade-off比本所东西揉起操作指针、inplace内存读写现抽象各粒度operatorsoperators间读写难免overhead(graph rewrite已经限度避免)所概括言TensorFlow采用(目标)设计其实proction级performance/熟度research flexibilitytrade-offGoogle内部各种产品线(Search/inbox/Photo等)使用看系统论各面都经受住考验(performance/scalability/flexibility/usability等)Ps: TensorFlow绝能做deep learning, shallow/wide model 及传统ML都基于系统做(些operators并现需要实现)
4. 说机版本源问题各种复杂素导致release版本没机面比并没job shele高性能RPC系统支持问题深入讲希望久些障碍都排除说DistBelief性能比较各种task表明Tensorflow比DistBelief性能提高少(我说几Xnumber显同tasksnumbervariance. Tensorflow比DistBelief扩展性灵性优势自用少）要说放比较数据更没意义DistBelief本身并没源
5. 再说distributed version support问题仔细研究Tensorflowframework发现再前基础加布式支持相容易用Zeromq/MPI 任何种高效通信框架做结合前Graph rewritefunctionality需要增加些通信节点
6. 关于详细情况请参考Tensorflow writepaper[3]欢迎试用
[1]: Arvind and David E. Culler. Annual review
of computer science vol. 1, 1986. chapter
Dataflow Architectures, pages 225–253. 1986
doc=GetTRDoc.pdf&AD=ADA166235.
[2]: Arvind and Rishiyur S. Nikhil. Executing a program
on the MIT tagged-token dataflow architecture.
IEEE Trans. Comput., 39(3):300–318, 1990.
[3]: TensorFlow:
Large-Scale Machine Learning on Heterogeneous Distributed Systems
