如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
2017/5/18 晚追加 据某专业人士介绍，那些看着像网线的还是 PCI-E。空着的那两个接口，是某种带宽更大的接口。。。 原答案: 不得不承认，TPU 的迭代速度超出了我的预期。 从现有的资料来看，单芯片可以做到 45 TFLOPS，四颗芯片可以达到 180 TFLOPS（每一块 TPU 卡有四颗 TPU 芯片）。作为比较，Nvidia V100 的 Tensor Core 可以达到 120 TFLOPS（单卡，单芯片）。 尚未公布但颇为关键的 Spec 包括： 1. 利用率。上一代 TPU 受限于 I/O，利用率并不理想。从这一次的封装来看，应该已经用上了 HBM。于是问题是这一代 TPU 是否能达到理想的利用率，180 TFLOPS 的理论计算能力可以利用多少？ 2. 浮点精度。这一代的 TPU 引入了浮点运算，因此即可用作 Inference 也可用来 Training。那么问题是其浮点精度是 16 bit 还是 32 bit。从公布的理论 TFLOPS 来看，FP16 的可能性最大。那么在做累加时，可否像 V100 一样提升到 FP32。 3. 板间通信。与上一代 TPU 不同，这一代 TPU 似乎并不需要安装在服务器上，而是直接通过 PCIE 或者 IB 进行互联。这对于提高整个系统的 Perf/Watt 和减少延时都会有很大的帮助。 下图为一块 TPU 卡，四片巨大的散热器下面分别是四颗 TPU 芯片。板子上没有内存颗粒，应该用的是 HBM，与芯片封装在一起。每颗 TPU 有两个以太网接口，板子上除了电源接口以外，没有其他类似 PCI-E 的接口。 下图为 TPU 的机架，同样看不到主机的身影。
Peak throughput 花了一年时间从TPU一代的92T ops改进到第二代的45T flops 也不算太离谱。Google说第二代支持training，不知是因为用了全新架构还是因为支持了浮点计算。单纯看数字不到GV100一半。 Memory 方面不知道所谓的 64 GB of ultra-high-bandwidth memory per Cloud TPU 是不是就是每个芯片16GB hbm。如果是的话，那就和GV100一样。 芯片间link似乎也抛弃了pcie，具体情况不详。 Power和die area不详。 总体来说Google大概的意思就是我们有了一个对tensor flow优化的特别好芯片。四个TPU芯片加起来的peak throughput超过GV100。你们提交给我家cloud的任务也许会用这种芯片来完成。但也不一定，因为cloud里也有CPU和GPU。 唯一想吐槽的一点是为什么总是要强调180Tflops。直接说一个芯片是45T，一个pod有256个芯片不好吗。 数据来源：