【人工智能】对比迁移学习，微调，多任务学习和联合学习

𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐌𝐮𝐥𝐭𝐢𝐭𝐚𝐬𝐤 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠.

大多数ML模型是独立训练的，没有与其他模型进行任何交互。

但现实世界中的ML使用了许多强大的学习技术，这些技术依赖于模型交互。

以下动画总结了四种行之有效的培训方法：

👉 在这里找到更生动的视觉解释：https://lnkd.in/gBnfFCgB.

--

1.𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠

在以下情况下有用：

• -感兴趣的任务的数据较少。
• -但一项相关任务有着丰富的数据。

它是这样工作的：

• -在相关任务上训练神经网络模型（基础模型）。
• -用新图层替换基础模型上的最后几层。
• -对网络进行感兴趣的任务训练，但不要更新未训练层的权重。

对相关任务的训练首先允许模型捕捉感兴趣任务的核心模式。

接下来，它可以调整最后几层，以捕捉特定于任务的行为。

2.𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠

更新预训练模型的某些或所有层的权重，使其适应新任务。

这个想法可能看起来类似于迁移学习。但在这里，整个预训练的模型通常会根据新数据进行调整。

3.𝐌𝐮𝐥𝐭𝐢-𝐭𝐚𝐬𝐤 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠 (𝐌𝐓𝐋)

模型被训练为同时执行多个相关任务。

在架构方面，该模型具有：

• -共享网络
• -和特定任务的分支

其原理是在任务之间共享知识以提高泛化能力。

事实上，我们还可以通过MTL节省计算能力：

• -想象一下，在相关任务上训练两个独立的模型。
• -现在将其与具有共享层和特定任务分支的网络进行比较。

选项2通常会导致：

• -更好地概括所有任务。
• -存储模型权重的内存较少。
• -训练期间资源使用较少。

4.𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠

这是一种去中心化的ML方法。在这里，训练数据保留在用户的设备上。

因此，在某种程度上，这就像将模型发送到数据，而不是将数据发送到模型。为了保护隐私，仅从设备收集型号更新并发送到服务器。

我们智能手机的键盘就是一个很好的例子。

它使用外语学习打字模式。这种情况不会将敏感的击键传输到中央服务器。

注意：在这里，模型是在小型设备上训练的。因此，它必须是轻量级的，但有用。

模型压缩技术在这种情况下很普遍。我在评论中链接了一个详细的指南。