Domain Adaptation

本文都是李宏毅老师课堂上的总结

背景和意义：

通常在实际生活中我们的训练集和测试集有很大的差异，例如下图左边为你的训练集，而真正让你进行检测和预测的确是右边的图片。

1. Domain Adaptaion 与 transformer learing的区别

Domain Adaptation 是 transformer learing 的一个子部分

2.什么是domain？

Source domain（S）： 主要是指我们的训练集 这里每个数据都有相应的label
Target domain（T）： 主要是预测集 没有label 而且与S 是不同的domain

3.运用

例如 使用gta5 的街景数据，帮助真实世界的街道数据分割之类的任务，因为gta是电脑生成的很容易获取位置

4.原理

Features： 这里就是指的提取出的特征，例如通过resnet 或者vgg提取出的特征 如下图所示

5.实现方法

主要的实现方法分为三类：

1. Discrepancy-base methods
2. Adversarial-based methods
3. Reconstruction-based methods

1. Discrepancy-base methods
主要通过一些统计量，计算Target domain 和 Source domain的距离，希望他们统计量上的分布式非常接近的.
样例paper：Deep Domain Confusion：Maximizing for Domain Invariance

2. Adversarial-based Approaches
Domain Classifier：判断图片来自T 还是 S

Simultaneous Deep Transfer Across Domains and Tasks 开山之作
假设：

paper：的主要内容

1. Maximu Domain Confusion
   
   类似于GAN的思想：首先希望classifer可以正确分类，然后将classifer的参数不变，修改feature extractor希望他可以骗过classifer
   

2. Transfer Label Correlation
   
   让判断东西可能性 也是相符合，class 与 class 之间的关系也作为一个特征。

在实现上述之前 为了突出class之间的关系 我们将Harder lablel 转为 Soft label


Pixel Level：使用GAN 进行对于原图生成神奇宝贝 然后交给鉴别器鉴别，最后用来分类。
文章为什么叫做Pixel level：其实默认s和t之间high level的性质差不多，但是low-level的差别较大。

3. Reonstruction-based
Deep Spearation Networks

解释：

因为我们的目标是分离出特征 所以希望Private Target Encoder 和 Shared Encoder 得出的feature 越不相似越好 所以我们做的就是通过让他们得出的feature 相乘等于0 等于相互

Frobenius norm(Frobenius 范数)

拉近相似度的距离：

L （reconstruction）为了训练出来的不是垃圾 可以重新生成之后和原本的数据非常相似。

Feature Disentanglement：例子：InfoGAN，ACGAN

他和其他gan 不同的地方在于有C(latent) 是可解释的

他的C（class）使得可以生成不同class 的照片