3Training for Detection 在前面第2步之后，就开始把网络移植到detection，并开始基于检测的数据再进行finetuning首先把最后一个卷积层去掉，然后添加3个3 3的卷积层，每个卷积层有1024个filter，而且每个后面都连接一。
这篇论文同样否定了剪枝之后保留权重的重要性，但是也否定了保留初始化参数的必要性，认为 剪枝之后的finetune得到的模型效果，往往差于直接从头训练剪枝模型，虽然从头训练剪枝之后的结构的模型往往需要更多的训练轮次 为什么之前的论文实验中。
用GlobalAvgPool去代替全连接层，最终留下了一层方便做finetune的全连接层加了两个softmax分支，1是避免梯度消失太深了，2是搞一个简单模型用于模型融合V2 用两个3x3代替了5x5 首次使用BN进行了正则化V3 使用。
那么就会在BERT的输入token中加入一个 class token，这个和vit的做法一样，encoder以后用class token的向量做一下linear transoformation 和softmax和gt做损失训练，所以这一步可以直接初始化BERT模型的预训练参数做finetune，效。
基于第一步得到的各层参数进一步finetune整个多层模型的参数，这一步是一个有监督训练过程第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能。
这算是一种方法当然，加权之前一般应该先干掉stop word，词聚类处理一下还有，doc2vec中的paragraph vector也属于直接得到doc向量的方法特点就是修改了word2vec中的cbow和skipgram模型依据论文Distributed。
如果是在预训练模型的基础上finetune，读取预训练模型训练好的lookup table假设输入的句子经过tokernized长度为16经过lookup table就是16*768维的句子表示2 position embeddingposition embedding的lookup table 大小512*768。
首先是视觉自监督大模型，让毫末在中国首个实现4D Clip的自动标注毫末利用海量videoclip，通过视频自监督方式，预训练出一个大模型，用少量人工标注好的clip数据进行Finetune微调，训练检测跟踪模型，使得模型具备自动标注的能力然后，将已经。
先在一个大的数据集上面训练模型RCNN中的卷机模型使用的是AlexNet，然后利用这个训练好的模型进行finetune或称为迁移学习，即使用这个预训练好的模型参数初始化模型参数，然后在目标数据集上面进行训练 此外，在训练时，作者还尝试。
蓝海大脑作为大模型训练方面的专家认为对于LLM大模型的finetune，避免过拟合的方法主要包括数据增强正则化早停法Dropout和拟标准化等方法通过对训练数据进行随机扰动旋转裁剪等操作，生成更多多样化的数据，以增加。
那么就会在BERT的输入token中加入一个 class token，这个和vit的做法一样，encoder以后用class token的向量做一下linear transoformation 和softmax和gt做损失训练，所以这一步可以直接初始化BERT模型的预训练参数做finetune。