https://github.com/zjhellofss/KuiperInfer 欢迎pr和点赞
手把手教大家去写一个深度学习推理框架 B站视频课程
Relu是一种非线性激活函数,它的特点有运算简单,不会在梯度处出现梯度消失的情况,而且它在一定程度上能够防止深度学习模型在训练中发生的过拟合现象。Relu的公式表达如下所示,「如果对于深度学习基本概念不了解的同学,可以将Relu当作一个公式进行对待,可以不用深究其背后的含义。」
(相关资料图)
我们今天的任务就是来完成这个公式中的操作,「值得注意的是,在我们的项目中,x和y可以理解为我们在第二、第三节中实现的张量类(tensor).」
Operator类就是我们在第一节中说过的计算图中「节点」的概念,计算图的另外一个概念是数据流图,如果同学们忘记了这个概念,可以重新重新翻看第一节课程。
在我们的代码中我们先定义一个「Operator」类,它是一个父类,其余的Operator,包括我们本节要实现的ReluOperator都是其派生类,「Operator中会存放节点相关的参数。」例如在「ConvOperator」中就会存放初始化卷积算子所需要的stride, padding, kernel_size等信息,本节的「ReluOperator」就会带有「thresh」值信息。
我们从下方的代码中来了解Operator类和ReluOperator类,它们是父子关系,Operator是基类,OpType记录Operator的类型。
enumclassOpType{kOperatorUnknown=-1,kOperatorRelu=0,};classOperator{public:OpTypekOpType=OpType::kOperatorUnknown;virtual~Operator()=default;explicitOperator(OpTypeop_type);};
ReluOperator实现:
classReluOperator:publicOperator{public:~ReluOperator()override=default;explicitReluOperator(floatthresh);voidset_thresh(floatthresh);floatget_thresh()const;private:floatthresh_=0.f;};
我们会在operator类中存放从「计算图结构文件」得到的信息,例如在ReluOperator中存放的thresh值作为一个参数就是我们从计算图结构文件中得到的,计算图相关的概念我们已经在第一节中讲过。
下一步我们需要根据ReLuOperator类去完成ReluLayer的初始化,「他们的区别在于ReluOperator负责存放从计算图中得到的节点信息,不负责计算」,而ReluLayer则「负责具体的计算操作」,同样,所有的Layer类有一个公共父类Layer. 我们可以从下方的代码中来了解两者的关系。
classLayer{public:explicitLayer(conststd::string&layer_name);virtualvoidForwards(conststd::vector>>&inputs,std::vector>>&outputs);virtual~Layer()=default;private:std::stringlayer_name_;};
其中Layer的Forwards方法是具体的执行函数,负责将输入的inputs中的数据,进行relu运算并存放到对应的outputs中。
classReluLayer:publicLayer{public:~ReluLayer()override=default;explicitReluLayer(conststd::shared_ptr&op);voidForwards(conststd::vector>>&inputs,std::vector>>&outputs)override;private:std::shared_ptrop_;};
这是集成于Layer的ReluLayer类,我们可以看到其中有一个op成员,是一个ReluOperator指针,「这个指针中负责存放ReluLayer计算时所需要用到的一些参数」。此处op_存放的参数比较简单,只有ReluOperator中的thresh参数。
我们再看看是怎么使用ReluOperator去初始化ReluLayer的,先通过统一接口传入Operator类,再转换为对应的ReluOperator指针,最后再通过指针中存放的信息去初始化「op_」.
ReluLayer::ReluLayer(conststd::shared_ptr&op):Layer("Relu"){CHECK(op->kOpType==OpType::kOperatorRelu);ReluOperator*relu_op=dynamic_cast(op.get());CHECK(relu_op!=nullptr);this->op_=std::make_shared(relu_op->get_thresh());}
我们来看一下具体ReluLayer的Forwards过程,它在执行具体的计算,完成Relu函数描述的功能。
voidReluLayer::Forwards(conststd::vector>>&inputs,std::vector>>&outputs){CHECK(this->op_!=nullptr);CHECK(this->op_->kOpType==OpType::kOperatorRelu);constuint32_tbatch_size=inputs.size();for(inti=0;iempty());conststd::shared_ptr>&input_data=inputs.at(i);input_data->data().transform([&](floatvalue){floatthresh=op_->get_thresh();if(value>=thresh){returnvalue;}else{return0.f;}});outputs.push_back(input_data);}}
在for循环中,首先读取输入input_data, 再对input_data使用armadillo自带的transform按照我们给定的thresh过滤其中的元素,如果「value」的值大于thresh则不变,如果小于thresh就返回0.
最后,我们写一个测试函数来验证我们以上的两个类,节点op类,计算层layer类的正确性。先判断Forwards返回的outputs是否已经保存了relu层的输出,输出大小应该assert为1. 随后再进行比对,我们应该知道在thresh等于0的情况下,第一个输出index(0)和第二个输出index(1)应该是0,第三个输出应该是3.f.
TEST(test_layer,forward_relu){usingnamespacekuiper_infer;floatthresh=0.f;std::shared_ptrrelu_op=std::make_shared(thresh);std::shared_ptr>input=std::make_shared>(1,1,3);input->index(0)=-1.f;input->index(1)=-2.f;input->index(2)=3.f;std::vector>>inputs;std::vector>>outputs;inputs.push_back(input);ReluLayerlayer(relu_op);layer.Forwards(inputs,outputs);ASSERT_EQ(outputs.size(),1);for(inti=0;iindex(0),0.f);ASSERT_EQ(outputs.at(i)->index(1),0.f);ASSERT_EQ(outputs.at(i)->index(2),3.f);}}
gitclonehttps://gitee.com/fssssss/KuiperCourse.gitgitcheckoutfouth
我们的课程主页https: github com zjhellofss KuiperInfer欢...
赛力斯(601127 SH)披露2022年12月份产销快报,该公司12月销售新能...
作为全球首款Wi-Fi7路由,TP-LinkBE900外观更像是一台迷你主机有LED...
“总体而言,地产债的‘至暗时刻’已过去。预计2023年市场整体流动...
1、花胶燕窝一起炖的功效有止咳、止血、补肺养阴等,临床上主要可以...
华侨捐赠房子支持文旅事业老建筑成“乡愁基地”
当地时间12月30日凌晨,乌克兰首都基辅在社交平台上发布有关空袭警...
盘龙药业(002864)12月30日在投资者关系平台上答复了投资者关心的问题。
大闸蟹的公母之分,对其味道有非常大的影响!下面我就来具体介绍一...
截至12月29日,科创板两融余额合计851 44亿元,较上一交易日减少3...
证券代码:839805证券简称:中德生物主办券商:开源证券江西中德生...
森川安娜个人资料:中文名:森川安娜(森川杏奈)外文名:森川アン...
22滁州同创SCP004票面利率为5 3000%
2023平安银行天津分行派造未来实习生招聘公告天津分行派造未来实习...
12月28日,有媒体曝光拍到演员左小青带着女儿、妈妈去体育馆打网球...
会谈后列兹尼科夫通过其官方社交媒体账户发文称,法国对乌克兰军队...
三生三世十里桃花唯美句子精选109句1 东皇钟开启了又怎么,八荒众...
1、拿小盆把澳大利亚海参用水冲洗干净。把洗好的海参放入小锅中用水...
↑点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文...
截至2022年12月27日收盘,力生制药(002393)报收于21 53元,下跌2 ...
格隆汇12月27日丨中概股走强,纳斯达克中国金龙指数涨超1%,报6792...
智通财经APP讯,华仁药业(300110)(300110 SZ)发布公告,截至2022年...
兄弟们,这几天一直没有更新内容,主要是因为汤主也了。以前刷抖音...
截至2022年12月26日收盘,迪普科技(300768)报收于13 27元,上涨5 ...
1、一方提前终止承包合同属于违约行为,合同有约定的,按照约定赔偿...
截至2022年12月26日收盘,柳化股份(600423)报收于3 3元,下跌0 9%...
出口企业收到了税务局的退税函调该怎么处理?
产假最多可休180天,其中国家规定产假98天,符合地方规定的可延长为...
近日,知名歌手李玟在社交平台上晒出与众多好友聚餐的画面,并配文...
截至2022年12月23日收盘,华电国际(600027)报收于5 2元,上涨2 36...
广告
X 关闭
武汉观测记录野生鸟类增至357种 数量创新高
恒华科技(300365.SZ)现跌5.22%报7.99元 最新市值47.9亿元