框架可以量化LSTM模型么,量化过程和所给例子一样么,可能会用那些融合算子?
可以量化LSTM模型么
MegEngine 目前还不支持 module
复用时的量化,原因是每个量化模块都有其独特的 scale,模块复用之后这个 scale 无法适配中间某次的输出。
如果序列的长度固定,可以尝试搭建固定个数的 LSTMCell 来避免模块复用,这时候量化过程和教程中给的例子相同。
不太理解“ module
复用时的量化”和搭建固定个数的 LSTMCell
意思是说每个QATModule有自己的状态(比如scale),不能复用执行多次,而LSTM可能是复用同一个Module执行多次或者构造多个Module每个只执行一次,后者的话与现有的QAT流程是相同的