文/北京集佳知識產(chǎn)權(quán)代理有限公司 劉成
《專利法》第22條第3款規(guī)定授予專利權(quán)的發(fā)明應當具備創(chuàng)造性條件，而實際專利申請業(yè)務中，相對于其他不予授予專利權(quán)的理由，創(chuàng)造性不足，通常是影響專利授權(quán)的主要原因。
判斷發(fā)明類型的專利是否滿足創(chuàng)造性條件，具體是判斷專利技術(shù)方案相對于現(xiàn)有技術(shù)是否具備突出的實質(zhì)性特點以及顯著的進步。簡單來說，具備突出的實質(zhì)性特點，是指專利技術(shù)方案相對于現(xiàn)有技術(shù)具有明顯的“差異”，并且，對于本領(lǐng)域技術(shù)人員而言，這種差異也并非顯而易見，即本領(lǐng)域技術(shù)人員難以通過合乎邏輯的分析、推理或者有限的試驗得到該差異。顯著的進步，是指專利技術(shù)方案因為具備該“差異”，能夠產(chǎn)生有益的技術(shù)效果，可以是現(xiàn)有技術(shù)無法企及的技術(shù)效果，也可以是與現(xiàn)有技術(shù)同等的技術(shù)效果。
相應地，在審通答復階段，也是圍繞發(fā)明具有突出的實質(zhì)性特點以及顯著的進步來抗辯發(fā)明滿足專利可授權(quán)的條件。
目前，“三步法”，成為了主流的審通答復思路。
在“三步法”的第二步中，審查員通常會比較本申請的權(quán)利要求1與審查員提供的對比文件1，確定區(qū)別技術(shù)特征以及該區(qū)別技術(shù)特征所實際要解決的技術(shù)問題，而發(fā)明能夠獲得授權(quán)的關(guān)鍵，很大程度上取決于利用區(qū)別技術(shù)特征解決該技術(shù)問題，是否為另一現(xiàn)有技術(shù)或者公知常識。
評判利用區(qū)別技術(shù)特征解決該技術(shù)問題是否為現(xiàn)有技術(shù)或者公知常識，不僅要分析該區(qū)別技術(shù)特征所描述的技術(shù)實現(xiàn)，是否為另一現(xiàn)有技術(shù)所記載的技術(shù)實現(xiàn)，或者是公知的技術(shù)實現(xiàn)；同時，還需要分析該區(qū)別技術(shù)特征在本發(fā)明中所具有的作用，是否同樣在現(xiàn)有技術(shù)中記載，或者被本領(lǐng)域技術(shù)人員所公知。
在專利實務中，如果區(qū)別技術(shù)特征所描述的技術(shù)實現(xiàn)沒有被另一現(xiàn)有技術(shù)記載，或者不屬于公知的技術(shù)實現(xiàn)，通常能夠較為容易說服審查員以獲得專利授權(quán)。但是，在另一現(xiàn)有技術(shù)或者公知常識記載了該區(qū)別技術(shù)特征所描述的技術(shù)實現(xiàn)的情況下，專利能夠獲得授權(quán)，主要取決于在答復審查意見的過程中著力抗辯區(qū)別技術(shù)特征在本發(fā)明所具有的作用未被記載或者不被公知。相對技術(shù)實現(xiàn)未被公開來說，抗辯區(qū)別技術(shù)特征的作用未被公開，審查員的接受程度往往較低（下面以區(qū)別技術(shù)特征所描述的技術(shù)實現(xiàn)被公開、區(qū)別技術(shù)特征所具有的作用未被公開為前提進行說明）。
其實，區(qū)別技術(shù)特征在本發(fā)明中所具有的作用，對應于該區(qū)別技術(shù)特征所實際要解決的技術(shù)問題。因此，在答復審查意見的過程中，抗辯區(qū)別技術(shù)特征在本發(fā)明中所具有的作用未被公開，其實就是在陳述現(xiàn)有技術(shù)無法解決本發(fā)明實際要解決的技術(shù)問題。但是，從技術(shù)問題的角度進行抗辯，是在破壞審查員用“三步法”否定本專利不具有創(chuàng)造性的評述邏輯，這有利于增大對于審查員的說服力度。
此時，在意見陳述時所主張的本發(fā)明實際要解決的技術(shù)問題是否正確，成為本發(fā)明能否獲得授權(quán)的關(guān)鍵。
那，什么才是正確的技術(shù)問題？
從獲得專利授權(quán)的角度考慮，正確的技術(shù)問題，應當與區(qū)別技術(shù)特征在現(xiàn)有技術(shù)或者公知常識所能解決的技術(shù)問題并不一致，具體是本發(fā)明能夠解決現(xiàn)有技術(shù)或者公知常識所不能解決的技術(shù)問題，以此才能凸顯本發(fā)明中利用該區(qū)別技術(shù)特征解決特定的技術(shù)問題（現(xiàn)有技術(shù)解決不了的技術(shù)問題）所具有的創(chuàng)新性。
回到我們最初想要強調(diào)的區(qū)別點：區(qū)別技術(shù)特征在本發(fā)明中的具有獨特的作用。即，區(qū)別技術(shù)特征的作用，是在本發(fā)明的實施環(huán)境下所具有的特定作用，所以，所解決的技術(shù)問題，應該也是本發(fā)明的實施環(huán)境下所存在的特定的技術(shù)問題。也就是說，在陳述區(qū)別技術(shù)特征實際要解決的技術(shù)問題時，應當體現(xiàn)產(chǎn)生該技術(shù)問題所處的實施環(huán)境約束。
為了便于更好的理解，下面結(jié)合一個案例進行說明。
在迭代訓練AI模型過程中，可以動態(tài)調(diào)整AI模型的Batchsize的取值。其中，Batchsize的取值（為AI模型中的一種超參數(shù)），用于指示AI模型在一輪訓練過程中所使用的訓練樣本的數(shù)量。Batchsize的取值越大，單輪訓練過程中AI模型所使用的訓練樣本越多，這使得AI模型在訓練過程中的參數(shù)更新越穩(wěn)定，從而加速AI模型的收斂，AI模型的訓練耗時越短。反之，Batchsize的取值越小，單輪訓練過程中AI模型所能使用的訓練樣本的越少，AI模型的收斂速度越慢，但是單輪訓練過程中所引入的隨機性越多，能夠避免AI模型陷入局部最優(yōu)，從而能夠保證AI模型的訓練準確性。
為此，本發(fā)明的技術(shù)方案提出在訓練AI模型的過程中，根據(jù)不同輪次的梯度（用于更新模型中的權(quán)重等參數(shù)）差異來調(diào)整Batchsize的取值。
具體地，在模型經(jīng)過h輪訓練后記錄第h輪訓練AI模型的過程中所采用的梯度。然后，繼續(xù)對模型進行k輪訓練，k為整數(shù)。接著，計算第h輪訓練的過程中所采用的梯度與第（h+k）輪訓練過程中所采用的梯度之間的余弦值。并且，當余弦值小于預設閾值時，表明在多輪訓練AI模型的過程中，AI模型的參數(shù)并沒有朝著相同或相近的方向進行變化，也即AI模型處于不收斂的狀態(tài)。此時，可以增大Batchsize的取值，來加速AI模型的收斂，以此實現(xiàn)加速AI模型的訓練。
其對應的權(quán)利要求1如下：
1、一種模型訓練方法，其特征在于，所述方法包括：
在迭代訓練人工智能AI模型的過程中，記錄AI模型在第h輪訓練時所采用的第一梯度，所述第一梯度用于更新所述AI模型中的目標參數(shù)的取值；
記錄所述AI模型在第（h+k）輪訓練時所采用的第二梯度，所述第二梯度用于更新所述目標參數(shù)的取值；
計算所述第一梯度與所述第二梯度之間的余弦值；
當所述余弦值小于閾值時，增大所述AI模型的Batchsize的取值；
基于增大后的Batchsize的取值，繼續(xù)訓練所述AI模型。
審查員在審查過程中，檢索到一篇訓練AI模型的現(xiàn)有技術(shù)，并通過技術(shù)特征比對，確定區(qū)別技術(shù)特征如下：
A：計算所述第一梯度與所述第二梯度之間的余弦值；
B：當所述余弦值小于閾值時，增大所述AI模型的Batchsize的取值。
基于上述區(qū)別技術(shù)特征，由于增大AI模型的Batchsize取值能夠加速AI模型的訓練速度，因此，審查員確定該區(qū)別技術(shù)特征A和B實際要解決的技術(shù)問題在于：如何提高AI模型的訓練效率。
其中，審查員進一步檢索到增大Batchsize的取值能夠加速AI模型訓練的其他現(xiàn)有技術(shù)，并以此否定區(qū)別技術(shù)特征B所具有的創(chuàng)造性。同時，計算兩個張量之間的余弦值，也是本領(lǐng)域公知的技術(shù)實現(xiàn)。
針對審查員上述的評述邏輯，筆者不排除有其他可適用的答復思路。但是，如果從破壞“三步法”的評述邏輯出發(fā)進行答復，那確定正確的技術(shù)問題，將是能否說服審查員以獲得專利授權(quán)的關(guān)鍵。
如果仔細分析審查員所定義的實際要解決的技術(shù)問題，可以發(fā)現(xiàn)：實現(xiàn)提高AI模型的訓練效率，其實僅依靠區(qū)別技術(shù)特征“增大所述AI模型的Batchsize的取值”即可做到，所以，審查員在定義實際要解決的技術(shù)問題時，并沒有考慮到計算兩個梯度之間的余弦值以及增大Batchsize取值所需滿足的條件這兩個特征，所以，審查員定義的技術(shù)問題，為片面的、不正確的技術(shù)問題。
相應地，在進行創(chuàng)造性抗辯時，基于上述區(qū)別技術(shù)特征所定義的正確的技術(shù)問題，應該綜合考慮全部區(qū)別技術(shù)特征。
仔細分析，既然增大Batchsize的取值能夠加速AI模型的訓練，那為什么本發(fā)明不在模型訓練的初始階段，就設置盡可能大的Batchsize的取值，這樣，AI模型的訓練效率理論上就能達到最快。原因很簡單，在訓練AI模型時，不僅要考慮AI模型的訓練效率，還要考慮到訓練得到的AI模型的準確性。如果最終訓練得到的AI模型在推理時的準確性很低，那么這個AI模型即使是在1秒之內(nèi)就能完成訓練，也是沒有意義的。在前面介紹技術(shù)背景的時候也提及了，如果Batchsize的取值過大，容易導致AI模型在訓練時陷入局部最優(yōu)，影響AI模型的準確性。所以在本發(fā)明的技術(shù)方案中，是在兩個輪次的梯度之間的余弦值小于預設閾值時，才會選擇增大Batchsize的取值，這是為了在確定AI模型不收斂的情況下，才會選擇增大Batchsize的取值來加速AI模型收斂，也即加速AI模型訓練，也就是說，在AI模型本身已經(jīng)收斂的情況下（即兩個梯度之間的余弦值大于預設閾值）的情況下，無需增大Batchsize取值（避免AI模型陷入局部最優(yōu)）。如此，不僅可以在適當?shù)臅r機通過增大Batchsize取值來實現(xiàn)模型訓練加速，而且，也能保證最終訓練得到的AI模型的精度能夠達到較高水平。
對于本發(fā)明而言，僅片面考慮AI模型的訓練效率是沒有意義的，提高AI模型的訓練效率一定是在能夠保證訓練得到的AI模型的精度能夠達到較高水平的基礎上實現(xiàn)的優(yōu)化目標。所以，我們在意見陳述時，基于區(qū)別技術(shù)特征所定義的本發(fā)明實際要解決的技術(shù)問題，應當是：在保證AI模型的訓練精度能夠達到較高水平的情況下，提高AI模型的訓練效率。即，“保證AI模型的訓練精度”，是實現(xiàn)“提高AI模型的訓練效率”的實施環(huán)境約束。
結(jié)合我們定義的技術(shù)問題進行分析，現(xiàn)有技術(shù)雖然公開了增大Batchsize的取值能夠提高AI模型的訓練效率，但是無法保證訓練得到的AI模型的精度能夠達到較高水平，所以審查員檢索到的現(xiàn)有技術(shù)無法解決本發(fā)明實際要解決的技術(shù)問題。既然現(xiàn)有技術(shù)解決不了本發(fā)明能夠解決的技術(shù)問題，破壞了“三步法”中的第三步的評述邏輯，那自然而然本發(fā)明應當具備創(chuàng)造性，符合專利授權(quán)的條件。
筆者建議，在定義實際要解決的技術(shù)問題時，應當充分考慮全部區(qū)別技術(shù)特征對于解決技術(shù)問題的貢獻，這樣才能挖掘出技術(shù)問題所處的實施環(huán)境的約束。正如上述舉例中，應當考慮為什么在選擇增大Batchsize的取值時，需要滿足兩個輪次的梯度之間的余弦值小于預設閾值這一實施條件，基于這個實施條件的作用，挖掘出需要保證AI模型的訓練精度的目的（也即實施環(huán)境的約束），以此才能制定正確的、本發(fā)明實際要解決的技術(shù)問題。
以上是筆者針對答復審查意見過程中的一些思考總結(jié)，對于存在的不妥之處，還請讀者批評指教。