本申請提供了一種用戶行為模擬方法、裝置、電子設備及存儲介質，該方法包括：根據獲取的地圖配置信息及行為價值函數，在游戲地圖中對用戶進行行為模擬，得到預測行為軌跡；針對每個狀態信息及對應的行為信息的組合，從預測行為軌跡中查找該組合對應的軌跡信息，根據查找到的軌跡信息中的獎勵信息，更新行為價值函數，并返回根據地圖配置信息及行為價值函數，在游戲地圖中對用戶進行行為模擬，得到預測行為軌跡的步驟，直至收斂；在獲取到當前狀態信息之后，根據行為價值函數，計算不同行為信息對應的獎勵信息，根據計算得到的取值較高的獎勵信息對應的行為信息，模擬用戶行為。這樣，最終得到能夠模擬用戶行為的行為價值函數，用于模擬用戶行為。

技術領域

本申請涉及行為分析技術領域，特別是涉及一種用戶行為模擬方法、裝 置、電子設備及存儲介質。

背景技術

擲骰通關類型的游戲是一種常見的小游戲類型，在這類游戲中的主要元 素有游戲角色、游戲地圖和骰子，其中，游戲角色是用戶在游戲中的代理， 游戲地圖是游戲角色在游戲過程中所處的環境，在用戶每次做決策時，需要 投擲一次骰子。用戶的行為受到骰子擲出點數的制約。

舉例而言，在爬房子游戲中，用戶需要同時操縱2個游戲角色，首先， 用戶每輪可以投擲一次骰子，并根據骰子擲出的點數做出相應的決策，進而 通過操縱決策中選定的游戲角色，與游戲地圖進行交互，在游戲地圖的格子 上前進擲出的點數個格子，直到2個游戲角色同時達到指定的位置，完成游 戲的通關。

其中，用戶每次投擲骰子的成本為c，在游戲地圖的格子上，會隨機擺 放M個禮物，用戶操縱的角色如果踩到了某個格子上，就會獲得這個格子 上擺放的禮物，得到特定的金額，而且，當游戲通關后，用戶也會得到特定 金額的獎勵。因此，假設用戶在一局游戲中一共獲取的獎品金額為V，用戶 進行一輪游戲一共投擲了t次骰子，那么用戶在此局游戲中一共花費的金額 是ct，可以計算出用戶單局游戲的凈收益是V-ct。

為了增加游戲的趣味性，游戲平臺需要隨機化生成游戲地圖，使得用戶 每次游戲時使用的地圖是不一樣的，但是，一方面，對于游戲平臺而言，需 要維持用戶單局游戲的凈收益非正，而對于用戶而言，則期望盡可能在每輪 游戲中取得更大的收益。因此，游戲平臺需要保證“最聰明的用戶”在隨機 化生成的游戲地圖中的期望凈利潤非正，才能將生成的游戲地圖上線展示給 用戶。

目前，亟需一種用戶行為模擬方法。

發明內容

為解決上述技術問題，本申請示出了一種用戶行為模擬方法、裝置、電 子設備及存儲介質。

第一方面，本申請示出了一種用戶行為模擬方法，所述方法包括：

獲取游戲地圖的地圖配置信息及用戶的行為價值函數；

根據所述地圖配置信息及所述行為價值函數，在所述游戲地圖中對所述 用戶進行行為模擬，得到預測行為軌跡，所述預測行為軌跡中包括多個連續 的軌跡信息，每個軌跡信息包括狀態信息、行為信息及獎勵信息；

針對每個所述狀態信息及對應的行為信息的組合，從所述預測行為軌跡 中查找該組合對應的軌跡信息，根據查找到的軌跡信息中的獎勵信息，更新 所述行為價值函數，并返回所述根據所述地圖配置信息及所述行為價值函 數，在所述游戲地圖中對所述用戶進行行為模擬，得到預測行為軌跡的步驟， 直至所述行為價值函數收斂；

在獲取到當前狀態信息之后，根據收斂后的所述行為價值函數及所述當 前狀態信息，分別計算不同行為信息對應的獎勵信息，根據計算得到的取值 最高的獎勵信息對應的行為信息，模擬用戶在當前狀態的行為。

第二方面，本申請示出了一種用戶行為模擬裝置，所述裝置包括：

獲取模塊，用于獲取游戲地圖的地圖配置信息及用戶的行為價值函數；