Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SPECIAL EFFECT PROCESSING METHOD AND APPARATUS
Document Type and Number:
WIPO Patent Application WO/2022/169418
Kind Code:
A1
Abstract:
The present application provides a special effect processing method and apparatus. The method comprises: in a process of playing a video, in response to a touch operation of a user, generating an audio signal; segmenting the audio signal into a plurality of audio frames; and performing special effect processing on a currently played image frame in the video according to an attribute of the corresponding audio frame. By means of the method, a user can create music in a process of playing a video, and image frames in the video will change along with the music created by the user, thereby encouraging participation of potential users interested in music creation, and improving user experience.

Inventors:
SUN CHENYU (US)
CHEN JITONG (US)
SCHAGER NATHANAEL (US)
CRICHTON MARYYANN (US)
SERRANO JOSIAH JOHN (US)
LI BOCHEN (US)
HU XUEFAN (US)
SMITH FRASER (GB)
KIM HWANKYOO SHAWN (US)
TREVELYAN DAVID (GB)
FENG SUIYU (CN)
WU BRANDON (US)
XIONG TAO (CN)
Application Number:
PCT/SG2022/050049
Publication Date:
August 11, 2022
Filing Date:
January 31, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
International Classes:
H04N21/472; G10L25/48; H04N21/4402; H04N21/81
Foreign References:
CN112259062A2021-01-22
CN104103300A2014-10-15
CN108989706A2018-12-11
US20200356780A12020-11-12
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利 要 求 书

1、 一种特效处理方法, 其特征在于, 包括: 在播放视频的过程中, 响应于用户的触控操作, 生成音频信号; 将所述音频信号切分为多个音频帧; 根据所述音频帧的属性, 对视频中当前播放的图像画面进行特效处理。

2、 根据权利要求 1所述的方法, 其特征在于, 所述属性包括: 频谱; 所述根据所述音频 帧的属性, 对视频中当前播放的图像画面进行特效处理, 包括: 根据所述频谱上第一预设区间对应的第一能量值, 控制是否在所述触控操作对应的操作 控件处添加动画。

3、 根据权利要求 2所述的方法, 其特征在于, 所述根据所述频谱上第一预设区间对应的 第一能量值, 控制是否在所述触控操作对应的操作控件处添加动画, 包括: 若所述第一能量值大于或者等于预设能量值, 则在所述触控操作对应的操作控件处添加 动画。

4、 根据权利要求 1所述的方法, 其特征在于, 所述属性包括: 频谱; 所述根据所述音频 帧的属性, 对视频中当前播放的图像画面进行特效处理, 包括: 根据所述频谱上第二预设区间对应的第二能量值, 运用滤波器对全屏泛光效果进行控制。

5、 根据权利要求 4所述的方法, 其特征在于, 所述根据所述频谱上第二预设区间对应的 第二能量值, 运用滤波器对全屏泛光效果进行控制, 包括: 根据所述第二能量值和预设映射关系, 确定所述第二能量值对应的亮度, 所述预设映射 关系为预先设置的能量值和亮度的对应关系; 将所述滤波器的亮度强度参数调整为所述第二能量值对应的亮度。

6、 根据权利要求 2或 3所述的方法, 其特征在于, 所述第一预设区间包括所述频谱上从 最低频到最高频中前面预设数量的频率, 所述第一能量值为所述前面预设数量的频率对应的 能量值之和。

7、 根据权利要求 4或 5所述的方法, 其特征在于, 所述第二预设区间包括所述频谱上从 最低频到最高频中后面预设数量的频率, 所述第二能量值为所述后面预设数量的频率对应的 能量值之和。

8、 根据权利要求 1-7中任一项所述的方法, 其特征在于, 所述触控操作对应的操作控件 包括: 第一音乐控件和第二音乐控件, 所述第一音乐控件对应低频音色, 所述第二音乐控件 对应高频音色; 所述生成音频信号, 包括: 根据所述第一音乐控件对应的音色, 对所述第一音乐控件对应音符进行循环渲染, 得到 所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色, 对所述第二音乐控件对应音符进行循环渲染, 得到 所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号和所述第二音乐控件对应的音频信号叠加, 得到所 述音频信号。

9、 根据权利要求 1-7中任一项所述的方法, 其特征在于, 所述触控操作对应的操作控件 包括: 第一音乐控件、 第二音乐控件和第三音乐控件, 所述第一音乐控件对应低频音色, 所 11 述第二音乐控件对应高频音色, 所述第三音乐控件和第一音频信号对应; 所述生成音频信号, 包括: 根据所述第一音乐控件对应的音色, 对所述第一音乐控件对应音符进行循环渲染, 得到 所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色, 对所述第二音乐控件对应音符进行循环渲染, 得到 所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号、 所述第二音乐控件对应的音频信号和第一音频信 号叠加, 得到所述音频信号, 所述第一音频信号为预先渲染完成的音频信号。

10、根据权利要求 1-7中任一项所述的方法, 其特征在于, 所述触控操作对应的操作控件 包括: 第一音乐控件、 第二音乐控件和速度滑杆, 所述第一音乐控件对应低频音色, 所述第 二音乐控件对应高频音色; 所述生成音频信号, 包括: 根据所述第一音乐控件对应的音色和所述速度滑杆对应的每分钟节拍数, 对所述第一音 乐控件对应音符进行循环渲染, 得到所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色和所述速度滑杆对应的每分钟节拍数, 对所述第二音 乐控件对应音符进行循环渲染, 得到所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号和所述第二音乐控件对应的音频信号叠加, 得到所 述音频信号。

11、 一种终端设备, 其特征在于, 包括: 音频信号生成模块, 用于在播放视频的过程中, 响应于用户的触控操作, 生成音频信号; 处理模块, 用于将所述音频信号切分为多个音频帧; 根据所述音频帧的属性, 对视频中 当前播放的图像画面进行特效处理。

12、 一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序 被处理器执行时实现权利要求 1-10任一项所述的方法。

13、 一种终端设备, 其特征在于, 包括: 处理器; 以及 存储器, 用于存储所述处理器的可执行指令; 其中, 所述处理器配置为经由执行所述可执行指令来实现权利要求 1-10任一项所述的方 法。

14、 一种程序产品, 其特征在于, 包括计算机程序指令, 所述计算机程序指令被处理器 执行时实现权利要求 1-10任一项所述的方法。

15、 一种计算机程序, 其特征在于, 所述计算机程序被处理器执行时实现权利要求 1-10任一项所述的方法。

Description:
1 特效 处理 方法 和装 置 相关申请交叉引用 本申请要求于 2021年 2月 7日提交的、 申请号为 202110179875.2、 名称为 “特效处理方 法和装置” 的中国专利申请的优先权, 其全部内容通过引用并入本文。 技术领域 本申请涉及终端技术领域, 尤其涉及一种特效处理方法和装置。 背景技术 随着终端技术的发展, 终端设备提供的功能越来越丰富。 近年来, 小视频应用程序深受 用户青睐, 小视频应用程序不但可以浏览网络博主发布的 小视频, 还可以自己制作并发布小 视频, 提升了用户参与感。 小视频制作过程中, 用户可以使用很多道具实现想要的特效, 然而, 目前很多道具都是 和图像显示有关的, 特效功能单一, 导致用户体验不够全面。 发明内容 本申请提供一种特效处理方法和装置, 可提供跟音乐创作有关的特效, 特效功能丰富, 提升了用户体验。 第一方面, 本申请提供一种特效处理方法, 包括: 在播放视频的过程中, 响应于用户的 触控操作, 生成音频信号; 将该音频信号切分为多个音频帧; 根据该音频帧的属性, 对视频 中当前播放的图像画面进行特效处理。 可选的, 该属性包括: 频谱; 该根据该音频帧的属性, 对视频中当前播放的图像画面进 行特效处理, 包括: 根据该频谱上第一预设区间对应的第一能量值 , 控制是否在该触控操作 对应的操作控件处添加动画。 可选的, 该根据该频谱上第一预设区间对应的第一能量 值, 控制是否在该触控操作对应 的操作控件处添加动画, 包括: 若该第一能量值大于或者等于预设能量值, 则在该触控操作 对应的操作控件处添加动画。 可选的, 该属性包括: 频谱; 该根据该音频帧的属性, 对视频中当前播放的图像画面进 行特效处理, 包括: 根据该频谱上第二预设区间对应的第二能量值 , 运用滤波器对全屏泛光 效果进行控制。 可选的, 该根据该频谱上第二预设区间对应的第二能量 值, 运用滤波器对全屏泛光效果 进行控制, 包括: 根据该第二能量值和预设映射关系, 确定该第二能量值对应的亮度, 该预 设映射关系为预先设置的能量值和亮度的对应 关系; 将该滤波器的亮度强度参数调整为该第 二能量值对应的亮度。 可选的, 该第一预设区间包括该频谱上从最低频到最高 频中前面预设数量的频率, 该第 一能量值为该前面预设数量的频率对应的能量 值之和。 2 可选的, 该第二预设区间包括该频谱上从最低频到最高 频中后面预设数量的频率, 该第 二能量值为该后面预设数量的频率对应的能量 值之和。 可选的, 该触控操作对应的操作控件包括: 第一音乐控件和第二音乐控件, 该第一音乐 控件对应低频音色, 该第二音乐控件对应高频音色; 该生成音频信号, 包括: 根据该第一音 乐控件对应的音色, 对该第一音乐控件对应音符进行循环渲染, 得到该第一音乐控件对应的 音频信号; 根据该第二音乐控件对应的音色, 对该第二音乐控件对应音符进行循环渲染, 得 到该第二音乐控件对应的音频信号; 将该第一音乐控件对应的音频信号和该第二音 乐控件对 应的音频信号叠加, 得到该音频信号。 可选的, 该触控操作对应的操作控件包括: 第一音乐控件、 第二音乐控件和第三音乐控 件, 该第一音乐控件对应低频音色, 该第二音乐控件对应高频音色, 该第三音乐控件和第一 音频信号对应; 该生成音频信号, 包括: 根据该第一音乐控件对应的音色, 对该第一音乐控 件对应音符进行循环渲染, 得到该第一音乐控件对应的音频信号; 根据该第二音乐控件对应 的音色, 对该第二音乐控件对应音符进行循环渲染, 得到该第二音乐控件对应的音频信号; 将该第一音乐控件对应的音频信号、 该第二音乐控件对应的音频信号和第一音频信 号叠加, 得到该音频信号, 该第一音频信号为预先渲染完成的音频信号。 可选的, 该触控操作对应的操作控件包括: 第一音乐控件、 第二音乐控件和速度滑杆, 该第一音乐控件对应低频音色, 该第二音乐控件对应高频音色; 该生成音频信号, 包括: 根 据该第一音乐控件对应的音色和该速度滑杆对 应的每分钟节拍数, 对该第一音乐控件对应音 符进行循环渲染, 得到该第一音乐控件对应的音频信号; 根据该第二音乐控件对应的音色和 该速度滑杆对应的每分钟节拍数, 对该第二音乐控件对应音符进行循环渲染, 得到该第二音 乐控件对应的音频信号; 将该第一音乐控件对应的音频信号和该第二音 乐控件对应的音频信 号叠加, 得到该音频信号。 第二方面, 本申请提供一种终端设备, 包括: 音频信号生成模块, 用于在播放视频的过 程中, 响应于用户的触控操作, 生成音频信号; 处理模块, 用于将所述音频信号切分为多个 音频帧; 根据所述音频帧的属性, 对视频中当前播放的图像画面进行特效处理。 第三方面, 本申请提供一种计算机可读存储介质, 其上存储有计算机程序, 所述计算机 程序被处理器执行时实现第一方面提供的方法 。 第四方面, 本申请提供一种终端设备, 包括: 处理器; 以及存储器, 用于存储所述处理 器的可执行指令; 其中, 所述处理器配置为经由执行所述可执行指令来 实现第一方面提供的 方法。 第五方面, 本申请提供一种程序产品, 所述程序产品包括计算机程序, 所述计算机程序 存储在可读存储介质中, 所述计算机程序被处理器执行时实现第一方面 提供的方法。 第六方面, 本申请提供一种计算机程序, 所述计算机程序存储在计算机可读存储介质中 , 所述计算机程序被处理器执行时实现第一方面 提供的方法。 本申请提供的特效处理方法和装置, 在视频播放过程中, 用户可以在用户界面进行触控 操作, 响应于用户的触控操作, 终端设备可生成对应的音频信号, 并将该音频信号切分为多 个音频帧, 基于音频帧的属性, 对视频中图像画面进行特效处理, 本申请提供的该方法使得 用户可以在视频播放过程中进行音乐创作, 而且视频中的图像画面会随着用户创作的音乐 发 生变化, 激发了对音乐创作感兴趣的潜在用户的参与, 提升了用户的体验感。 3 附图说明 图 1为本申请提供的应用场景图; 图 2为本申请提供的特效处理方法的实施例一的 程示意图; 图 3为本申请提供的实施例一对应的用户界面图 图 4为本申请提供的触控操作示意图; 图 5为本申请提供的音频帧切分示意图; 图 6为本申请提供的获取频谱原理图; 图 7为本申请提供的特效处理方法的实施例二的 程示意图; 图 8为本申请提供的实施例二对应的用户界面图 图 9为本申请提供的特效处理方法的实施例三的 程示意图; 图 10为本申请提供的实施例三对应的用户界面图 图 11为本申请提供的终端设备的结构示意图; 图 12为本申请提供的终端设备的硬件结构示意图 具体实施方式 4 本申请提供的特效处理方法可以由终端设备执 行, 终端设备的形态包括但不限于: 智能 手机、 平板电脑、 笔记本电脑或者电视等, 本申请对终端设备的形态不作限定。 下面以具体地实施例对本申请的技术方案以及 本申请的技术方案如何解决上述技术问题 进行详细说明。 下面这几个具体的实施例可以相互结合, 对于相同或相似的概念或过程可能 在某些实施例中不再赘述。 下面将结合附图, 对本申请的实施例进行描述。 图 2为本申请提供的特效处理方法的实施例一的 程示意图。 图 3为实施例一对应的用 户界面图, 参见图 3所示, 用户界面上操作控件可包括: 第一音乐控件 301和第二音乐控件 302, 第一音乐控件 301和第二音乐控件 302的区别在于第一音乐控件 301对应低频音色, 第 二音乐控件 302对应高频音色。 示例性的: 第一音乐控件 301可对应鼓和贝司等低频乐器的 音色, 第二音乐控件 302可对应合成音、 弦衬底和 /或高频乐器的音色。 可选的, 由于鼓和贝司分很多种类, 不同种类的鼓和贝司音色不同。 为了使用户能够使 用不同音色的鼓和贝司进行音乐创作。 参见图 3所示, 可在用户界面设置 4个第一音乐控件 301 , 这 4个第一音乐控件 301音色不同。 同样的, 可在用户界面设置 4个第二音乐控件 302, 这 4个第二音乐控件 302音色也不同。图 3中每个第一音乐控件 301和每个第二音乐控件 302 都有对应的一段音符。 如图 2所示, 本实施例提供的特效处理方法, 包括:

5201、 在播放视频的过程中, 响应于用户对第一音乐控件 301和第二音乐控件 302的触 控操作, 生成音频信号。 需要说明的是: 本实施例中播放视频的过程可以是制作小视频 时, 用户点击录制之前的 预览过程, 也可以是用户点击录制之后的录制过程, 本实施例对此不作限定。 另外, 用户对 第一音乐控件 301和第二音乐控件 302的触控操作可以为单击操作或者双击操作等 , 本实施 例对触控操作的形式不限定。 参见图 4所示,用户可同时触发第一音乐控件 301和第二音乐控件 302, 当用户同时触发 第一音乐控件 301和第二音乐控件 302时, 一方面, 终端设备可根据第一音乐控件 301对应 的音色, 对该第一音乐控件 301对应音符进行循环渲染, 得到该第一音乐控件 301对应的音 频信号, 另一方面, 终端设备可根据第二音乐控件 302对应的音色, 对该第二音乐控件 302 对应音符进行循环渲染, 得到该第二音乐控件 302对应的音频信号, 然后, 将第一音乐控件 301对应的音频信号和第二音乐控件 302对应的音频信号叠加,得到叠加后的音频信 号。具体 渲染过程可参见现有技术, 本实施例在此不再赘述。

5202、 将音频信号切分为多个音频帧。 可选的,参见图 5所示,可以以 20ms为单位对音频信号进行切分,即每个音频 为 20ms, 相邻两个音频帧有 50%的重合。 比如第 lms-20ms为第 1个音频帧, 第 15ms-35ms可以为第 2 个音频帧。

5203、 根据音频帧的属性, 对视频中当前播放的图像画面进行特效处理。 可选的, 音频帧的属性可以为频谱、 能量或者音量, 下面介绍获取音频帧频谱的过程: 将音频信号切分为多个音频帧后, 对每个音频帧进行傅立叶变换, 得到该音频帧的频谱。 下面举例说明: 假设用户配置的频点个数为 40, 以图 5中任一音频帧为例,对音频帧进行傅立叶变 后, 参见图 6所示,可以得到 40维的频谱,第 0维是直流分量,第 1-39维是从低到高的频率分量。 5 在得到音频帧的频谱后, 一方面, 可根据频谱上第一预设区间对应的第一能量值 , 控制 是否在触控操作对应的操作控件处添加动画。 另一方面, 可根据频谱上第二预设区间对应的 第二能量值, 运用滤波器对全屏泛光效果进行控制, 该滤波器用于对图像画面进行滤波处理。 下面介绍根据频谱上第一预设区间对应的第一 能量值, 控制是否在触控操作对应的操作 控件处添加动画的可实现方式: 第一预设区间可以包括频谱上从最低频到最高 频中前面预设数量的频率, 这时第一能量 值为前面预设数量的频率对应的能量值之和。 比如预设数量为 10, 第一预设区间则包括从最 低频到最高频中 F(l)到 F(10)共 10个频率, 第一能量值为 F(l)到 F(10)对应的能量值之和。 可 根据第一能量值, 控制是否在用户的触控操作对应的操作控件处 添加动画。 具体的, 可判断 第一能量值是否大于或者等于预设能量值, 若是, 则在用户的触控操作对应的操作控件处添 加动画。 下面举例说明: 假设用户的触控操作如图 4所示, 当前音频帧的频谱如图 6所示, F(l)到 F(10)对应的能 量值之和为 B, 判断 B是否大于或者等于预设能量值, 若是, 则在图 4所示用户点击的两个 控件处添加动画。 下面介绍根据频谱上第二预设区间对应的第二 能量值, 运用滤波器对全屏泛光效果进行 控制的可实现方式: 第二预设区间可以包括频谱上从最低频到最高 频中后面预设数量的频率, 这时第二能量 值为后面预设数量的频率对应的能量值之和。 比如预设数量为 10, 第二预设区间则包括从最 低频到最高频中 F(30)到 F(39)共 10个频率, 第二能量值为 F(30)到 F(39)对应的能量值之和。 可根据第二能量值, 对滤波器的亮度强度参数进行控制。 具体的, 可根据第二能量值和预设 映射关系, 确定第二能量值对应的亮度, 并将滤波器的亮度强度参数调整为第二能量值 对应 的亮度。 上述预设映射关系为预先设置的能量值和亮度 的对应关系。 下面举例说明: 假设用户的触控操作如图 4所示, 当前音频帧的频谱如图 6所示, F(30)到 F(39)对应的能 量值之和为 C, 从预设映射关系中查找 C对应的亮度, 假设 C对应的亮度为 X, 则将滤波器 的亮度强度参数调整为 Xo 上文仅以一个音频帧为例说明本实施例提供的 特效处理过程, 需要说明的是: 由于音频 信号是持续的, 针对每个音频帧都可执行 S203。 需要说明的是: 上述第一预设区间包括频谱上从最低频到最高 频中前面预设数量的频率, 第二预设区间包括频谱上从最低频到最高频中 后面预设数量的频率, 仅是一种示例, 并不构 成对第一预设区间和第二预设区间的限制。 第一预设区间和第二预设区间可以为频谱上任 意 区间, 可根据实际情况灵活选取。 本申请提供的特效处理方法, 在视频播放过程中, 用户可在用户界面进行触控操作, 响 应于用户的触控操作, 可生成对应的音频信号, 并将该音频信号切分为多个音频帧, 基于音 频帧的属性, 对视频中图像画面进行特效处理, 本申请提供的该方法使得用户可以在视频播 放过程中进行音乐创作, 而且视频中的图像画面会随着用户创作的音乐 发生变化, 激发了对 音乐创作感兴趣的潜在用户的参与, 提升了用户的体验感。 6 图 7为本申请提供的特效处理方法的实施例二的 程示意图。 本实施例中, 为了使用户 可以创造出更有层次的音乐, 可在用户界面提供图 8所示操作控件。 图 8所示操作控件包括: 第一音乐控件 301、 第二音乐控件 302和第三音乐控件 1001 , 同上述实施例, 第一音乐控件 301和第二音乐控件 302的区别在于第一音乐控件 301对应低频音色,第二音乐控件 302对应 高频音色。 第一音乐控件 301和第二音乐控件 302的详细设置参见上述实施例, 本实施例对 此不再赘述。 第三音乐控件 1001和预先渲染完成的第一音频信号对应。 参见图 8所示, 可在 用户界面设置 5个第三音乐控件 1001 , 该 5个第三音乐控件 1001分别对应五个不同的、预先 渲染完成的音频信号, 比如: 其中 1个第三音乐控件 1001可对应预先渲染完成的 “滴水 ”的音 频信号。 如图 7所示, 本实施例提供的特效处理方法, 包括:

5701、在播放视频的过程中, 响应于用户对第一音乐控件 301、第二音乐控件 302以及第 三音乐控件 1001的触控操作, 生成音频信号。 本实施例中, 用户对第一音乐控件 301、 第二音乐控件 302以及第三音乐控件 1001的触 控操作可以为单击操作或者双击操作等, 本实施例对触控操作的形式不限定。 当用户对第一音乐控件 301、第二音乐控件 302以及第三音乐控件 1001执行触控操作后, 一方面, 终端设备可根据第一音乐控件 301 对应的音色, 对第一音乐控件对应音符进行循环 渲染, 得到第一音乐控件 301对应的音频信号。 另一方面, 可根据第二音乐控件 302对应的 音色, 对第二音乐控件对应音符进行循环渲染, 得到第二音乐控件 302对应的音频信号。 将 第一音乐控件 301对应的音频信号、 第二音乐控件 302对应的音频信号和第一音频信号叠加, 得到叠加后的音频信号。 需要说明的是: 由于分别对第一音乐控件 301对应音符和第二音乐控件 302对应音符进 行了循环渲染, 因此 S702叠加后的音频信号中第一音乐控件 301对应的音符和第二音乐控件 302对应的音符是循环播放的, 而第三音乐控件对应的第一音频信号是预先渲 染完成的, 其并 不是对某段音符循环渲染的结果, 因此 S702叠加后的音频信号中第一音频信号只播放 次, 例如图 8中从左到右第一个第三音乐控件对应预先渲 完成的 “滴水 ”的音频信号,那么用户触 发第一个第三音乐控件后, 只播放一次 “滴水 ”的声音。

5702、 将音频信号切分为多个音频帧。

5703、 根据音频帧的属性, 对视频中当前播放的图像画面进行特效处理。

S702-S703的实现过程参见上述实施例中 S202-S203 , 本实施例在此不再赘述。 本申请提供的特效处理方法, 增加了第三音乐控件, 可以使用户创作的音乐更加有层次 感, 进一步提升了用户的体验感。 图 9为本申请提供的特效处理方法的实施例三的 程示意图。 本实施例中, 为了使用户 可以改变音乐的节奏, 可在用户界面提供图 10所示操作控件。 图 10所示操作控件包括: 第 一音乐控件 301、 第二音乐控件 302和速度滑杆 1201 , 同上述实施例, 第一音乐控件 301和 第二音乐控件 302的区别在于第一音乐控件 301对应低频音色, 第二音乐控件 302对应高频 音色。 第一音乐控件 301和第二音乐控件 302的详细设置参见上述实施例, 本实施例对此不 再赘述。 用户可通过调节速度滑杆 1201调整音频信号的节奏。 如图 9所示, 本实施例提供的特效处理方法, 包括: 7

5901、在播放视频的过程中, 响应于用户对第一音乐控件 301、第二音乐控件 302以及速 度滑杆 1201的触控操作, 生成音频信号。 本实施例中, 用户对第一音乐控件 301和第二音乐控件 302的触控操作可以为单击操作 或者双击操作, 用户对速度滑杆 1201的触控操作可以为滑动操作。 当用户对第一音乐控件 301和第二音乐控件 302执行触控操作, 并将速度滑杆 1201滑到 某个位置时, 一方面, 终端设备根据第一音乐控件 301 对应的音色和速度滑杆对应的每分钟 节拍数, 对第一音乐控件 301对应音符进行循环渲染, 得到第一音乐控件 301对应的音频信 号。 另一方面, 根据第二音乐控件 302对应的音色和速度滑杆对应的每分钟节拍数 , 对第二 音乐控件 302对应音符进行循环渲染, 得到第二音乐控件 302对应的音频信号。 将第一音乐 控件 301对应的音频信号和第二音乐控件 302对应的音频信号叠加, 得到叠加后的音频信号。 音频信号的节奏和渲染速度有关, 渲染速度和每分钟节拍数有关, 在上述两个实施例中 终端设备可以使用默认的每分钟节拍数, 分别对第一音乐控件 301和第二音乐控件 302对应 音符进行循环渲染, 本实施例中, 可将速度滑杆和每分钟节拍数进行关联, 使得用户可通过 调节速度滑杆来改变每分钟节拍数, 从而改变渲染速度, 进而改变音频信号的节奏。

5902、 将音频信号切分为多个音频帧。

5903、 根据音频帧的属性, 对视频中当前播放的图像画面进行特效处理。

S902-S903的实现过程参见上述实施例中 S202-S203 , 本实施例在此不再赘述。 本申请提供的特效处理方法, 增加了速度滑杆, 使得用户能够改变音频信号的节奏, 进 一步提升了用户的体验感。 图 11为本申请提供的终端设备的结构示意图。 如图 11所示, 本申请提供的终端设备, 包括: 音频信号生成模块 1101 , 用于在播放视频的过程中, 响应于用户的触控操作, 生成音频 信号; 处理模块 1102, 用于将所述音频信号切分为多个音频帧; 根据所述音频帧的属性, 对视 频中当前播放的图像画面进行特效处理。 可选的, 所述属性包括: 频谱; 处理模块 1102具体用于: 根据所述频谱上第一预设区间对应的第一能量 值, 控制是否在所述触控操作对应的操作 控件处添加动画。 可选的, 处理模块 1102具体用于: 若所述第一能量值大于或者等于预设能量值, 则在所述触控操作对应的操作控件处添加 动画。 可选的, 处理模块 1102具体用于: 根据所述频谱上第二预设区间对应的第二能量 值, 运用滤波器对全屏泛光效果进行控制, 所述滤波器用于对图像画面进行滤波处理。 可选的, 处理模块 1102具体用于: 根据所述第二能量值和预设映射关系, 确定所述第二能量值对应的亮度, 所述预设映射 关系为预先设置的能量值和亮度的对应关系; 将所述滤波器的亮度强度参数调整为所述第二 能量值对应的亮度。 8 可选的, 所述第一预设区间包括所述频谱上从最低频到 最高频中前面预设数量的频率, 所述第一能量值为所述前面预设数量的频率对 应的能量值之和。 可选的, 所述第二预设区间包括所述频谱上从最低频到 最高频中后面预设数量的频率, 所述第二能量值为所述后面预设数量的频率对 应的能量值之和。 可选的, 所述触控操作对应的操作控件包括: 第一音乐控件和第二音乐控件, 所述第一 音乐控件对应低频音色,所述第二音乐控件对 应高频音色;音频信号生成模块 1101具体用于: 根据所述第一音乐控件对应的音色, 对所述第一音乐控件对应音符进行循环渲染, 得到 所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色, 对所述第二音乐控件对应音符进行循环渲染, 得到 所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号和所述第 二音乐控件对应的音频信号叠加, 得到所 述音频信号。 可选的, 所述触控操作对应的操作控件包括: 第一音乐控件、 第二音乐控件和第三音乐 控件, 所述第一音乐控件对应低频音色, 所述第二音乐控件对应高频音色, 所述第三音乐控 件和第一音频信号对应; 音频信号生成模块 1101具体用于: 根据所述第一音乐控件对应的音色, 对所述第一音乐控件对应音符进行循环渲染, 得到 所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色, 对所述第二音乐控件对应音符进行循环渲染, 得到 所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号、 所述第二音乐控件对应的音频信号和第一音频 信 号叠加, 得到所述音频信号, 所述第一音频信号为预先渲染完成的音频信号 。 可选的, 所述触控操作对应的操作控件包括: 第一音乐控件、 第二音乐控件和速度滑杆, 所述第一音乐控件对应低频音色, 所述第二音乐控件对应高频音色; 音频信号生成模块 1101 具体用于: 根据所述第一音乐控件对应的音色和所述速度 滑杆对应的每分钟节拍数, 对所述第一音 乐控件对应音符进行循环渲染, 得到所述第一音乐控件对应的音频信号; 根据所述第二音乐控件对应的音色和所述速度 滑杆对应的每分钟节拍数, 对所述第二音 乐控件对应音符进行循环渲染, 得到所述第二音乐控件对应的音频信号; 将所述第一音乐控件对应的音频信号和所述第 二音乐控件对应的音频信号叠加, 得到所 述音频信号。 本实施例提供的终端设备, 可用于执行上述任一方法实施例中的步骤, 其实现原理和技 术效果类似, 在此不再赘述。 图 12为本申请提供的终端设备的硬件结构示意图 如图 12所示, 本实施例的终端设备 可以包括: 存储器 1201 , 用于存储程序指令。 处理器 1202, 用于在所述程序指令被执行时实现上述任一实 施例描述的特效处理方法, 具体实现原理可参见上述实施例, 本实施例此处不再赘述。 本申请提供一种计算机可读存储介质, 其上存储有计算机程序, 所述计算机程序被处理 器执行时实现上述任一实施例描述的特效处理 方法。 9 本申请还提供一种程序产品, 所述程序产品包括计算机程序, 所述计算机程序存储在可 读存储介质中, 所述计算机程序被处理器执行时实现上述任一 实施例描述的特效处理方法。 本申请还提供一种计算机程序, 所述计算机程序存储在计算机可读存储介质中 , 所述计 算机程序被处理器执行时实现上述任一实施例 描述的特效处理方法。 在本申请所提供的几个实施例中, 应该理解到, 所揭露的装置和方法, 可以通过其它的 方式实现。 例如, 以上所描述的装置实施例仅仅是示意性的, 例如, 所述单元的划分, 仅仅 为一种逻辑功能划分, 实际实现时可以有另外的划分方式, 例如多个单元或组件可以结合或 者可以集成到另一个系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互 之间的耦合或直接耦合或通信连接可以是通过 一些接口, 装置或单元的间接耦合或通信连接, 可以是电性, 机械或其它的形式。 所述作为分离部件说明的单元可以是或者也可 以不是物理上分开的, 作为单元显示的部 件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到多个网络单元 上。 可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。 另外, 在本申请各个实施例中的各功能单元可以集成 在一个处理单元中, 也可以是各个 单元单独物理存在, 也可以两个或两个以上单元集成在一个单元中 。 上述集成的单元既可以 采用硬件的形式实现, 也可以采用硬件加软件功能单元的形式实现。 上述以软件功能单元的形式实现的集成的单元 , 可以存储在一个计算机可读取存储介质 中。 上述软件功能单元存储在一个存储介质中, 包括若干指令用以使得一台计算机设备 (可 以是个人计算机, 服务器, 或者网络设备等)或处理器(英文: processor)执行本申请各个实 施例所述方法的部分步骤。 而前述的存储介质包括: U盘、 移动硬盘、 只读存储器 (英文: Read-Only Memory, 简称: ROM)、 随机存取存储器(英文: Random Access Memory, 简称: RAM ) 、 磁碟或者光盘等各种可以存储程序代码的介质 。 应理解, 本申请所描述的处理器可以是中央处理单元( 英文: Central Processing Unit, 简 称: CPU) , 还可以是其他通用处理器、 数字信号处理器(英文: Digital Signal Processor, 简 称: DSP) 、 专用集成电路 (英文: Application Specific Integrated Circuit, 简称: ASIC) 等。 通用处理器可以是微处理器或者该处理器也可 以是任何常规的处理器等。 结合本申请所公开 的方法的步骤可以直接体现为硬件处理器执行 完成, 或者用处理器中的硬件及软件模块组合 执行完成。 最后应说明的是: 以上各实施例仅用以说明本申请的技术方案, 而非对其限制; 尽管参 照前述各实施例对本申请进行了详细的说明, 本领域的普通技术人员应当理解: 其依然可以 对前述各实施例所记载的技术方案进行修改, 或者对其中部分或者全部技术特征进行等同替 换; 而这些修改或者替换, 并不使相应技术方案的本质脱离本申请各实施 例技术方案的范围。