JP7098204B2 - エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 - Google Patents
エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 Download PDFInfo
- Publication number
- JP7098204B2 JP7098204B2 JP2021520158A JP2021520158A JP7098204B2 JP 7098204 B2 JP7098204 B2 JP 7098204B2 JP 2021520158 A JP2021520158 A JP 2021520158A JP 2021520158 A JP2021520158 A JP 2021520158A JP 7098204 B2 JP7098204 B2 JP 7098204B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- cache
- access time
- cache replacement
- edge server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2183—Cache memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Description
ビデオデータを収集するステップS1と、
ランダムフォレストによりビデオデータにおける欠損値を補完処理し、予測モデルを作成するステップS2と、
予測モデルにより平均アクセス時間の長さを予測するステップS3と、
予測結果に基づいてキャッシュ置き換えモデルを作成するステップS4と、
陰伏的列挙法によりキャッシュ置き換えモデルを解き、最終置き換え方法を得るステップS5と、
を含む。
平均アクセス時間の長さを従属変数とし、その他の特徴を独立変数として回帰トレーニングを行い、かつ、データセットの分割を行い、各特徴の重要度のランキングを出力し、ランキングに基づいて特徴を選別して最終モデリング特徴値を得て、モデリング特徴値に基づいて予測モデルを作成することを含む。
エッジサーバキャッシュのサイズをSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t1,t2,…,tK}とし、動画容量の集合をV={v1,v2,…,vK}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、以下の「数1」に示されるようなキャッシュ置き換えモデル作成することを含み、
トータルアクセス時間の長さのコストパフォーマンスを、
(1)後ろから前に向かって集合{a1,a2,…,aK}における一部のキャッシュされた動画を置き換え、すなわち、該動画のai=1をai=0にすることと、
(2)後ろから前に向かって集合{b1,b2,…,bQ}を走査し、新たなトータルアクセス時間の長さTCを演算することと、
(3)TCとTC0を比較し、TC≧TC0であれば、TC0を新たな値TCとし、すなわち、TC0=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらないことと、
(4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらないことと、
(5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TC0は新しい値で、ここで剪定を行い、すなわち、集合{b1,b2,…,bQ}に対する走査をやめ、ステップ(1)から次回の反復演算を始めることと、
を含む。
図1に示すように、本発明に係るエッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVOD(Video On Demand)サービスキャッシュ置き換え方法は、ランダムフォレストにより動画アクセス時間の長さについてモデリングおよび予測を行うことと、予測結果に基づいてキャッシュ置き換えモデルを作成することと、陰伏的列挙法(Implicit enumeration method)によりキャッシュ置き換えモデルを解くこと、とを含む。具体的な処理の流れは、以下のとおりである。
(1)サンプル動画データの収集およびデータの前処理
動画放送プラットフォームの映画ライブラリからランダムに10万部の動画情報を収集してサンプルデータセット(集合)とし、サンプルデータセットにおける動画データについて前処理を行う。具体的には、週を単位として、動画情報の一週間内のデータについて平均を求める。動画情報は、配信時間、映画ランキング、注目度、「いいね」の数、コメントの数、評点および動画アクセス時間の長さなどを含む。データは小数点以下第一位まで残し、映画ランキングや配信日数などのような小数で表せないデータについては、求めた平均値を整数値に四捨五入する。また、配信時間が一週間未満の動画については、残りの日数に対応するデータを0で補完する。アクセス時間の長さとは、連続でアクセスした時間の長さであり、アクセス日誌において二回アクセスの間の時間間隔が60秒より小さい場合を指す。ユーザが誤ってクリックしたりコマーシャルをスキップしたりした場合は、放送停止ではないため、これによる間隔(途切れ)は時間間隔としてカウントしない。
続いて、ランダムフォレストアルゴリズムにより欠損値を補完処理し、仮にある特徴に欠損がある場合、該特徴をラベルとし、残りのその他の特徴で新しい特徴マトリクスを構築する。もしその他の特徴においても欠損がある場合、すべての特徴を走査し、欠損値が最も少ない特徴から始めるが、これは欠損値が少なければ少ないほど必要とされる正確な情報も少ないからである。ある一つの特徴について補完処理を行う場合、まずはその他の特徴の欠損値を0で代替し、一回反復処理を行うたびに欠損値のある特徴を一つ減らせる。
あるエッジサーバキャッシュの容量(サイズ)をSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t1,t2,…,tK}とし、動画容量の集合をV={v1,v2,…,vK}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、キャッシュ置き換えのイメージは図2に示されるとおりであり、図におけるキャッシュ置き換えの順序は実際の置き換えの順序を表したものではなく、以下の「数5」に示されるようなキャッシュ置き換えモデル作成する。
上述のモデルは、本質的には0~1の整数計画問題であり、陰伏的列挙法によりこの問題を解き、検査変数は0または1の組み合わせの一部であり、目標関数値を比較して、最適解を求める。
(1)後ろから前に向かって集合{a1,a2,…,aK}における一部のキャッシュされた動画を置き換える。すなわち、該動画のai=1をai=0にする。
(2)後ろから前に向かって集合{b1,b2,…,bQ}を走査し、新たなトータルアクセス時間の長さTCを演算する。
(3)TCとTC0を比較し、TC≧TC0であれば、TC0を新たな値TCとし、すなわち、TC0=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらない。
(4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらない。
(5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TC0は新しい値で、ここで剪定を行い、すなわち集合{b1,b2,…,bQ}に対する走査をやめ、ステップ(1)から次回の反復演算を始める。
Claims (4)
- エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法であって、
ビデオデータを収集するステップS1と、
ランダムフォレストによりビデオデータにおける欠損値を補完処理し、予測モデルを作成するステップS2と、
予測モデルにより平均アクセス時間の長さを予測するステップS3と、
予測結果に基づいてキャッシュ置き換えモデルを作成するステップS4と、
陰伏的列挙法によりキャッシュ置き換えモデルを解き、最終置き換え方法を得るステップS5と、を含み、
前記ステップS2において、予測モデルを作成することは、
平均アクセス時間の長さを従属変数とし、その他の特徴を独立変数として回帰トレーニングを行い、かつ、データセットの分割を行い、各特徴の重要度のランキングを出力し、ランキングに基づいて特徴を選別して最終モデリング特徴値を得て、モデリング特徴値に基づいて予測モデルを作成することを含むことを特徴とする、方法。 - 前記ステップS4において、キャッシュ置き換えモデルを作成することは、
エッジサーバキャッシュのサイズをSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t1,t2,…,tK}とし、動画容量の集合をV={v1,v2,…,vK}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、以下の「数1」に示されるようなキャッシュ置き換えモデル作成することを含み、
- 前記ステップS5において、キャッシュ置き換えモデルを解くことは、トータルアクセス時間の長さのコストパフォーマンスを、
- 前記反復演算は、新たに追加した制約条件である式(3)を「制約式A」とし、キャッシュ置き換えモデルにおける二つの制約条件である式をそれぞれ[制約式B]および[制約式C]とし、
(1)後ろから前に向かって集合{a1,a2,…,aK}における一部のキャッシュされた動画を置き換え、すなわち、該動画のai=1をai=0にすることと、
(2)後ろから前に向かって集合{b1,b2,…,bQ}を走査し、新たなトータルアクセス時間の長さTCを演算することと、
(3)TCとTC0を比較し、TC≧TC0であれば、TC0を新たな値TCとし、すなわち、TC0=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらないことと、
(4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TC0は変わらないことと、
(5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TC0は新しい値で、ここで剪定を行い、すなわち、集合{b 1,b2,…,bQ}に対する走査をやめ、ステップ(1)から次回の反復演算を始める ことと、
を含むことを特徴とする、請求項3に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010311152.9 | 2020-04-20 | ||
CN202010311152.9A CN111629216B (zh) | 2020-04-20 | 2020-04-20 | 边缘网络环境下基于随机森林算法的vod业务缓存替换方法 |
PCT/CN2020/086550 WO2021212444A1 (zh) | 2020-04-20 | 2020-04-24 | 边缘网络环境下基于随机森林算法的vod业务缓存替换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022530175A JP2022530175A (ja) | 2022-06-28 |
JP7098204B2 true JP7098204B2 (ja) | 2022-07-11 |
Family
ID=72273187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520158A Active JP7098204B2 (ja) | 2020-04-20 | 2020-04-24 | エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7098204B2 (ja) |
CN (1) | CN111629216B (ja) |
WO (1) | WO2021212444A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112073752B (zh) * | 2020-09-08 | 2022-04-22 | 北京一起教育信息咨询有限责任公司 | 一种多线路流量分配的方法、装置及电子设备 |
CN114584801B (zh) * | 2022-01-13 | 2022-12-09 | 北京理工大学 | 一种基于图神经网络推荐算法的视频资源缓存方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996996A (zh) | 2006-12-19 | 2007-07-11 | 北京邮电大学 | 用于移动流媒体代理服务器的流媒体文件的缓存方法 |
JP2008234352A (ja) | 2007-03-20 | 2008-10-02 | Nec Corp | 欠損値補完方法及び装置 |
WO2009113371A1 (ja) | 2008-03-12 | 2009-09-17 | 日本電気株式会社 | コンテンツ情報提示装置、コンテンツ情報提示システム及びそれに用いるコンテンツ情報提示方法 |
US20160055121A1 (en) | 2014-08-20 | 2016-02-25 | National Tsing Hua University | Node-based sequential implicit enumeration method and system thereof |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150201223A1 (en) * | 2010-11-02 | 2015-07-16 | InnFlicks Media Group, LLC | Processing, storing, and delivering digital content |
US9147129B2 (en) * | 2011-11-18 | 2015-09-29 | Honeywell International Inc. | Score fusion and training data recycling for video classification |
US10235605B2 (en) * | 2013-04-10 | 2019-03-19 | Microsoft Technology Licensing, Llc | Image labeling using geodesic features |
CN104053024B (zh) * | 2014-06-19 | 2017-02-01 | 华东师范大学 | 一种基于少量数据的短期视频点播量预测系统 |
CN104822068A (zh) * | 2015-04-29 | 2015-08-05 | 四达时代通讯网络技术有限公司 | 流媒体代理缓存替换方法及装置 |
CN108510096A (zh) * | 2017-02-24 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 商户流失预测方法、装置、设备及存储介质 |
KR20180105351A (ko) * | 2017-03-15 | 2018-09-28 | 한국전자통신연구원 | 맞춤형 광고 영상 전송 서비스 장치 및 그 동작 방법 |
CN109788319B (zh) * | 2017-11-14 | 2020-06-09 | 中国科学院声学研究所 | 一种数据缓存方法 |
CN108259929B (zh) * | 2017-12-22 | 2020-03-06 | 北京交通大学 | 一种视频活跃期模式的预测及缓存方法 |
CN108322819B (zh) * | 2018-01-18 | 2020-07-21 | 北京奇艺世纪科技有限公司 | 预测用户行为的方法及装置 |
CN108600836B (zh) * | 2018-04-03 | 2020-11-13 | 北京奇艺世纪科技有限公司 | 一种视频处理方法及装置 |
CN108833468B (zh) * | 2018-04-27 | 2021-05-11 | 广州西麦科技股份有限公司 | 基于移动边缘计算的视频处理方法、装置、设备及介质 |
CN109523086B (zh) * | 2018-11-26 | 2021-08-24 | 浙江蓝卓工业互联网信息技术有限公司 | 基于随机森林的化工产品的质量预测方法及系统 |
CN110891283A (zh) * | 2019-11-22 | 2020-03-17 | 超讯通信股份有限公司 | 一种基于边缘计算模型的小基站监控装置及方法 |
-
2020
- 2020-04-20 CN CN202010311152.9A patent/CN111629216B/zh active Active
- 2020-04-24 JP JP2021520158A patent/JP7098204B2/ja active Active
- 2020-04-24 WO PCT/CN2020/086550 patent/WO2021212444A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996996A (zh) | 2006-12-19 | 2007-07-11 | 北京邮电大学 | 用于移动流媒体代理服务器的流媒体文件的缓存方法 |
JP2008234352A (ja) | 2007-03-20 | 2008-10-02 | Nec Corp | 欠損値補完方法及び装置 |
WO2009113371A1 (ja) | 2008-03-12 | 2009-09-17 | 日本電気株式会社 | コンテンツ情報提示装置、コンテンツ情報提示システム及びそれに用いるコンテンツ情報提示方法 |
US20160055121A1 (en) | 2014-08-20 | 2016-02-25 | National Tsing Hua University | Node-based sequential implicit enumeration method and system thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2022530175A (ja) | 2022-06-28 |
CN111629216A (zh) | 2020-09-04 |
CN111629216B (zh) | 2021-04-06 |
WO2021212444A1 (zh) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lakshminarasimhan et al. | Scalable in situ scientific data encoding for analytical query processing | |
Tu et al. | An analytical study of peer-to-peer media streaming systems | |
WO2024114484A1 (zh) | 一种服务器无感知计算自适应资源调度方法、系统及计算机设备 | |
CN111881358B (zh) | 一种对象推荐系统、方法、装置、电子设备和存储介质 | |
Cacheda et al. | A case study of distributed information retrieval architectures to index one terabyte of text | |
JP7098204B2 (ja) | エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 | |
CN111966495B (zh) | 数据处理方法和装置 | |
CN111159563A (zh) | 用户兴趣点信息的确定方法、装置、设备及存储介质 | |
CN108416054B (zh) | 基于文件访问热度的动态hdfs副本个数计算方法 | |
CN114503128A (zh) | 加速嵌入层计算 | |
CN112214328B (zh) | 一种用于同构多链中交易处理的负载均衡方法 | |
CN116126901A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111629217B (zh) | 边缘网络环境下基于XGBoost算法的VOD业务缓存优化方法 | |
CN117349023A (zh) | 应用部署方法、设备及存储介质 | |
CN116737753A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN114579294B (zh) | 云原生环境下支持服务负载激增预测的容器弹性伸缩系统 | |
Zhen et al. | Improved Hybrid Collaborative Fitering Algorithm Based on Spark Platform | |
CN114945024A (zh) | 基于长短期记忆网络的服务器负载均衡优化方法 | |
CN114741029A (zh) | 应用于去重存储系统的数据分配方法及相关设备 | |
Cheng et al. | Globally optimal selection of web composite services based on univariate marginal distribution algorithm | |
Wu et al. | Enhancing Recommendation Capabilities Using Multi-Head Attention-Based Federated Knowledge Distillation | |
US12135714B2 (en) | Query graph embedding | |
WO2024139461A1 (zh) | 机器学习模型的训练方法、装置、设备及存储介质 | |
CN118132511A (zh) | 制造业实体物联网大数据复杂检索云计算系统 | |
CN118503512A (zh) | 一种面向大规模网络舆情的Elasticsearch检索优化系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210410 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210410 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |