郑州广电内容加速系统技术建议书 本文关键词：建议书，郑州，广电，加速，内容
郑州广电内容加速系统技术建议书 本文简介：江苏广电宽带内容加速系统技术建议书郑州广电内容加速系统技术建议书北京思朗特科技有限公司2009年5月目录一、前言5二、系统介绍62.1系统概述62.2建设目标7三、系统功能83.1监控功能93.1.1旁路部署93.1.2分布式部署93.1.3监听参数93.2缓存功能93.2.1HTTP缓存93.2.
郑州广电内容加速系统技术建议书 本文内容：
江苏广电宽带内容加速系统
技术建议书
郑州广电内容加速系统
技术建议书
北京思朗特科技有限公司
2009年5月
目
录
一、前言5
二、系统介绍6
2.1系统概述6
2.2建设目标7
三、系统功能8
3.1
监控功能9
3.1.1旁路部署9
3.1.2分布式部署9
3.1.3监听参数9
3.2
缓存功能9
3.2.1
HTTP缓存9
3.2.2流媒体缓存10
3.3.3
P2P缓存10
3.3
应用管理10
3.3.1
缓存参数管理10
3.3.2下载时间段控制10
3.3.3白名单管理10
3.3.4
P2P热点发布11
3.4
内容管理11
3.4.1黑名单管理11
3.4.2文件管理11
3.4.3缓存日志11
3.4.4缓存统计12
3.4.5热点统计12
3.4.6病毒扫描引擎12
3.5
设备管理12
3.5.1磁盘管理12
3.5.2运行状态监控13
3.5.3告警通知13
3.5.4备份与恢复13
3.5.5分权管理13
四、性能参数14
4.1系统存储空间14
4.2系统峰值吐出流量14
4.3系统平均吞入流量14
4.4缓存命中率14
五、系统特点15
5.1
可运营15
5.2
可扩展15
5.2.1性能可扩展15
5.2.2应用协议可扩展15
5.3
可管理15
5.3.1设备可管理15
5.3.2应用可管理16
5.3.3内容可管理16
一、前言
从世界范围来看，一些宽带极为发达的国家都已经感到资源紧张，而中国的情况则更为吃紧。中国互联网应用正紧盯海外，一些海外刚刚兴起的消耗带宽的新应用很快就会被搬到中国，从而对网络资源形成冲击。
根据IP服务控制系统方案提供商Ellacoya网络公司对北美的100万名宽带用户进行的调查，发现HTTP在所有网络流量中占到约46%的比例。P2P排名第二位，在所有网络流量中占到37%的比例。此外，新闻组占到9%的比例，非HTTP视频流占到3%的比例，网络游戏占到2%的比例，VoIP占到1%的比例。
按照应用类型划分，传统网络下载在HTTP网络流量中占到45%的比例，流媒体视频占到36%的比例，流媒体音频占到5%的比例。值得注意的是，仅YouTube一家网站就在HTTP网络流量中占到约20%的比例，在所有网络流量中占到近10%的比例。
基于浏览器的视频服务，例如YouTube、优酷网、土豆网、土豆网等，给互联网带宽消耗带来了巨大的影响。
郑州广电计划建设内容加速系统，对宽带用户提供多种文件下载的透明缓存服务，以达到疏导用户网络流量、减轻互联网出口带宽压力、丰富用户上网体验的目的。
二、系统介绍
2.1系统概述
本系统采用
思朗特内容加速系统
平台进行建设，主要由管理服务器、监控服务器、缓存服务器、无源分光器、网络交换机等硬件设备和应用软件组成。系统以透明缓存为主要服务方式，为宽带用户提供全方位的内容加速服务。
以下是系统部署结构图：
以下是系统硬件设备清单：
设备类型
数量
参考配置
管理服务器
1台
2块4核至强CPU
8G内存
2
x
300G
SAS硬盘做RAID1
2
x
千兆以太网端口，铜线
监听服务器
2台
2块4核至强CPU
8G内存
2
x
300G
SAS硬盘做RAID1
4
x
千兆以太网端口，铜线
缓存服务器
12台
4核至强CPU
8G内存
300G
SAS硬盘
5
x
1T
SATA硬盘
2
x
千兆以太网端口，铜线
五类网线
多条
用于设备连接
说明：
管理服务器：实现系统配置管理、运行状态监控、负载均衡调度、日志查询、缓存文件管理、统计报表输出等功能；
监控服务器：实现网络流量分析、访问重定向等功能；
缓存服务器：实现缓存下载、存储、上载，以及磁盘管理功能；
网络交换机：连接系统设备，提供网络通信保障。
2.2建设目标
总体目标是建立一个开放的、基于标准的互联网内容加速平台，建成后的系统将满足以下要求：
一个可运营：与现有运营网络无缝衔接在一起；
两个可扩展：系统性能和应用协议支持方便扩展；
三个可管理：实现设备可管理、应用可管理、内容可管理。
三、系统功能
思朗特内容加速解决方案，以HTTP缓存为主，以P2P缓存为辅，可以帮助ISP运营商有效节省20-30%的互联网带宽，宽带用户可以体验800%的下载速度。
3.1
监控功能
3.1.1旁路部署
系统支持旁路部署，以分光方式监听获取10G光纤链路当中的互联网流量。
3.1.2分布式部署
系统支持多台监听服务器分布式部署，每台监听服务器上部署重定向引擎，负责各自监听范围内的缓存重定向任务，并由管理服务器统一进行调度，实现流量负载均衡。
3.1.3监听参数
系统支持定义进行监听的网卡和内部网络地址段，只对来自这些地址段的互联网访问进行监听并提供缓存服务。
3.2
缓存功能
3.2.1
HTTP缓存
系统支持多种形式的HTTP文件缓存，包括但不限于Windows更新、应用软件下载和更新、病毒软件下载和更新，以及其它形式的HTTP下载。
系统支持深度协议分析，除了支持常见80/8080/8888等HTTP端口外，对非标准端口的HTTP流量也能够识别并提供缓存服务。
系统支持HTTP断点续传机制。
3.2.2流媒体缓存
系统支持多种形式的流媒体文件缓存，包括但不限于在线音频和在线视频文件缓存，支持以下网站的视频加速，包括土豆网、优酷网、56网、酷六网、新浪视频、搜狐视频等。
3.3.3
P2P缓存
系统支持BT文件缓存，支持BitTorrent、TurboTorrent、BitComet、BitSpirit、Azureus、ABC、uTorrent等通用流行的BT下载软件。
系统支持迅雷HTTP/P2SP文件缓存，并根据P2SP应用协议的发展，及时升级以支持主流P2SP协议和客户端软件。
3.3
应用管理
3.3.1
缓存参数管理
系统支持针对每种支持的协议定义要进行缓存的参数，包括文件大小、触发下载的不同IP地址个数、文件扩展名等参数，并可以定义对已缓存文件重新检查更新的时间频率。
3.3.2下载时间段控制
系统支持针对每种支持的协议定义下载时间段，系统仅在这个时间段内从互联网上下载缓存文件，达到错开网络使用高峰，提高互联网出口带宽使用效率的目的，也对互联网出口流量起到整形的作用。
3.3.3白名单管理
系统支持定义提供优先缓存的源IP网络地址段及关键词白名单。对于来自于这些IP地址段的访问请求，以及URL或文件名包含这些关键字的访问请求，系统进行优先缓存。
3.3.4
P2P热点发布
系统提供P2P发布热点功能，对于用户访问量大的P2P类的影视下载热点，管理员选择这些文件进行发布，系统自动生成门户页面。当用户访问指定网站时，浏览器会重定向到该热点门户页面，以促使用户尽可能从本地缓存已有的P2P文件列表当中进行下载，一方面达到进一步实现流量本地化的目的，另一方面，用户从这个列表当中下载速度非常快，也达到丰富用户体验的目的。
3.4
内容管理
3.4.1黑名单管理
系统支持定义不提供缓存服务的源IP网络地址段、以及关键词黑名单。对于来自于这些IP地址段的访问请求，以及URL或文件名包含这些关键字的访问请求，系统不提供缓存服务。
3.4.2文件管理
系统支持对所有已缓存的文件进行浏览、排序、查询、查看、下载、删除等管理操作。
对每一个已缓存的文件，系统记录文件名、文件大小、源URL、缓存服务器、保存路径、上载次数、上载流量、创建时间、最近访问时间、更新时间等信息。
3.4.3缓存日志
系统记录和提供详细的客户端缓存下载日志查询，包括时间、源IP地址、协议、文件名、上载流量、下载流量等信息。
系统支持基于关键字的日志搜索查询功能。
3.4.4缓存统计
系统支持按照时间段（年、月、日、小时）、缓存服务器、缓存应用对系统缓存情况进行统计，统计信息包括上载流量、下载流量、上载下载比例、命中率统计等。
3.4.5热点统计
系统支持按照时间段（最近24小时、最近7天、最近1月）、缓存服务器、缓存应用、上载下载流量对缓存热点文件进行统计，输出自定义TOP
N文件列表。
3.4.6病毒扫描引擎
系统支持对缓存文件进行病毒扫描，输出被病毒感染的文件列表，包括源IP地址、URL、文件名、大小、感染病毒名称等信息。
3.5
设备管理
3.5.1磁盘管理
系统支持磁盘分区级别的磁盘管理方式，在同一台缓存服务器上的多块硬盘分区上划分不同的缓存应用目录，实现缓存服务器的多协议支持。当其中一块硬盘发生故障停止工作后，不影响其它硬盘分区的工作，并支持不停机进行硬盘替换。
系统支持自定义最大存储利用率，在各硬盘分区存储空间到达这个最大利用率时，系统自动清理过期缓存文件，循环利用硬盘空间。
3.5.2运行状态监控
系统统一管理监控多台设备的运行状态，包括CPU、内存、硬盘使用情况，以及缓存服务器的并发连接数、网络吞吐流量等信息。
3.5.3告警通知
当系统中某一台设备发生故障或硬盘空间使用率、CPU使用率超过自定义阈值时，系统支持电子邮件或短信（需用户提供短信网关）发送报警通知信息。
3.5.4备份与恢复
在系统中一台或多台设备发生故障停止提供服务的时候，不能影响正常的ISP运营业务。对于用户已建立的缓存下载链接，用户通过重试或重新下载操作即可恢复。
系统支持备份与恢复操作，一键备份系统配置信息和统计数据，在系统初始化的时候可以直接通过备份文件进行恢复。
3.5.5分权管理
系统可以定义多个不同权限级别的管理员账号，并支持信任IP地址设置，确保管理员从各自对应信任IP地址登录系统，并在相应的权限范围内执行管理操作。
系统记录所有管理员用户的操作，包括用户名、登录时间、操作类型。未经授权的访问尝试由系统记录并作为安全性警告提示。
管理员直接关闭已登录的浏览器或超时未操作时，账号自动注销，再次访问管理界面需要重新登陆。
四、性能参数
4.1系统存储空间
按照每GB互联网出口链路配置2-6TB存储计算，系统中所有缓存服务器的存储空间之和不低于40TB，建议配置80-120TB高转速SAS硬盘作为缓存存储空间。
4.2系统峰值吐出流量
系统峰值吐出流量不低于系统监听链路下行流量的20%。例如，按照14G峰值下行流量计算，14Gbps
x
20%
=
2.8Gbps。
系统单台缓存服务器峰值吐出流量性能不低于200Mbps。
4.3系统平均吞入流量
系统平均吞入流量不高于系统平均吐出流量的20%。例如，按照2G平均吐出流量计算，2Gbps
x
20%
=
400Mbps。
在网络使用高峰时间段，系统从互联网吞入流量为零。
4.4缓存命中率
按照以下公式计算，系统缓存命中率不低于80%。
缓存命中率
=
系统吐出流量/(系统吐出流量+系统吞入流量)
五、系统特点
5.1
可运营
系统与郑州广电计划建设的省网松散耦合，部署简单，无需修改网络结构和网络设备配置。
系统具备良好的可用性，设备故障除了停止加速功能外，不影响ISP运营业务，不对用户造成其它影响。
系统可设置为高带宽用户提供优先缓存服务，实现服务和价格差异化。
5.2
可扩展
5.2.1性能可扩展
系统支持线性扩展，随着网络和用户规模的发展，通过线性增加监控服务器和缓存服务器即可提高系统性能。增加设备无需更改系统结构，不影响已有设备的工作，不影响用户的上网体验。
5.2.2应用协议可扩展
随着互联网的发展，新应用层出不穷。在系统服务期内，系统提供平滑升级以支持更多的应用协议缓存服务，升级过程不影响用户的上网体验。
5.3
可管理
5.3.1设备可管理
系统设备采用可靠知名品牌的硬件平台，选用先进成熟的配件组件，提供丰富的管理配置工具、可信赖的备件备机服务、贴心的上门保修服务。
系统设计采纳“绿色地球”理念，在软件架构上实现高效率，从而使用更少的硬件设备达到高性能目标，同时满足节省机房机柜空间、节省能源能耗、减少硬件维护工作的多重需求。
系统同时提供先进磁盘管理、集中运行状态监控、告警通知、备份恢复、分权管理等多种设备管理工具，实现设备可管理目标。
5.3.2应用可管理
系统针对每种支持的应用协议可以单独划分磁盘分区进行缓存，可以单独定义缓存参数，下载时间段和白名单，从而实现智能缓存。
系统支持P2P热点发布功能，从而实现应用流量可引导、可管理的目标，也提高了用户P2P下载速度的体验。
5.3.3内容可管理
系统提供丰富的管理工具，包括黑名单、文件管理、缓存日志、缓存统计、热点统计、病毒扫描等功能，实现内容可管理目标。
对于内容版权问题，系统严格遵守并满足中华人民共和国国务院令第468号《信息网络传播权保护条例》第二十一条有关网络运营商提供缓存服务的免责条款，确保系统运行不产生版权纠纷问题。
第17页