项目背景近年来,视频监控在安防领域得到了大规模应用,.PDF

项目背景 近年来，视频监控在安防领域得到了大规模应用，海量的摄像头完成 了部署。视频监控信息在维护社会稳定，协助安全防卫过程中发挥了 重要的作用，与此同时也带来了海量视频数据可靠存储和并行访问的 要求。2012 年 1 月，因某突发任务需要，某机构要在短时间内不间 断的将海量视频信息集中上传到一个数据中心，同时大量的用户对上 传到数据中心的数据进行下载、查看。在此过程中还要保证用户带宽 的饱和利用以及视频数据的安全。同时该系统在保证性能的前提下， 要实现快速部署、方便快捷的使用和智能管理。 项目挑战 1.快速部署要求 该项目为突发事件，没有提前准备的时间，用户要求在24 小时内完 成部署。 2.大用户量并发访问要求 该项目中最大并发用户访问量达到200 人。其中50 人进行视频数据 上传，150 人进行视频数据下载。要求实现服务器自动均衡负载，系 统性能随节点数增加而线性增长，性能与节点规模成正比，没有性能 瓶颈，带宽饱和利用。 3.高可靠性要求 该项目中涉及的视频数据至关重要，不容丢失，需要实现高可靠的冗 余备份，同时自动屏蔽设备故障，提供24 小时不间断的存储服务。 4.高集成度要求 该项目为存储系统提供有限的物理空间，需要在1 个标准42U 机架内 包含主控节点、备用主控节点、分布存储节点，总容量达到200T。 5.简单通用要求 该项目用户较多，流动性大，需要实现无需学习即可使用。同时终端 电脑操作系统较多，包含Windows2000、WindowsXP、Windows7 等， 需要实现一键式安装，智能化自适应管理，简单方便的操作界面。 6.动态伸缩要求 该项目数据庞大，要求在可以在不停止服务的情况下，根据项目进展 情况，动态加入新的存储节点或者摘除原存储节点，在此过程中保证 数据不丢失。 解决方案 1.存储系统设计方案 1) 存储系统结构 存储系统采用一主一备两个元数据服务器和 11 个存储节点构成。使 用2U 标准上架机器，安装在一个标准42U 机柜内。机柜内设备连接 图如下图所示： 其中，元数据服务器保存系统的元数据信息，负责整个文件系统的管 理，是云存储文件系统中的“大脑”,它维护了一个统一的命名空间， 同时掌握整个系统内存储节点使用的情况，据此可以实现整个系统范 围内数据存储的负载均衡。 每个存储节点包含8块2T硬盘，同时元数据服务器复用为存储节点， 每台包含6 个2T 硬盘，总容量共计200T。 2) 冗余备份方式 在文件存入云存储系统的过程中，被分为了很多 64MB 的文件块，自 动为每个数据块做了一个备份副本。系统自动将源文件与副本存在不 同的存储节点，实现了冗余备份。任意撤出一台存储节点都不会影响 其中保存的数据，并且在一个存储节点丢失后，系统会自动检测丢失 的副本，在其他存储节点补充完整。 3) 动态伸缩方式 cStor 存储系统提供容量在线伸缩能力，不必停止服务，即可根据存 储容量的需求，灵活增减存储节点。增加新的存储节点是一件十分容 易的事情，存储节点只需要注册到元数据服务器上即可。 2.网络部署方案 存储集群机柜使用的是TP-Link 千兆以太网交换机 24 口； 上传区域接入三个千兆交换机（从机柜拉出三根），此处后续在服务 可停的情况下可优化为三个交换机串联，从机柜拉出一根网线即可； 下载区域对面接入四个千兆交换机（8 口*1+24 口*3）； 另外两个下载区域是接入三个千兆交换机（24 口*3）。 3.客户端方案 1）FTP 通过FTP 方式实现文件的上传与共享。 上传使用管理账户，下载采用匿名用户，仅有下载和部分上传权限（不 能上传服务器中已经存在的同名文件，不能删除、移动文件）。 2）Windows 客户端 Windows 客户端用于上传和下载数据： 使用者在安装好的客户端后，运行cStorClient，只需输入元数据服 务器 IP 地址和挂载盘符M，就可以挂载cStor 虚拟的磁盘M 给客户 使用，客户端在资源管理器中将能看到增加的盘符，此时客户可以使 用cStor 提供的磁盘资源，对其进行数据的读写、修改等操作。 4.cStor 客户端实现用户方便使用 cStor 客户端拥有 Windows、Linux、MAC OS 三个版本，并且已经通 过测试，可以稳定运行在当前主流的计算机上。它具有如下特性： 1）使用简单 一键安装。客户端软件将整个存储系统映射为一个虚拟磁盘供用户使 用，用户就像使用自己的本地硬盘一样对存储系统进行读写、修改等 操作，方便快捷。 2）快速访问 cStor 客户端通过对分散数据块预处理的机制，同时读写分布在