学校名称

欧博官网

学生姓名

学  号

专      业

性 别

入 学 年 份

兰林涛

201550080535

计算机科学与技术

男

2015

郑镇潮

201550080134

计算机科学与技术

男

2015

柳邓一漫

201550080430

计算机科学与技术

男

2015

黄如钊

201550080333

计算机科学与技术

男

2015

罗京

201550080111

计算机科学与技术

男

2015

指导教师

桂彦

职称

讲师

项目所属

一级学科

计算机科学与技术

项目科类(理科/文科)

理科

学生曾经参与科研的情况

本学生团队的五名组员均来自欧博官网2015级计算机科学与技术卓越班，团队成员之间联系紧密，配合默契，组员学习成绩优良，喜欢钻研，有较强的创新能力与动手能力，特别是对新鲜事物敏感，在学好自身专业的同时，均希望参加大学生研究性学习和创新实验计划项目夯实计算机科学专业基础，同时进一步提高实际动手能力和创新能力，为以后的学习深造和工作就业打下良好的基础。其中，兰林涛同学曾参加第九届中国大学生程序设计大赛，并获得了国赛三等奖、中南赛区二等奖、第十一届欧博官网程序设计比赛三等奖的成绩，并已在期刊《软件》上发表论文一篇。本小组所有成员在2015-2016年申报并实施了计算机与通信工程学院卓越工程师创新课题，并已顺利结题。

欧博计算机与通信工程学院已将“智能感知与计算机视觉方向”作为计算机科学与技术专业的重点培养方向之一，该专业是国家级特色专业、教育部“卓越工程师教育培养计划”试点专业。小组成员均为计算机科学与技术专业卓越班学生，在软硬件技术方面有良好的基础，我们已经学习了C/C++语言、可视化编程、汇编语言，在程序的数据结构、算法分析与设计上有了一定的基础，了解了计算机网络原理与应用技术，初步具备了将Android平台与Web云服务结合起来的条件。

小组成员在桂彦老师的带领下已初步了解了图像融合的原理以及过程，并研究了图像融合的算法。并在暑假期间进行分组学习了Android平台与Web后台的开发，为接下来的创新实验打下了基础。目前小组成员正积极学习和研究基于图像融合技术的云端真实场景重现系统，这对于我们来说仍是一项全新的挑战。

指导教师承担科研课题情况

桂彦，女，1985年1月出生，湖南永州人，博士，欧博官网计算机与通信工程学院讲师、中国计算机学会(CCF)会员。目前主要研究方向为计算机图形学、计算机视觉、可视媒体智能编辑与处理等，主要在纹理合成/视频纹理合成、图像/视频分割与修补、流体动画等方面取得了一些创新性的研究成果。已在《The Visual Computer》、《Journal of Zhejiang University - Science C (Computers & Electronics)》等国内外权威际期刊以及CGI2010、VRCAI2011、COMPSE2016等国际会议上发表论文10篇，其中SCI收录论文4篇，EI收录论文6篇。目前主持国家自然科学基金青年基金项目1项（名称：利用外观相似性和全局拓扑结构的重复元素提取与合成技术研究，项目编号：61402053）；湖南省教育厅科研项目1项（名称：基于DNN的灰度图像彩色化在图像编辑处理中的应用研究项目编号：16C0046）。

项目研究和实验的目的、内容和要解决的主要问题

一、项目研究的背景及意义

数字图像处理与应用在国际计算机学术界和工业界一直都备受关注，只不过由于过去受到计算平台处理性能的限制，很多理论的实现不能在实际应用上取得使人满意的效果。随着移动互联网的发展和智能手机的普及，设备的处理性能也获得了进一步的提升，部分图像处理技术也从理论走向了商用化。目前市场上已经出现了许多基于安卓平台的图像处理软件，如Skitch、Photowonder、美图秀秀等，并且已经获得了市场的肯定。

相比于过去的照相机拍照—电脑处理模式，手机的摄像镜头虽然在硬件上有一定的劣势，但是手机摄影轻便、快捷、简单等特点也是传统处理方式无法比拟的。因而智能手机市场上的数字图像处理取得了快速的发展。不过，目前市面上数字图像处理软件的功能主要集中在滤镜、马赛克、贴图等，大多是对拍摄的图片进行即时、简单的处理，缺少高级的图像处理功能。

目前，随着互联网的发展，特别是国家推进了我国信息基础设施的建设，用户的互联网接入速度已经获得了极大的提升，使云计算平台的实现有了现实基础。目前云平台具有极大的想象空间，云存储、云端计算、云服务等都有着广泛的前景。包括微软、谷歌、腾讯、百度在内的知名企业都在大力推动“云”的发展，微软已将“移动优先，云优先”作为公司的发展战略。云计算能使用户只要身边有互联网接入，便可访问所有功能，其基于云端的计算平台具有“快速弹性”的特性，即服务器的资源可由多个用户共享，极大提高了计算效率与资源的利用率。

二、实验目的

目前，智能手机上图像处理软件高级功能的缺少，最重要的一个原因在于目前手机的处理性能仍然无法支撑高分辨率图像处理的计算量，受限于手机处理器主频与电池容量，无法获得一个较好的用户体验。

为了解决智能手机处理图像性能与功耗的短板，我们结合当下蓬勃发展的云计算概念，提出了“先由终端提供用户交互，再由云端服务完成计算任务”的处理流程，目的是通过结合已有的智能手机平台在用户交互的优势与云计算不耗费本地资源的特点，来实现具有较高处理性能要求的图像处理算法，达到1+1>2的效果。通过该系统的设计实现，我们可以深入探讨图像处理与云端服务两者在实际生活中的应用，以及如何更好地发挥互联网的优势来将实验内容真正应用到生活实践中。

三、实验内容

基于指导老师在计算机图形学、计算机视觉、可视媒体智能编辑与处理等方面的积累，针对移动终端数字图像处理的实际需求，我们开发的基于图像融合技术的云端真实场景重现系统可以在保证具有良好用户体验的同时，兼顾了计算速度与智能手机应用对耗电量、发热等方面的要求。

我们开发的基于图像融合技术的云端真实场景重现系统主要分为Android与Web云服务器两个部分：

1）Android平台主要分为图像处理及交互模块、用户登陆与历史管理模块、辅助模块三大功能。其中，图像处理及交互要求系统整体拥有良好的用户界面设计、动画效果，并实现多点触摸屏上的多指缩放、旋转图片等功能以提供良好的用户体验，并且能够通过网络进行融合渲染；用户登陆与历史管理模块使得用户可以通过账号登陆来在不同的平台上对处理文件的管理，并可以访问历史渲染图像进行下载、查看、删除等操作；辅助模块主要用于用户操作指引、照相取景辅助等功能，通过这些功能来增强软件的使用价值。

2）Web云服务器部以全分辨率图像融合处理、用户管理与历史记录保存为主，并提供与Android终端通信接口。其中，图像融合处理模块具有处理队列、实时融合存储等功能，并通过数据库进行数据管理；用户管理与历史记录模块为终端的账号登陆提供了接口，使得终端可以通过该接口实现对具体文件的操作。

相较于传统图像处理模式将所有计算全部放在本地处理导致的处理速度慢、功耗大、手机发热高等的问题，我们采用的Android与Web云服务相结合的方式，通过将计算任务发送至云端处理的方式，在保留手机良好用户交互体验的同时，又避免了传统方式的缺点， 具有良好的实用价值。

四、拟解决的主要问题

1）图像融合算法的实现，并确保其在性能与资源使用上取得良好的平衡。

2）实现Android平台上的用户交互功能，包括但不限于图像内容读取、图像区域框选、实时融合预览、辅助取景等功能。

3）完成Web云服务平台，实现其与Android的通信功能，云平台应当具有图像融合、多用户管理、历史记录等功能。

4）搭建Web云服务的软硬件平台，并能够通过互联网与用户终端通信。

5）设计实现能够响应多用户访问处理的云平台系统。

国内外研究现状和发展动态

一、图像融合技术研究现状与动态

数字图像处理在工业领域与民用领域一直有着广泛的应用。图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于使用。

在工业领域，图像融合有许多值得研究的方面，比如地球观测卫星能够提供包括不同空间、时间、谱段的电磁光谱的不同部分的数据。为了充分利用日益增长的多源数据，数据融合技术应运而生了。 融合后的图像在结合了不同传感器特征之后，它能更好的反应现实，提高容量，得到更可靠的结论。图像拥有时间、空间、光谱等特征，因此，这样可以更全面的观测对象^[1]，如图1所示，通过将卫星不同传感器获取的图像数据经行融合后，可以获得更加全面的观测信息。

图1 图像融合在卫星遥感方面的应用

在民用领域，在医学图像分析、安全导航、交通检测等方面都有着重大的应用价值。如图2所示，在医学图像分析上，通过将MRI与PET扫描图像进行融合，可以更好地辅助医生对患者情况做出判断。除此之外，在日常生活中，图像融合还可用于无缝添加原图像所缺失的内容，或通过融合技术进行艺术的在创作，营造出普通摄影无法表达的意境。

图2 图像融合在医疗方面的应用

Patrick Pérez在2003年发表了论文《Poisson Image Editing》，其在图像无缝融合方面的研究成为了后来图像融合领域的一个经典方法。如图3所示，在采用该方法处理图像之后的融合效果可以达到令人满意的水准，为本系统的实现提供了理论支持。

图3 采用论文方法实现的图像融合效果

二、Android平台发展现状与应用

Android是一个基于Linux内核的开放源代码移动操作系统，由Google成立的Open Handset Alliance（开放手持设备联盟）持续领导与开发，主要设计用于触屏移动设备如智能手机和平板电脑。Android从最早的1.0版本已经发展到了现在的7.0（Android Nougat），据统计，全球每天有超过100万部Android设备被激活。2009年Android只占据全球智能手机操作系统市场2.8%的份额，这个数字在2010年增长到了33%，而根据市场研究公司凯度（Kantar Worldpanel ComTech）的最新研究报告，Android手机在全球市场上的占有率已经达到了惊人的76.4%^[2]，这意味着每十个人里面，就有7-8个人使用基于Android平台的智能设备。安卓系统发展如此迅速和其开源、易移植的特点时分不开的，它可以被用在大部分的电子产品上，包括智能手机、各类电脑、电视等，其中比例最大的还是移动智能终端^[3]。

Android操作系统的核心属于Linux内核的一个分支，具有典型的Linux调度和功能^[4]，除此之外，Google为了能让Linux在移动设备上良好的运行，对其进行了修改和扩充。如图4所示，Android的系统架构大致分为了四层，分别为Linux内核层、库和进行时、框架层和应用层。Android的体系架构是鼓励系统组件重用，共享组件之间的数据，并定义组件间的访问权限控制。可以说，这些层次结构相互独立，又互相关联^[5]。

图4  Android 系统架构图

在2014年Google I/O 大会上，Android正式发布了其5.0版本，该版本最大的改进为将原有Android 使用的Dalvik虚拟机完全废弃，彻底采用了全新的ART模式。Dalvik模式与ART模式最大的不同在于Dalvik采用的是实时编译（JIT：Just in time），即在应用程序运行时将程序的Java字节码翻译成机器码（native code）执行^[5]，导致每次应用运行时都需要重新将字节码翻译，浪费了大量的时间与机器资源；而ART采用的是预编译（AOT：ahead of time），即在应用安装时一次性将本地代码编译完毕，从而节省了运行时开销，并降低了电量的消耗，显著提升了运行效率。如图5所示，在Nexus5上Art模式相较于Dalvik有着较高的优势。

图5  Nexus5上ART模式与Dalvik模式效率对比

近年来，随着智能终端行业的不断发展，其机身搭载的摄像镜头素质也得到了巨大的提升。目前市面上的手机搭载的镜头像素数量已经普遍达到了一千三百万，且成像质量也已达到了令人满意的水平，因而智能手机已经从事实上取代了专业摄影设备成为了人们日常拍照的首选。正是因为如此，智能手机领域的图像处理软件得到了极大的发展，人们对照片后期处理的需求也在不断攀升。根据腾讯应用宝提供的数据，Android手机上美图秀秀软件的下载量已经达到了3.3亿人次^[6]，可见图像处理软件在市场上拥有广泛的需求。如图6所示，目前手机上图像处理软件功能还是以滤镜、拼图等功能为主，仍然具有极大的发展空间。

图6 指划修图软件界面

三、Web云计算服务的应用与发展

云计算是一种基于互联网的计算方式，如图7所示，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。继1980年代大型计算机到客户端-服务器的大转变之后，云计算成为了下一个巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制^[7]。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源^[8]。这种方式极大提高了资源的利用率，并降低了使用成本。

图7 通用云计算共享软硬件资源

近年来，随着世界互联网建设的不断发展，云计算已经从实验室的构想正式走向了现实应用。在国家层面，各个国家都十分重视其发展研究，特别是我国在积极推进了信息基础设施的建设，提出了“互联网+”的创新理念，李克强总理在首届互联网大会上指出了互联网是大众创业、万众创新的新工具，是中国经济提质增效升级的“新引擎”，可见其重要作用^[9]。云计算作为“互联网+”中必不可少的一环，可见其重要性与广阔的发展前景。

此外，不少国际知名公司都将云计算作为公司发展的战略目标。微软在2014年便提出了以“移动为先，以云为先”的转型之路^[10]，在其最新操作系统Windows 10上深度整合了云计算服务，在商用领域，微软公司的Azure计算也是业内标杆，体现了云计算巨大的潜能。云计算的普及应用使得广大用户得到了切实的体验提升，目前国内智能手机上均搭载了各个厂商提供的云服务，通过云端同步、备份等功能真正使得“云”这个概念深入人心，成为了人们日常生活中必不可缺的一环。

图8 云计算部署模型

美国国家标准和技术研究院的云计算定义中涉及了关于云计算的部署模型^[11]。如图8所示，按照部署模型分类，其可以分为公有云、私有云、社区云和混合云这四种类型：

l 公用云（Public Cloud）

公用云服务可通过网络及第三方服务供应者，开放给客户使用，“公用”一词并不一定代表“免费”，但也可能代表免费或相当廉价，公用云并不表示用户数据可供任何人查看，公用云供应者通常会对用户实施使用访问控制机制，公用云作为解决方案，既有弹性，又具备成本效益。

l 私有云（Private Cloud）

私有云具备许多公用云环境的优点，例如弹性、适合提供服务，两者差别在于私有云服务中，数据与程序皆在组织内管理，且与公用云服务不同，不会受到网络带宽、安全疑虑、法规限制影响；此外，私有云服务让供应者及用户更能掌控云基础架构、改善安全与弹性，因为用户与网络都受到特殊限制。

l 社区云（Community Cloud）

社区云由众多利益相仿的组织掌控及使用，例如特定安全要求、共同宗旨等。社区成员共同使用云数据及应用程序。

l 混合云（Hybrid Cloud）

混合云结合公用云及私有云，这个模式中，用户通常将非企业关键信息外包，并在公用云上处理，但同时掌控企业关键服务及数据。

作为一个新兴的发展领域，云计算服务在未来仍然具有极大的想象空间，其弹性计算的特性也意味着它能使用与传统计算方式相比更少的资源去实现更多的功能。

回顾图像处理、Android平台与云服务的发展，其之所以得到了巨大的发展，很重要的一点是，在其发展历程中都不断切合了用户需求，三者都提供了一个全新的功能平台，方便人们随时随地享受科技进步带来的便利。我们希望通过基于图像融合技术的云端真实场景重现系统的设计，让更多使用者受益的同时，也能提高自己的开发水平，完善自己的知识结构。

参考文献：

[1]扈少华, 郭宁. 图像融合方法及应用[J]. 科技信息, 2010(28):115-115.

[2]安卓市场份额已接近8成.http://www.ithome.com/html/iphone/216610.htm

[3]储韬溢. 交互式图像分割的图割算法及安卓应用[D]. 南京邮电大学, 2014.

[4]Androidology – Part 1 of 3 – Architecture Overview(Video). YouTube. 2008-09-06.

[5]http://huangzihao.me/android_heroes/1、Android体系与系统架构/

[6]美图秀秀.http://sj.qq.com/myapp/search.htm?kw=美图

[7]Danielson, Krissi. Distinguishing Cloud Computing from Utility Computing. Ebizq.net. 2008-03-26.

[8]Gartner Says Cloud Computing Will Be As Influential As E-business. Gartner.com. [2010-08-22].

[9] 新华网评：中国有了“互联网+”计划.http://www.netofthings.cn/GuoNei/2015-03/5505.html

[10] 微软Cloud OS愿景:让数据为每个人服务.http://storage.it168.com/a2014/0410/1611/000001611995.shtml

[11]NIST. 美国国家标准与技术研究院对云计算的定义. 美国国家标准和技术研究院. 2011年9月.

本项目学生有关的研究积累和已取得的成绩

一、有关研究的积累

（1）总结了卓越创新课题中的收获与不足、复习了C++、MFC等知识，还分组学习了Android软件开发、Web后台开发等方面的知识。

（2）已初步了解了Android平台与Web服务平台通过网络协作的基本要点，购置了树莓派、USB接口键盘鼠标、SD卡等设备作为搭建云端服务的开发测试平台，并了解了树莓派的性能和使用，并进行了基本的调试与实验。

（3）熟悉了树莓派的主要组建与构造，了解了树莓派启动方式及支持的系统，并下载了相应的镜像进行系统安装测试。

（4）深入学习了Android与Web后台开发内容，并就实验内容进行了多次讨论，在讨论中逐步完善了系统的功能划分、云端协作等，为实验开展奠定了基础。

二、已取得的成绩

[1] 计算机卓越班2015级卓越工程师创新课题：基于目标对象移除技术的图像修复系统设计与实现， 2015。

[2] 兰林涛，桂彦，郑镇潮，柳邓一漫，罗京，王朦.基于Qt开源框架的跨平台图像修复系统设计与实现，软件，2016，37(8)，pp.47-50.

[3]《梦之站官网2.0》，第九届中国大学生程序设计大赛全国三等奖，2016。

[4]《梦之站官网2.0》，第九届中国大学生程序设计大赛中南赛区二等奖，2016。

[5]第十一届欧博官网程序设计比赛三等奖，2016。

项目的创新点和特色

一、项目的创新点

（1）本项目创新性采用了云端服务进行图像处理，使应用场景摆脱了设备处理性能的限制，使本系统的灵活性、便携性、可靠性得到了有效保障。

（2）系统通过手机端进行图像融合的交互与预览，符合用户使用习惯，降低了操作门槛，同时通过云端进行高性能的融合计算，在保证快速得到高质量效果的同时降低了用户终端的电量消耗。

（3）项目研究成果在日常生活中有广泛的应用，并且提供具有兼容性的后台接口，可在日后快速扩展到其他平台，实现全平台覆盖。

二、项目特色

（1）系统具有基于图像融合的真实场景重现功能、辅助信息采集、云端实时处理、多用户登陆管理与云端存储等功能。

（2）云端系统采用高度兼容的开发方式，不仅能够在高性能服务器上为大规模用户提供服务，而且兼容廉价硬件平台，为个人搭建私有平台提供了解决方案。

（3）项目工作将获得一套实用系统（Android用户端与Web服务端），可以作为互联网时代下交互协作的一个案例。

项目的技术路线及预期成果

一、项目技术路线

1. 系统目标功能设计与工作框架

1.1 系统总体功能

本系统总体功能设计如图1所示。

图1 系统总体功能设计

l 源图像区域选取模块：用户打开源图像后，可直接通过手指进行目标区域点选的点选操作，支持主流图像格式；

l 目标区域融合定位模块：提取用户在上一步点选的区域，以悬浮的形式置于目标图像内，用户可自由拖动其位置、改变大小；

l 本地实时预览模块：待全部调整完毕后，Android本地在降低图像分辨率后进行融合，并显示融合效果；

l 云端处理接口与结果获取模块：将图像及融合信息发送至云端服务器进行处理，待服务器处理完毕后再进行读取；

l 最终结果导出模块：用户可选择导出最终结果到本地存储器，也可以直接分享至微博、微信等社交平台；

l 用户注册登陆模块与历史图像查看模块：系统提供了用户注册与管理功能，用户第一次注册之后，即可在页面对历史的融合图像进行查看或删除操作；

l 图像融合队列：当云端服务器待融合图像过多时，将待融合图像按世间顺序入队，依次进行融合操作。

本系统目前还在设计阶段，后期会添加如用户摄影融合辅助等功能，丰富系统功能。

1.2 系统工作流程设计

本系统采用本地平台与云端服务相结合的模式，通过本地操作提升用户交互的友好度、便利程度，使用云端服务进行对应目标的即时融合，避免了本地融合导致的速度过慢、发热、耗电量大等问题。系统主要工作流程如图2所示。

图2 系统主要工作流程设计图

1.3 系统网络结构设计

当用户需要在云端上进行下一步的融合工作时，由Android平台程序通过互联网络向服务器发送请求，并将相应的信息内容发送至服务器，必要信息内容如表1所示。云端服务在接收到数据之后，将待处理图像加入至处理队列中，并将处理状态码发回客户端。

表1 用户端发送的信息内容设计

序号

内容

1

源区域图像信息

2

源区域选定区间信息

3

目标区域图像

4

选取内容相对位置、缩放信息

5

用户唯一识别码