封面
版权信息
内容简介
作者简介
前言 PREFACE
基础篇
第1章 HoloLens 2基础
1.1 混合现实技术概述
1.1.1 MR概念
1.1.2 全息图
1.2 HoloLens 2设备
1.3 MR技术原理
1.3.1 传感器数据
1.3.2 前端里程计
1.3.3 后端优化
1.3.4 回环检测
1.3.5 建图
1.4 开发环境准备
1.4.1 所需硬件和软件
1.4.2 软件安装
1.4.3 软件配置
1.5 MR应用开发初体验
1.5.1 创建工程
1.5.2 直接导入MRTK工具包
1.5.3 使用UPM导入MRTK工具包
1.5.4 使用MRFT导入MRTK工具包
1.5.5 导入TextMeshPro工具包
1.5.6 配置Unity项目
1.5.7 创建和设置场景
1.5.8 导出Unity工程
1.5.9 部署到HoloLens 2设备
1.5.10 发布MR应用
1.6 使用模拟器
1.7 MRTK输入模拟
1.8 设备能力检查
第2章 MRTK基础
2.1 MRTK概述
2.2 MRTK体系架构
2.2.1 配置文件
2.2.2 运行时
2.2.3 服务
2.2.4 扩展服务
2.2.5 数据提供者
2.3 配置文件
2.3.1 配置文件概述
2.3.2 配置指南
操作组件篇
第3章 基本特性操作与开发
3.1 HoloLens 2设备门户
3.1.1 连接设备门户
3.1.2 功能简介
3.2 研究模式
3.3 图像与视频捕获
3.3.1 在设备中直接操作
3.3.2 在设备门户中操作
3.3.3 代码操作
3.4 全息远端呈现
3.4.1 在Unity编辑器中使用全息远端呈现
3.4.2 MR应用程序使用全息远端呈现
3.5 诊断系统
3.6 动态GLTF格式模型加载
3.7 多场景管理
3.7.1 场景系统配置
3.7.2 场景加载与卸载
3.7.3 场景加载进度与事件
第4章 交互与事件
4.1 Bounds Control
4.1.1 基本操作
4.1.2 HoloLens 2风格
4.1.3 事件
4.1.4 使用代码操作
4.2 Object Manipulator
4.2.1 基本操作
4.2.2 事件
4.3 Constraint Manager
4.3.1 基本操作
4.3.2 约束组件
4.4 Interactable
4.4.1 基本操作
4.4.2 Interactable 配置节
4.4.3 事件
4.4.4 视觉主题
4.4.5 代码操作
4.5 Solvers
4.5.1 解算器基础
4.5.2 标准解算器
4.6 手指手掌可视化
4.6.1 Fingertip Visualization
4.6.2 RiggedHandVisualizer
4.6.3 ArticulatedHandMeshPulse
4.7 Elastic System
4.8 Dock
第5章 UX控件
5.1 按钮
5.1.1 按钮的使用
5.1.2 自定义按钮
5.2 Slate面板
5.3 系统键盘
5.4 ToolTips
5.5 Sliders
5.6 近身菜单
5.7 应用程序栏
5.8 进度指示器
5.9 对话框
5.10 手势引导
5.10.1 HandInteractionhint组件
5.10.2 MoveToTarget组件
5.10.3 RotateAroundPoint组件
功能技术篇
第6章 空间感知和映射
6.1 运动跟踪
6.2 空间感知
6.3 空间感知代码操作
6.4 开发环境中测试空间感知
6.5 射线检测
6.6 场景理解和语义
6.6.1 场景理解基础
6.6.2 场景理解使用
6.7 空间感知和场景理解的应用
6.7.1 虚拟物体放置
6.7.2 遮挡
6.7.3 物理模拟
6.7.4 导航和路径规划
第7章 手势操作与交互
7.1 手势输入配置
7.1.1 输入数据提供者
7.1.2 手部跟踪
7.1.3 手部指针
7.2 指针概述
7.3 指针基本操作
7.4 手势操作
7.4.1 近端操作
7.4.2 远端操作
7.5 手部跟踪
7.5.1 获取手部姿态
7.5.2 获取手部关节
7.5.3 获取手部网格
7.5.4 手部关节使用演示
7.6 手势录制和回放
7.6.1 手势录制
7.6.2 手势回放
7.7 手部菜单
第8章 语音与交互
8.1 语音命令
8.1.1 打开话筒功能特性
8.1.2 设置语音命令关键词
8.1.3 监听并处理事件
8.1.4 自定义语音命令处理逻辑
8.2 语音识别
8.2.1 添加语音识别数据提供者
8.2.2 监听并处理事件
8.2.3 自定义语音命令处理
第9章 眼动跟踪与凝视交互
9.1 眼动校准
9.2 眼动跟踪配置
9.2.1 启用凝视输入功能特性
9.2.2 添加凝视数据提供者
9.2.3 设置眼动跟踪参数
9.3 凝视功能使用
9.4 获取凝视数据
第10章 光影与特效
10.1 光照
10.1.1 光源
10.1.2 光与材质的交互
10.1.3 光照模型
10.1.4 悬浮灯光
10.1.5 接近灯光
10.2 MRTK标准着色器
10.2.1 模型切割
10.2.2 轮廓线
10.2.3 挤出与模板测试
10.3 环境反射
10.3.1 立方体贴图
10.3.2 环境反射与光照估计
10.4 阴影
第11章 3D文字与音视频
11.1 3D文字
11.1.1 文字单位换算
11.1.2 中文字体制作
11.2 3D声频
11.2.1 3D声场原理
11.2.2 3D空间音效简单使用
11.2.3 运行时启用和禁用3D音效
11.2.4 UX元素音效3D化
11.2.5 使用回响营造空间感
11.2.6 3D音效设计原则
11.3 3D视频
11.3.1 VideoPlayer组件
11.3.2 视频音效空间化
第12章 空间锚点与Azure云服务
12.1 Azure云服务概述
12.2 空间锚点
12.2.1 锚点概述
12.2.2 本地锚点
12.2.3 本地锚点持久化与传输
12.2.4 云锚点
12.3 远程渲染
12.4 小结
提高篇
第13章 设计指南
13.1 MR应用设计挑战
13.2 MR应用设计的一般原则
13.2.1 舒适性
13.2.2 显示呈现
13.2.3 UX设计
13.2.4 3D音效
13.2.5 视觉效果
13.2.6 真实感
13.2.7 跟踪丢失
13.3 MR应用交互设计指南
13.3.1 指示光标
13.3.2 可交互对象
13.3.3 本能交互
13.3.4 手势交互
13.3.5 语音交互
13.3.6 凝视交互
第14章 性能优化
14.1 性能优化基础
14.1.1 影响性能的主要因素
14.1.2 MR应用常用调试方法
14.1.3 MR应用性能优化的一般原则
14.2 MR应用性能调试工具
14.2.1 Unity分析器
14.2.2 帧调试器
14.3 Unity分析器使用
14.3.1 CPU使用情况分析器
14.3.2 渲染情况分析器
14.3.3 内存使用情况分析器
14.3.4 物理分析器
14.3.5 声频视频分析器
14.4 性能优化的一般步骤
14.4.1 收集运行数据
14.4.2 分析运行数据
14.4.3 确定问题的原因
14.5 渲染优化
14.5.1 渲染流程
14.5.2 CPU瓶颈
14.5.3 GPU瓶颈
14.6 代码优化
14.6.1 内存管理
14.6.2 垃圾回收
14.6.3 对象池
14.6.4 常见影响性能的代码优化策略
14.7 MRTK优化设置
14.7.1 UI/UX优化
14.7.2 常用优化设置
14.7.3 MR应用开发一般注意事项
附录A 更多资源
参考文献
更新时间:2023-09-15 17:52:11