什么是 ARCore?了解 Google 关于 AR 的重大公告、ARCore 的重要性以及如何自己上手使用 ARCore。

Wim Meeussen, Jinghua Zhang

在此会议中,您将了解使用 ARCore 开发面向 Android 的 AR 应用所需了解的全部内容。我们将涵盖以下方面的内容:AR 对 Google 的重要意义、什么是 ARCore、为何面向移动平台、ARCore 的规模及其重要性。您还将了解以下方面的实践知识:

  • ARCore 构建基块
    • 运动追踪、平面查找、测光
  • ARCore 平台
    • Java、Unity、Unreal、网络
  • 入门指南 - SDK、硬件
  • AR 用户体验最佳做法和 ARCore 用例
    • 在线零售、游戏、工具等

AR将信息变为现实

沉浸式计算

Android-scale AR

有 30 亿移动设备,AR 必须移动化才能做到规模化

Tango 的局限性:必须依赖于硬件:红外传感、特殊摄像头

ARCore: Software Solution

Building blocks

  • Motion tracking (Camera, IMU, full 6 DOF movement)
  • Environment understanding
    • Recognizing surface, to have objected locked on them
  • Light estimation
    • For realistic rendering, including shadow

Application

Share

Engaging video creation

Shopping

  • Easyhome Homestyler
  • 京东

Tools

Gauge & measurement

Gaming

  • 网易游戏

Have user demand & experience in mind

新颖的智能手机 AR 体验会影响用户的反应

熟悉指南手机,但不熟悉 AR

  • 用户常常会使用熟悉的触屏行为(而开发者希望用户通过走近/走远来取得“缩放”效果)
  • 场景让用户的注意力从“屏幕”上移走,界面元素会与 3D 环境形成竞争(UI元素过小不适合用户操作)
  • 用户对 AR 物体的反应与对真实物体的反应之间有多大差别?如何通过把控距离等元素引导用户行为?
  • 用户需要获得明确指示,或者合理的理由,才会从一个“移动阶段”,转到另外一个阶段?
    • 智能手机用户倾向于保持不变的姿势,直到有人告诉他们改变姿势的理由

入门指南

  • Java APIs
  • Unity, Unreal APIs
  • C APIs
  • Web interface

https://developers.google.cn/ar/

API 基础知识

Frame

关于最新图像帧的全部信息,帮助我们做图层覆盖

  • 跟踪状态:当前相机位置等
  • 平面[]
  • 特征点[]
  • 光估计

Anchor 锚点

  • 将 AR 对象attach到实际物体上
  • 偏移校正
  • 让对象靠近锚点

Plane 平面

  • 多个平面和平面边界
  • 需要耗费时间计算检测
  • GetAllPlanesHitTest