Hiroyuki Sato / 佐藤 浩之

3D Computer Vision and Graphics Engineer

コンピュータビジョン（CV）とコンピュータグラフィックス（CG）の研究開発に12年従事し，AR/VR，デジタルヒューマン，自動運転，Spatial AIなど多様な分野へ応用．特に3次元再構成技術に強みを持つ．

GitHub LinkedIn
Tokyo, Japan

業務関連の公開情報

実在の人物をスキャンして作成したデジタルヒューマンをユーザの表情に合わせてリアルタイムにレンダリングするデモ
[object Object]

iPhoneのARKitでユーザの表情のブレンドウェイトを取得し，ラップトップPCに送信．ラップトップ上でリアルタイムに表情を反映したPBRレンダリングを実行．VC2023やMIRU2024などの国内学会におけるHuawei企業ブースで展示．

手持ちのスマートフォン1台で撮影から計算までを行い，3D形状とPBRマテリアルを再構成し，さらにリライティングを適用する3Dスキャンアプリ

単眼Visual SLAMでリアルタイムにカメラポーズを推定し，MVSによりスキャン中数秒遅れで密な3D点群を復元．スキャン後，点群をメッシュ化及びUV展開し，Dressiを用いた微分可能レンダリングでPBRテクスチャ（ベースカラー，ノーマル，ラフネス，メタリック）を最適化．この際，撮影時に点灯していたスマートフォンのライトを既知光源として活用．その後，点光源とIBLによるリライティングをインタラクティブなビューワ上で行う．スマートフォンGPU上での微分可能レンダリング実行デモはおそらく世界初．MIRU2022やVC2022などの国内学会Huawei企業ブースで展示．

Website
LYSA: Huaweiのデジタルヒューマン［2020］

アニメーション可能なCGモデルとして作られた，実在しないデジタルヒューマン．

YouTube
Cyberverse: HuaweiのARプラットフォーム［2019］

屋内外でカメラを使った自己位置推定を行い，ARによる道案内といった実用的な機能及びARゲームなどのエンターテイメントを提供．

YouTube
P30Proに組み込まれたARメジャーアプリ［2019］
[object Object]

スマホのバックについたデプスセンサ（ToF形式）を用いて，目の前にある物体の長さや体積を計算．

Website
Mate20Proに組み込まれた3D Live Makerアプリ［2018］

スマホのフロントについたデプスセンサでぬいぐるみを手持ちで3Dスキャン. 半自動で人型のリグ（骨格）を入れ，スマホARでアニメーション．

YouTube
Mate20Proの公式カメラアプリに組み込まれたポートレートリライティング機能［2018］
[object Object]

スマホのフロントについたデプスセンサで顔の3D形状を取得し，ポートレート写真に3Dを考慮したリライティングのエフェクトを付与．

Website
HonorV10リリースカンファレンス向けの顔の3次元再構成［2017］

HonorV10用に作られた外付けデプスセンサによる静的な顔の3Dスキャン．

YouTube
Canon Interactive Projector. Versatile Collaboration System (VCS) / Canon Expo 2015

本やオブジェクトが置かれた凹凸のある面（タッチ認識機能なし）にUIをプロジェクターで投影し，デプスセンサで手指の動きやタッチを認識してUIを操作．

YouTube

個人プロジェクト

NanoPM, single header only PatchMatch in C++
NanoPM, single header only PatchMatch in C++
Repo
Vacancy: A Voxel Carving implementation in C++
Vacancy: A Voxel Carving implementation in C++
Repo
Devenir: An Interactive Mesh Retopology Tool
Devenir: An Interactive Mesh Retopology Tool
Repo

職務経歴

株式会社MinD in a Device
株式会社MinD in a Device

チーフエンジニア

2025.08 — Present
  • 最先端のSpatial AI研究と実世界での応用をつなぐ，カスタムAIソリューションを開発
株式会社T2　技術開発本部
株式会社T2　技術開発本部

ソフトウェアエンジニア

2024.11 — 2025.08
  • GNSS/IMU，LiDAR，カメラなどのセンサを搭載し，ROSライクなミドルウェア上に実装された輸送業向け大型トラック用自動運転システムを対象に，キャリブレーション， 3D地図作成，自己位置推定技術を開発
  • 点群，メッシュ，Gaussian Splattingといった3D表現や，ベクターマップ形式のHDマップといった形式の3D地図を処理
華為技術日本株式会社（ファーウェイ・ジャパン）　東京研究所
華為技術日本株式会社（ファーウェイ・ジャパン）　東京研究所

シニアエンジニア

2019.05 — 2024.11
  • マルチビュー・マルチライティング画像から，アニメーション可能でフォトリアルなメッシュベースの顔アバターを3次元再構成するデジタルヒューマンスキャニングパイプラインを開発［2023 - 2024］
  • 人間の毛髪を1本1本のレベルで 3次元再構成する手法Dr.Hairを開発し，その成果をCVPR 2024にて発表［2022 - 2024］
  • 単眼Visual SLAMとDressiを活用し，手持ちスマートフォン1台で撮影から計算まで行い，形状とPBRマテリアルを再構成する3Dスキャンアプリを開発［2022 - 2023］
  • Vulkan実装による世界最速かつマルチプラットフォーム対応の微分可能レンダラDressiを開発し，その成果をEurographics 2022で発表［2019 - 2022］
  • 犬などの四肢動物ペットの動的動作を対象に，メッシュのテンプレートモデルとNeRFを組み合わせて，アニメーション可能な形式での3次元再構成技術を開発［2019 - 2022］
  • Cyberverse（HuaweiのARプラットフォーム）のために，人間の全身や屋内環境など様々な対象向けの3次元再構成技術を開発［2019］
  • P30Pro用ARメジャーアプリを開発［2019］
  • 世界中の大学やスタートアップと連携し共同研究を推進

エンジニア

2017.01 — 2019.05
  • お気に入りのおもちゃを3Dスキャンし，ARで生き生きとアニメーションさせる3D Live MakerアプリをMate20Pro［2018］およびP30Pro［2019］向けに開発
  • Mate20Pro向けに3Dポートレートリライティング機能を開発［2018］
  • HonorV10発表会向けに顔の3次元再構成技術を開発［2017］
キヤノン株式会社　デジタルシステム開発本部
キヤノン株式会社　デジタルシステム開発本部

ソフトウェアエンジニア

2013.04 — 2016.12
  • MREAL（キヤノンのビデオシースルー型MRヘッドマウントディスプレイ）向けに，RGB-Dカメラを併用したリアルタイム3D手指姿勢推定技術のPoCを開発
  • 卓上ARプロジェクションユーザインターフェースのPoCを開発し，Canon Expo 2015で発表

論文（査読付き）

Dr.Hair: Reconstructing Scalp-Connected Hair Strands without Pre-training via Differentiable Rendering of Line Segments
Dr.Hair: Reconstructing Scalp-Connected Hair Strands without Pre-training via Differentiable Rendering of Line Segments
Yusuke Takimoto, Hikari Takehara, Hiroyuki Sato, Zihao Zhu, Bo Zheng
CVPR 2024 Conference, Highlight / Poster Acceptance rate: 23.6%, Highlight: 11.9% of the accepted papers
WebsiteYouTube
Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
Yusuke Takimoto, Hiroyuki Sato, Hikari Takehara, Keishiro Uragaki, Takehiro Tawara, Xiao Liang, Kentaro Oku, WAtaru Kishimoto, Bo Zheng
Eurographics 2022 Conference, Full Paper Jointly published in Computer Graphics Forum (CGF) Volume 41, Issue 2
WebsiteYouTube
Improved Sampling Using Loopy Belief Propagation for Probabilistic Model Building Genetic Programming
Improved Sampling Using Loopy Belief Propagation for Probabilistic Model Building Genetic Programming
Hiroyuki Sato, Yoshihiko Hasegawa, Danushka Bollegala, Hitoshi Iba
Swarm and Evolutionary Computation, Volume 23 2015 Journal
Paper
Learning Non-linear Ranking Functions for Web Search using Probabilistic Model Building GP
Learning Non-linear Ranking Functions for Web Search using Probabilistic Model Building GP
Hiroyuki Sato, Danushka Bollegala, Yoshihiko Hasegawa, Hitoshi Iba
IEEE Congress on Evolutionary Computation (CEC) 2013 Conference
PaperSlide
Probabilistic Model Building GP with Belief Propagation
Probabilistic Model Building GP with Belief Propagation
Hiroyuki Sato, Yoshihiko Hasegawa, Danushka Bollegala, Hitoshi Iba
IEEE Congress on Evolutionary Computation (CEC) 2012 Conference
PaperSlide

発表（査読無し）

[Invited talk about CVPR 2024 paper] Dr.Hair: Reconstructing Scalp-Connected Hair Strands without Pre-training via Differentiable Rendering of Line Segments
[Invited talk about CVPR 2024 paper] Dr.Hair: Reconstructing Scalp-Connected Hair Strands without Pre-training via Differentiable Rendering of Line Segments
Yusuke Takimoto, Hikari Takehara, Hiroyuki Sato, Zihao Zhu, Bo Zheng
MIRU2024, 招待講演•2024•Japanese
Website
微分可能レンダラのつくりかた～理論からVulkan実装まで～
微分可能レンダラのつくりかた～理論からVulkan実装まで～
佐藤 浩之, 滝本 佑介
Visual Computing 2023 (VC 2023), チュートリアル•2023•Japanese
WebsiteSlide
三次元顔形状フィッティングのための多視点顔画像からのDense Landmark検出
三次元顔形状フィッティングのための多視点顔画像からのDense Landmark検出
糸井 琢人, 武原 光, 佐藤 浩之, 岩本 尚也, 郑 波
Visual Computing 2023, ポスターセッション3•2023•Japanese
Website
Animatable NeRFを用いた四肢動物のアニメーション表現の検討
Animatable NeRFを用いた四肢動物のアニメーション表現の検討
糸井 琢人, 岩本 尚也, 武原 光, 佐藤 浩之
第189回コンピュータグラフィックスとビジュアル情報学研究発表会, スポットライト：口頭 + ポスター•2023•Japanese
Website
[Invited talk about Eurographics 2022 paper] Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
[Invited talk about Eurographics 2022 paper] Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader Packing and Soft Rasterization
滝本 佑介, 佐藤 浩之, 武原 光, 浦垣 啓志郎, 俵 丈展, 梁 笑, 奥 健太郎, 岸本 渉, 鄭 波
Visual Computing (VC) 2022, 招待講演, 国際論文誌・学会採択論文招待セッション1 (レンダリング)•2022•Japanese
Website
3D LIVE MAKER: 好きなキャラクタに命を吹き込むまで
3D LIVE MAKER: 好きなキャラクタに命を吹き込むまで
岩本 尚也, 佐藤 浩之, 鄭 波
Visual Computing (VC) 2020, 応用論文•2020•Japanese
Website
確率モデル GP によるランキング学習の提案
確率モデル GP によるランキング学習の提案
佐藤 浩之, ダヌシカ ボレガラ, 伊庭 斉志
進化計算シンポジウム2012, Poster•2012•Japanese
WebsitePoster
Belief Propagation を取り入れた確率的関数進化アルゴリズム
Belief Propagation を取り入れた確率的関数進化アルゴリズム
佐藤 浩之, 伊庭 斉志
進化計算シンポジウム2011, Poster•2011•Japanese
WebsitePoster

学歴

東京大学
東京大学

修士（工学）：工学系研究科 電気系工学専攻 融合情報学コース 修士課程

2011.04 — 2013.03
  • メタヒューリスティックな最適化である進化計算の一種である遺伝的プログラミングと機械学習を組み合わせたハイブリッドな手法，確率モデル遺伝的プログラミングを研究
  • 筆頭著者として計3本の査読付き論文を国際会議と国際論文誌で出版

指導教官: 伊庭 斉志 教授, ダヌシカ ボレガラ 教授

共同研究者: 長谷川 禎彦 教授

東北大学
東北大学

学士（工学）：工学部 情報知能システム総合学科（現 電気情報物理工学科） コンピュータサイエンスコース

2007.04 — 2011.03
  • 電気電子工学とコンピュータサイエンスを専攻
  • 卒業研究ではStandard MLの拡張である関数型言語SML#の関係データベース連携機能を開発

指導教官: 大堀 淳 教授

共同研究者: 上野 雄大 教授, 森畑 明昌 教授

Link: SML#

特許

Japan
  • 情報処理装置、その制御方法、プログラム、記憶媒体
    JP6570376B22019
  • 情報処理装置とその制御方法、プログラム、記憶媒体
    JP6579866B22019
  • 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
    JP2018181169A2018
  • 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
    JP2018132319A2018
  • 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
    JP2018119833A2018
  • 情報処理装置とその制御方法、プログラム、記憶媒体
    JP2016071547A2016
US
  • Automatic photography composition recommendation
    US12192618B22025
  • Semantic guidance for 3d reconstruction
    US20230206550A12023
  • Information processing apparatus, method for controlling same, and storage medium
    US20160093055A12016
PCT
  • Semantic guidance for 3d reconstruction
    WO2022036661A12022
  • Automatic photography composition recommendation
    WO2022036683A12022
  • 3d reconstruction from an insufficient number of images
    WO2021120052A12021
  • Keyframe selection for texture mapping wien generating 3d model
    WO2020118565A12020

資格

TOEIC 905
2024 / 8
実用英語技能検定1級（英検1級）
2024 / 7
データベーススペシャリスト
2011 / 8
ネットワークスペシャリスト
2010 / 12
情報セキュリティスペシャリスト
2010 / 6
応用情報技術者
2009 / 12
普通自動車免許
2007 / 3