The document discusses control as inference in Markov decision processes (MDPs) and partially observable MDPs (POMDPs). It introduces optimality variables that represent whether a state-action pair is optimal or not. It formulates the optimal action-value function Q* and optimal value function V* in terms of these optimality variables and the reward and transition distributions. Q* is defined as t

1. この記事について 加速度センサを使い、機器の状態を遠隔で監視することはIoTの一般的なユースケースの一つだ。ソラコムのサービスとWioLTEを利用することでそのようなユースケースを爆速で実装することができる。このユースケースを実現する際の課題の一つは加速度データの処理方法にある。この記事ではWioLTE上にディープラーニングによるAIを実装し、加速度からメタ情報を抽出する。抽出した加速度のメタ情報をSORACOM Harvestで可視化させてみる。 2. 時系列の加速度データ活用の課題 加速度のような時系列のデータをモバイル回線を使ってクラウドへ転送すると通信量が高くなる。そこで、エッジ側で加速度の振動の変化や特定の動きといったユースケースに応じた「イベント」を検知して、必要なデータ、またはイベントをクラウドで通知する方法が取られる。 ユースケースに応じたイベントを検知するロジックは