ラズパイで温度・湿度・気圧センサー(HiLetgo BME280)からpython3で値を取得し、 Google BigQueryに記録する。(後編)

自宅IoT
  • 後編ではGoogle BigQueryに記録していきます。

前提

GCPアカウントは保持している前提です。
先人達のノウハウに頼ることにします。

Google BigQuery

BigQueryについて

BigQueryはGoogle Cloud Platform(GCP)で提供されているクラウドデータウェアハウスです。
同じくGCPではクラウドデータウェアハウスとしてBigTableもありますが、こちらはクエリ操作が充実しています。データウェアハウス(データ分析基盤)ではあるが、データベースとしての使用を前提とする場合には、BigTableを使用します。

GCPにはRDMSとしてCloud SpannerやCloud SQLもあります。

以下の図が一番わかりやすいです。

今回はデータ分析基盤ではありませんが、静的データの格納に適しており、Always free枠(月10GBのストレージ、1TBのクエリ)が充実しているBigQueryを使用します。

BigQueryの設定

BigQueryのクエリエディタからテーブルを作成します。

CREATE TABLE
sensor.bme280
(
datetime timestamp
, Temperature FLOAT64
, Humidity FLOAT64
, Pressure FLOAT64
)

取得日時とBME280で取得したデータを記録するテーブルを作成しました。

BiqQueryはプロジェクトID・データセット・テーブルという階層を持ちます。
今回はプロジェクトID(自分のプロジェクトID)・データセット(sensor)・テーブル(bme280)とします。

サービスアカウントの作成・秘密鍵取得

GCPの「APIとサービス」画面から「サービスアカウントを管理」リンクをクリックします。

「サービスアカウントの作成」画面に遷移するので、サービスアカウント名を入力して「作成」ボタンを押下します。

今回は、サービスアカウント名を「BigQueryUser」にしました。

作成ボタンの押下後、サービスアカウントの権限で以下の2つを与えます。
・BigQueryデータオーナー
・BigQueryジョブユーザ

次の画面は何も入力せずに完了ボタンを押下します。

作成が完了したら、操作から「鍵を作成」を選択します。

秘密鍵が保存されるので保存しておきます。
※後程、BigQueryへのクエリ発行に使用するので大切に保管してください。

ラズパイ

ライブラリインストール

google-cloud-bigqueryをインストールします。

# pip install --upgrade google-cloud-bigquery

サービスアカウントの秘密鍵配置

サービスアカウントの秘密鍵を配置しておきます。

今回は/home/pi/mod/oauth/XXXXX.jsonとして配置しました。

モジュール準備

前編のサンプルをBiqQueryへ記録用に編集します。
格納パスは/home/pi/mod/BME280/bme280.pyとします。

変更内容は、readDataメソッドでセンサーからの値を配列で取得し、

それをinsert_tableメソッドでBiqQueryへ記録します。

bme280.py

宣言部に以下を追加
from google.cloud import bigquery
import os
import datetime
from pathlib import Path

credentials_json = str(Path.cwd() / Path(__file__).parents[1] / 'oauth/XXXXX.json')
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json

変更箇所
def readData():
    data = []
    for i in range (0xF7, 0xF7+8):
    data.append(bus.read_byte_data(i2c_address,i))
    pres_raw = (data[0] << 12) | (data[1] << 4) | (data[2] >> 4)
    temp_raw = (data[3] << 12) | (data[4] << 4) | (data[5] >> 4)
    hum_raw = (data[6] << 8) | data[7]

    sensor_data = []
    sensor_data.append(compensate_T(temp_raw))
    sensor_data.append(compensate_P(pres_raw))
    sensor_data.append(compensate_H(hum_raw))

    return sensor_data

def compensate_P(adc_P):
省略
    pressure = pressure + ((v1 + v2 + digP[6]) / 16.0) 
    pressure = pressure/100
    return pressure

def compensate_T(adc_T):
省略
    temperature = t_fine / 5120.0
    return temperature
def compensate_H(adc_H):
    hum = var_h
    return hum

追加
def insert_table(data):
    ## Set Project ID
    project = "your projectID←変更する"
    ## Set Dataset
    dataset = "sensor"
    ## Set Table
    table = "bme280"

    bigquery_client = bigquery.Client()
    query = "INSERT INTO `{0}.{1}.{2}` values('{3}',{4},{5},{6})".format(project, dataset, table,datetime.datetime.now(),data[0],data[1],data[2])
    rows = bigquery_client.query(query).result()

変更
if __name__ == '__main__':
    try:
        data = readData()
        insert_table(data)
    except KeyboardInterrupt:
        pass

ソース全量

#coding: utf-8from smbus2 import SMBus
import time
from google.cloud import bigquery
import os
import datetime
from pathlib import Path

credentials_json = str(Path.cwd() / Path(__file__).parents[1] / 'oauth/XXXX.json')
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json

bus_number = 1
i2c_address = 0x76

bus = SMBus(bus_number)

digT = []
digP = []
digH = []

t_fine = 0.0


def writeReg(reg_address, data):
    bus.write_byte_data(i2c_address,reg_address,data)

def get_calib_param():
    calib = []

    for i in range (0x88,0x88+24):
        calib.append(bus.read_byte_data(i2c_address,i))
        calib.append(bus.read_byte_data(i2c_address,0xA1))
    for i in range (0xE1,0xE1+7):
        calib.append(bus.read_byte_data(i2c_address,i))

    digT.append((calib[1] << 8) | calib[0])
    digT.append((calib[3] << 8) | calib[2])
    digT.append((calib[5] << 8) | calib[4])
    digP.append((calib[7] << 8) | calib[6])
    digP.append((calib[9] << 8) | calib[8])
    digP.append((calib[11]<< 8) | calib[10])
    digP.append((calib[13]<< 8) | calib[12])
    digP.append((calib[15]<< 8) | calib[14])
    digP.append((calib[17]<< 8) | calib[16])
    digP.append((calib[19]<< 8) | calib[18])
    digP.append((calib[21]<< 8) | calib[20])
    digP.append((calib[23]<< 8) | calib[22])
    digH.append( calib[24] )
    digH.append((calib[26]<< 8) | calib[25])
    digH.append( calib[27] )
    digH.append((calib[28]<< 4) | (0x0F & calib[29]))
    digH.append((calib[30]<< 4) | ((calib[29] >> 4) & 0x0F))
    digH.append( calib[31] )

    for i in range(1,2):
        if digT[i] & 0x8000:
            digT[i] = (-digT[i] ^ 0xFFFF) + 1

    for i in range(1,8):
        if digP[i] & 0x8000:
            digP[i] = (-digP[i] ^ 0xFFFF) + 1

    for i in range(0,6):
        if digH[i] & 0x8000:
            digH[i] = (-digH[i] ^ 0xFFFF) + 1

def readData():
    data = []
    for i in range (0xF7, 0xF7+8):
        data.append(bus.read_byte_data(i2c_address,i))
    pres_raw = (data[0] << 12) | (data[1] << 4) | (data[2] >> 4)
    temp_raw = (data[3] << 12) | (data[4] << 4) | (data[5] >> 4)
    hum_raw = (data[6] << 8) | data[7]

    sensor_data = []
    sensor_data.append(compensate_T(temp_raw))
    sensor_data.append(compensate_P(pres_raw))
    sensor_data.append(compensate_H(hum_raw))

    return sensor_data

def compensate_P(adc_P):
    global t_fine
    pressure = 0.0

    v1 = (t_fine / 2.0) - 64000.0
    v2 = (((v1 / 4.0) * (v1 / 4.0)) / 2048) * digP[5]
    v2 = v2 + ((v1 * digP[4]) * 2.0)
    v2 = (v2 / 4.0) + (digP[3] * 65536.0)
    v1 = (((digP[2] * (((v1 / 4.0) * (v1 / 4.0)) / 8192)) / 8) + ((digP[1] * v1) / 2.0)) / 262144
    v1 = ((32768 + v1) * digP[0]) / 32768

    if v1 == 0:
        return 0
    pressure = ((1048576 - adc_P) - (v2 / 4096)) * 3125
    if pressure < 0x80000000:
        pressure = (pressure * 2.0) / v1
    else:
        pressure = (pressure / v1) * 2
    v1 = (digP[8] * (((pressure / 8.0) * (pressure / 8.0)) / 8192.0)) / 4096
    v2 = ((pressure / 4.0) * digP[7]) / 8192.0
    pressure = pressure + ((v1 + v2 + digP[6]) / 16.0)
    pressure = pressure/100
    return pressure

def compensate_T(adc_T):
    global t_fine
    v1 = (adc_T / 16384.0 - digT[0] / 1024.0) * digT[1]
    v2 = (adc_T / 131072.0 - digT[0] / 8192.0) * (adc_T / 131072.0 - digT[0] / 8192.0) * digT[2]
    t_fine = v1 + v2
    temperature = t_fine / 5120.0
    return temperature

def compensate_H(adc_H):
    global t_fine
    var_h = t_fine - 76800.0
    if var_h != 0:
        var_h = (adc_H - (digH[3] * 64.0 + digH[4]/16384.0 * var_h)) * (digH[1] / 65536.0 * (1.0 + digH[5] / 67108864.0 * var_h * (1.0 + digH[2] / 67108864.0 * var_h)))
    else:
        return 0
    var_h = var_h * (1.0 - digH[0] * var_h / 524288.0)
    if var_h > 100.0:
        var_h = 100.0
    elif var_h < 0.0:
        var_h = 0.0
    hum = var_h
    return hum

def setup():
    osrs_t = 1 #Temperature oversampling x 1
    osrs_p = 1 #Pressure oversampling x 1
    osrs_h = 1 #Humidity oversampling x 1
    mode = 3 #Normal mode
    t_sb = 5 #Tstandby 1000ms
    filter = 0 #Filter off
    spi3w_en = 0 #3-wire SPI Disable

    ctrl_meas_reg = (osrs_t << 5) | (osrs_p << 2) | mode
    config_reg = (t_sb << 5) | (filter << 2) | spi3w_en
    ctrl_hum_reg = osrs_h

    writeReg(0xF2,ctrl_hum_reg)
    writeReg(0xF4,ctrl_meas_reg)
    writeReg(0xF5,config_reg)

def insert_table(data):
    ## Set Project ID
    project = "your projectID"
    ## Set Dataset
    dataset = "sensor"
    ## Set Table
    table = "bme280"

    bigquery_client = bigquery.Client()
    query = "INSERT INTO `{0}.{1}.{2}` values('{3}',{4},{5},{6})".format(project, dataset, table,datetime.datetime.now(),data[0],data[1],data[2])
    rows = bigquery_client.query(query).result()

setup()
get_calib_param()


if __name__ == '__main__':
    try:
        data = readData()
        insert_table(data)
    except KeyboardInterrupt:
        pass

実行

以下のコマンドで実行します。

# python /home/pi/mod/BME280/bme280.py

BigQueryのコンソールから確認します。

無事に記録できました!

cronで以下のように、5分に1回起動するように実行登録すれば任意のタイミングで気温・湿度・気圧をBigQueryへ記録可能です。

*/5 * * * * python /home/pi/mod/BME280/bme280.py

ラズパイでcronを初回起動する方法は以下の記事を参照ください。

https://growplants.jp/2020/08/01/ラズパイでcronを有効にする/

コメント

タイトルとURLをコピーしました