- 後編ではGoogle BigQueryに記録していきます。
前提
GCPアカウントは保持している前提です。
先人達のノウハウに頼ることにします。
Google BigQuery
BigQueryについて
BigQueryはGoogle Cloud Platform(GCP)で提供されているクラウドデータウェアハウスです。
同じくGCPではクラウドデータウェアハウスとしてBigTableもありますが、こちらはクエリ操作が充実しています。データウェアハウス（データ分析基盤）ではあるが、データベースとしての使用を前提とする場合には、BigTableを使用します。
GCPにはRDMSとしてCloud SpannerやCloud SQLもあります。
以下の図が一番わかりやすいです。
今回はデータ分析基盤ではありませんが、静的データの格納に適しており、Always free枠（月10GBのストレージ、1TBのクエリ）が充実しているBigQueryを使用します。
BigQueryの設定
BigQueryのクエリエディタからテーブルを作成します。
CREATE TABLE sensor.bme280 ( datetime timestamp , Temperature FLOAT64 , Humidity FLOAT64 , Pressure FLOAT64 )
取得日時とBME280で取得したデータを記録するテーブルを作成しました。
BiqQueryはプロジェクトID・データセット・テーブルという階層を持ちます。
今回はプロジェクトID（自分のプロジェクトID）・データセット（sensor）・テーブル（bme280）とします。
サービスアカウントの作成・秘密鍵取得
GCPの「APIとサービス」画面から「サービスアカウントを管理」リンクをクリックします。
「サービスアカウントの作成」画面に遷移するので、サービスアカウント名を入力して「作成」ボタンを押下します。
今回は、サービスアカウント名を「BigQueryUser」にしました。
作成ボタンの押下後、サービスアカウントの権限で以下の２つを与えます。
・BigQueryデータオーナー
・BigQueryジョブユーザ
次の画面は何も入力せずに完了ボタンを押下します。
作成が完了したら、操作から「鍵を作成」を選択します。
秘密鍵が保存されるので保存しておきます。
※後程、BigQueryへのクエリ発行に使用するので大切に保管してください。
ラズパイ
ライブラリインストール
google-cloud-bigqueryをインストールします。
# pip install --upgrade google-cloud-bigquery
サービスアカウントの秘密鍵配置
サービスアカウントの秘密鍵を配置しておきます。
今回は/home/pi/mod/oauth/XXXXX.jsonとして配置しました。
モジュール準備
前編のサンプルをBiqQueryへ記録用に編集します。
格納パスは/home/pi/mod/BME280/bme280.pyとします。
変更内容は、readDataメソッドでセンサーからの値を配列で取得し、
それをinsert_tableメソッドでBiqQueryへ記録します。
bme280.py 宣言部に以下を追加 from google.cloud import bigquery import os import datetime from pathlib import Path credentials_json = str(Path.cwd() / Path(__file__).parents[1] / 'oauth/XXXXX.json') os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json 変更箇所 def readData(): data = [] for i in range (0xF7, 0xF7+8): data.append(bus.read_byte_data(i2c_address,i)) pres_raw = (data[0] << 12) | (data[1] << 4) | (data[2] >> 4) temp_raw = (data[3] << 12) | (data[4] << 4) | (data[5] >> 4) hum_raw = (data[6] << 8) | data[7] sensor_data = [] sensor_data.append(compensate_T(temp_raw)) sensor_data.append(compensate_P(pres_raw)) sensor_data.append(compensate_H(hum_raw)) return sensor_data def compensate_P(adc_P): 省略 pressure = pressure + ((v1 + v2 + digP[6]) / 16.0) pressure = pressure/100 return pressure def compensate_T(adc_T): 省略 temperature = t_fine / 5120.0 return temperature def compensate_H(adc_H): hum = var_h return hum 追加 def insert_table(data): ## Set Project ID project = "your projectID←変更する" ## Set Dataset dataset = "sensor" ## Set Table table = "bme280" bigquery_client = bigquery.Client() query = "INSERT INTO `{0}.{1}.{2}` values('{3}',{4},{5},{6})".format(project, dataset, table,datetime.datetime.now(),data[0],data[1],data[2]) rows = bigquery_client.query(query).result() 変更 if __name__ == '__main__': try: data = readData() insert_table(data) except KeyboardInterrupt: pass
ソース全量
#coding: utf-8from smbus2 import SMBus import time from google.cloud import bigquery import os import datetime from pathlib import Path credentials_json = str(Path.cwd() / Path(__file__).parents[1] / 'oauth/XXXX.json') os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credentials_json bus_number = 1 i2c_address = 0x76 bus = SMBus(bus_number) digT = [] digP = [] digH = [] t_fine = 0.0 def writeReg(reg_address, data): bus.write_byte_data(i2c_address,reg_address,data) def get_calib_param(): calib = [] for i in range (0x88,0x88+24): calib.append(bus.read_byte_data(i2c_address,i)) calib.append(bus.read_byte_data(i2c_address,0xA1)) for i in range (0xE1,0xE1+7): calib.append(bus.read_byte_data(i2c_address,i)) digT.append((calib[1] << 8) | calib[0]) digT.append((calib[3] << 8) | calib[2]) digT.append((calib[5] << 8) | calib[4]) digP.append((calib[7] << 8) | calib[6]) digP.append((calib[9] << 8) | calib[8]) digP.append((calib[11]<< 8) | calib[10]) digP.append((calib[13]<< 8) | calib[12]) digP.append((calib[15]<< 8) | calib[14]) digP.append((calib[17]<< 8) | calib[16]) digP.append((calib[19]<< 8) | calib[18]) digP.append((calib[21]<< 8) | calib[20]) digP.append((calib[23]<< 8) | calib[22]) digH.append( calib[24] ) digH.append((calib[26]<< 8) | calib[25]) digH.append( calib[27] ) digH.append((calib[28]<< 4) | (0x0F & calib[29])) digH.append((calib[30]<< 4) | ((calib[29] >> 4) & 0x0F)) digH.append( calib[31] ) for i in range(1,2): if digT[i] & 0x8000: digT[i] = (-digT[i] ^ 0xFFFF) + 1 for i in range(1,8): if digP[i] & 0x8000: digP[i] = (-digP[i] ^ 0xFFFF) + 1 for i in range(0,6): if digH[i] & 0x8000: digH[i] = (-digH[i] ^ 0xFFFF) + 1 def readData(): data = [] for i in range (0xF7, 0xF7+8): data.append(bus.read_byte_data(i2c_address,i)) pres_raw = (data[0] << 12) | (data[1] << 4) | (data[2] >> 4) temp_raw = (data[3] << 12) | (data[4] << 4) | (data[5] >> 4) hum_raw = (data[6] << 8) | data[7] sensor_data = [] sensor_data.append(compensate_T(temp_raw)) sensor_data.append(compensate_P(pres_raw)) sensor_data.append(compensate_H(hum_raw)) return sensor_data def compensate_P(adc_P): global t_fine pressure = 0.0 v1 = (t_fine / 2.0) - 64000.0 v2 = (((v1 / 4.0) * (v1 / 4.0)) / 2048) * digP[5] v2 = v2 + ((v1 * digP[4]) * 2.0) v2 = (v2 / 4.0) + (digP[3] * 65536.0) v1 = (((digP[2] * (((v1 / 4.0) * (v1 / 4.0)) / 8192)) / 8) + ((digP[1] * v1) / 2.0)) / 262144 v1 = ((32768 + v1) * digP[0]) / 32768 if v1 == 0: return 0 pressure = ((1048576 - adc_P) - (v2 / 4096)) * 3125 if pressure < 0x80000000: pressure = (pressure * 2.0) / v1 else: pressure = (pressure / v1) * 2 v1 = (digP[8] * (((pressure / 8.0) * (pressure / 8.0)) / 8192.0)) / 4096 v2 = ((pressure / 4.0) * digP[7]) / 8192.0 pressure = pressure + ((v1 + v2 + digP[6]) / 16.0) pressure = pressure/100 return pressure def compensate_T(adc_T): global t_fine v1 = (adc_T / 16384.0 - digT[0] / 1024.0) * digT[1] v2 = (adc_T / 131072.0 - digT[0] / 8192.0) * (adc_T / 131072.0 - digT[0] / 8192.0) * digT[2] t_fine = v1 + v2 temperature = t_fine / 5120.0 return temperature def compensate_H(adc_H): global t_fine var_h = t_fine - 76800.0 if var_h != 0: var_h = (adc_H - (digH[3] * 64.0 + digH[4]/16384.0 * var_h)) * (digH[1] / 65536.0 * (1.0 + digH[5] / 67108864.0 * var_h * (1.0 + digH[2] / 67108864.0 * var_h))) else: return 0 var_h = var_h * (1.0 - digH[0] * var_h / 524288.0) if var_h > 100.0: var_h = 100.0 elif var_h < 0.0: var_h = 0.0 hum = var_h return hum def setup(): osrs_t = 1 #Temperature oversampling x 1 osrs_p = 1 #Pressure oversampling x 1 osrs_h = 1 #Humidity oversampling x 1 mode = 3 #Normal mode t_sb = 5 #Tstandby 1000ms filter = 0 #Filter off spi3w_en = 0 #3-wire SPI Disable ctrl_meas_reg = (osrs_t << 5) | (osrs_p << 2) | mode config_reg = (t_sb << 5) | (filter << 2) | spi3w_en ctrl_hum_reg = osrs_h writeReg(0xF2,ctrl_hum_reg) writeReg(0xF4,ctrl_meas_reg) writeReg(0xF5,config_reg) def insert_table(data): ## Set Project ID project = "your projectID" ## Set Dataset dataset = "sensor" ## Set Table table = "bme280" bigquery_client = bigquery.Client() query = "INSERT INTO `{0}.{1}.{2}` values('{3}',{4},{5},{6})".format(project, dataset, table,datetime.datetime.now(),data[0],data[1],data[2]) rows = bigquery_client.query(query).result() setup() get_calib_param() if __name__ == '__main__': try: data = readData() insert_table(data) except KeyboardInterrupt: pass
実行
以下のコマンドで実行します。
# python /home/pi/mod/BME280/bme280.py
BigQueryのコンソールから確認します。
無事に記録できました！
cronで以下のように、5分に１回起動するように実行登録すれば任意のタイミングで気温・湿度・気圧をBigQueryへ記録可能です。
*/5 * * * * python /home/pi/mod/BME280/bme280.py
ラズパイでcronを初回起動する方法は以下の記事を参照ください。
コメント