狛ログ

オフィス狛 技術部です。

前回に引き続き、Codeigniterの「update_batch」について説明していきます。

前回は、下記の様な例で「update_batch」の説明をしました。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);
$this->db->update_batch('emptable', $data, 'emp_id');

「emptable」（社員テーブル）が更新対象のテーブル名、
「data」が更新＆条件用の配列、
「emp_id」（社員ID）が更新時に条件として使用するカラムの指定、となります。

さて、ここで例えば、社員テーブルには、年度ごとにデータが格納されているとします。
（「year」（年度）というカラムがある）
つまり、2016年度と2017年度だけを考えても社員ID「A001」は2件存在する事になります。
でも、更新対象としたいのは2017年度のデータだけだとしたら・・・？？？

「$this->db->update_batch('emptable', $data, 'emp_id');」の第三引数は、
1つしか指定できません。

さて、困った、という事で、調べてみると、下記の情報が見つかりました。
stackoverflow - Codeigniter update_batch() with included update of the where key
上記のベストアンサーは、「Codeigniterのupdate_batchを拡張しないと無理だよ」と言っています。
さすがにそれは影響範囲大きいなぁ、と思っていたところ、ベストアンサー以外の回答で、

$this->db->where('option1', $option1);
$this->db->update_batch('table_name', $data, 'option2');

とあり、「これだったらお手軽だ」と思って、試してみました。
【注意】結論から言うと、上記では正常に動作しないので、決して真似しないで下さい。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);
$this->db->where('year', '2017');
$this->db->update_batch('emptable', $data, 'emp_id');

すると、生成されたSQLは、

UPDATE `emptable` SET `name` = CASE
WHEN `emp_id` = 'A001' THEN 'koma taro'
WHEN `emp_id` = 'A002' THEN 'koma saya'
ELSE `name` END,
`tel` = CASE
WHEN `emp_id` = 'A001' THEN '090-0000-1111'
WHEN `emp_id` = 'A002' THEN '090-0000-2222'
ELSE `tel` END
WHERE `year` = '2017'
AND `emp_id` IN ('A001','A002')

となり、年度の条件も付いているので、万々歳、と言う事で、
この方式を採用する事にしました。

やっぱりダメだった

ところが、しばらくして、この処理を実行すると、
2017年度のデータと一緒に、2016年度のデータも更新されている事が判明しました。
しかも、更新されない事もある、との事。

何度か試してみると、確かに生成SQLに「`year` = '2017'」が含まれていない事がありました。

ここで改めてリファレンスと読んでみると、

..note:: $batch_size より多くの行数が渡された場合、 複数のクエリが実行され、それぞれ $batch_size のフィールド／値ペア の分だけ操作を行う。

Codeigniter『データベースリファレンス - クエリビルダクラス - update_batch 』より。

とあります。
・・・・「複数のクエリが実行される」？？？

先の例だと、例えば1000人の社員を一気に更新する際は、
単純に1000 ÷ batch_size（デフォルトは100）の 10 回クエリが実行されるようです。

しかも、
「$this->db->whereで指定した条件は、最初の1回目のクエリにしか反映されない」
という事のようです。

つまり、最初の1回目のクエリのみ2017年度の社員が更新されて、
2回目以降は2016年度と、2017年度の社員が両方更新されてしまっていたようです。

・・・・いや、どうせだったら、最初の1回目も条件反映しないでよ。

という事で、今回は「update_batch」を使うのをやめて、
「update」複数回実行する、という実装に変更しました。

・・・まあ、テーブル設計が杜撰なのは認めます。
きっと「update_batch」は、そういうテーブル設計を想定していないのだと思います。

「update_batch」を使う際は、ご注意下さい。

【追記】

タイトル詐欺になってしまうので、補足しておくと、
基本は、「update_batch」で複数条件指定は出来ないと思います。
やるならば、先に記載した通り、
Codeigniterのupdate_batch（system/database/drivers/DB_query_builder.php）を
拡張する事になります。

オフィス狛 技術部です。

Codeigniterのクエリビルダクラスには便利なメソッドが多くありますが、
その中でも特殊なのが「update_batch」です。

複数レコードへの更新が発生する際、
ループで回し、update文を複数回実行する事も可能ですが、
この「update_batch」を使えば、一回の処理で済ませる事が出来ます。

例えば、更新用に以下の様な配列を作成したとします。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);

そして、update文を実行する際は、

$this->db->update_batch('emptable', $data, 'emp_id');

となります。

「emptable」（社員テーブル）が更新対象のテーブル名、
「data」が先程作成した配列、
「emp_id」（社員ID）が更新時に条件として使用するカラムの指定、となります。

つまり、

• 社員テーブルの社員IDが「A001」の名前を「koma taro」に、電話番号を「090-0000-1111」に変更する。
• 社員テーブルの社員IDが「A002」の名前を「koma saya」に、電話番号を「090-0000-2222」に変更する。

という処理を行う、という事です。

普通に考えると、update文を2回実行しないといけない様に思えます。
しかし、「update_batch」の呼び出しは1回です。
一体内部ではどんなSQLに展開しているのでしょうか？
・・・という事で、実際に実行されるSQLを調べてみると、

UPDATE `emptable` SET `name` = CASE
WHEN `emp_id` = 'A001' THEN 'koma taro'
WHEN `emp_id` = 'A002' THEN 'koma saya'
ELSE `name` END,
`tel` = CASE
WHEN `emp_id` = 'A001' THEN '090-0000-1111'
WHEN `emp_id` = 'A002' THEN '090-0000-2222'
ELSE `tel` END
WHERE `emp_id` IN ('A001','A002')

なんともトリッキーですが、確かにこれだとSQL文は1つで済みます。
update文を何度も実行するよりは、処理的にも早いと思います。

でも、ここでふと疑問が。
「複数条件指定する場合はどうするのだろう？」

ここに罠が潜んでいるのですが、ちょっと長くなってしまったので、
次回に持ち越します。

次回：Codeigniterのupdate_batchで複数条件指定する時の罠。（whereメソッドに注意編）

オフィス狛 技術部です。

iOSアプリのアーカイブ（リリース準備）作業をしている時に、
ある開発端末で「pod update」を行なったら、「Abort trap: 6」が発生し、
Rubyが強制終了しました。

$ pod update
Analyzing dependencies
Downloading dependencies
Installing xxxxxx (1.1.11)
Installing yyyyyy (2.2.22)
Generating Pods project
Abort trap: 6

エラーの詳細（レポート）を見ると、

Application Specific Information:
abort() called
terminating with uncaught exception of type NSException
*** Terminating app due to uncaught exception 'NSInternalInconsistencyException', reason: 'Error getting value for key 'initializationClass' of extension 'Xcode.DVTKitDFRSupport.Initializer' in plug-in 'com.apple.dt.IDE.DVTKitDFRSupport''
ProductBuildVersion: 8B62

と、色々出ていますが、
こういう時は、大抵「CocoaPods」のバージョンが古い事が原因だったりします。
（実際、エラーが発生した端末では、しばらく開発作業していませんでした。）

何はともあれ、CocoaPodsのバージョンアップをしてみます。

$ sudo gem update cocoapods
Updating installed gems
Updating cocoapods
Fetching: ruby-macho-0.2.6.gem (100%)
Successfully installed ruby-macho-0.2.6
Fetching: fourflusher-2.0.1.gem (100%)
Successfully installed fourflusher-2.0.1
Fetching: nanaimo-0.2.3.gem (100%)
Successfully installed nanaimo-0.2.3
Fetching: claide-1.0.1.gem (100%)
Successfully installed claide-1.0.1
Fetching: CFPropertyList-2.3.5.gem (100%)
Successfully installed CFPropertyList-2.3.5
Fetching: xcodeproj-1.4.2.gem (100%)
ERROR:  While executing gem ... (Errno::EPERM)
    Operation not permitted - /usr/bin/xcodeproj

・・・エラーになってしまいました。
これは、macのOSがEl Capitan以降の場合、rootlessというセキュリティ機能があり、
一部のディレクトリ（/usr、/sbin、/System）に対しては、
root権限でも編集出来なくなっているからです。

仕方無いので、CocoaPodsを再インストールしたいと思います。
まずはアンイストールから。

$ sudo gem uninstall cocoapods
Remove executables:
 pod, sandbox-pod

in addition to the gem? [Yn]  Y
Removing pod
Removing sandbox-pod
Successfully uninstalled cocoapods-1.1.0.beta.1

続いて再インストールします。
インストールするディレクトリを指定しているところがポイントです。

$ sudo gem install -n /usr/local/bin cocoapods
Successfully installed xcodeproj-1.4.2
Fetching: molinillo-0.5.5.gem (100%)
Successfully installed molinillo-0.5.5
Fetching: cocoapods-trunk-1.1.2.gem (100%)
Successfully installed cocoapods-trunk-1.1.2
Fetching: cocoapods-downloader-1.1.3.gem (100%)
Successfully installed cocoapods-downloader-1.1.3
Fetching: cocoapods-deintegrate-1.0.1.gem (100%)
Successfully installed cocoapods-deintegrate-1.0.1
Fetching: cocoapods-core-1.2.0.gem (100%)
Successfully installed cocoapods-core-1.2.0
Fetching: cocoapods-1.2.0.gem (100%)
Successfully installed cocoapods-1.2.0
Parsing documentation for xcodeproj-1.4.2
Installing ri documentation for xcodeproj-1.4.2
Parsing documentation for molinillo-0.5.5
Installing ri documentation for molinillo-0.5.5
Parsing documentation for cocoapods-trunk-1.1.2
Installing ri documentation for cocoapods-trunk-1.1.2
Parsing documentation for cocoapods-downloader-1.1.3
Installing ri documentation for cocoapods-downloader-1.1.3
Parsing documentation for cocoapods-deintegrate-1.0.1
Installing ri documentation for cocoapods-deintegrate-1.0.1
Parsing documentation for cocoapods-core-1.2.0
Installing ri documentation for cocoapods-core-1.2.0
Parsing documentation for cocoapods-1.2.0
Installing ri documentation for cocoapods-1.2.0
7 gems installed

無事に再インストール完了しました。
では、改めて「pod update」します。

$ pod update
Update all pods
Re-creating CocoaPods due to major version update.
Updating local specs repositories
Analyzing dependencies
Downloading dependencies
Installing xxxxxx (1.1.11)
Installing yyyyyy (2.2.22)
Generating Pods project
Integrating client project
Sending stats
Pod installation complete! There are 9 dependencies from the Podfile and 11 total pods installed.

無事に成功しました。

急いでいる時程、こういう類のエラーが出ると焦ってしまいますが、
急がば回れで対応すると、案外あっさり解決するものです。

オフィス狛 技術部です。

以前、別の記事で、PHPのインストール（バージョンアップ）を説明しましたが、
その流れで発生するエラーについて、対象方法を記載しておきます。

エラーは
Fatal error: Uncaught exception 'ErrorException' with message date()
です。

さらに詳細は、

Fatal error: Uncaught exception 'ErrorException' with message 'date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.

となります。要は、
「タイムゾーンが指定されていないよ。指定されていないと、システムのタイムゾーン使うけど、それは安全じゃないよ。一応今はUTCが選択されているけど、ちゃんと自分で指定してね」
という事です。
※PHPのインストール直後は、php.ini がデフォルトの状態になっているので、タイムゾーンは未設定となっています。

PHPのタイムゾーンを設定します

いざ、設定しようとする時、いつも思うのが、
「あれ？php.ini ってどこにあったかな？」
という事です。

まずは、php.ini の場所を探し出します。

$ php -i | grep php.ini
Configuration File (php.ini) Path => /opt/remi/php56/root/etc
Loaded Configuration File => /opt/remi/php56/root/etc/php.ini

Loaded Configuration File にあるのが、パスになります。

あとは、php.ini 内の「date.timezone」を変更するだけです。
例えば、日本だったら、「date.timezone = 'Asia/Tokyo'」という感じです。

PHPのインストールをする場合は、ここまでワンセットで行なっておくのが確実です。
（私はいつも忘れてしまいますが。。。）

オフィス狛 技術部です。

MySQL において、文字列と数値の比較は思わぬ結果になってしまう事があるので注意です。

まず、題名にもある通り、

「SELECT 0 = 'a';」はTrueになります。

・なぜこんな事が起きてしまうのか？

MySQLでは、型が違う値同士を比較すると、暗黙的な変換が発生します。
文字列の「1」は、数値の「1」になります。
しかし、数値に変換出来ないもの、例えば「a」という文字は、
変換出来ないので、「0」になります。
（変換は出来ないけど、型を一緒にする為に、無理やり数値にしてくれる）

変換出来ないなら、諦めて欲しいところなのですが、
頑張り屋さんなんですね、MySQLは。

という訳で、色々試して見た結果が以下の通りです。

SELECT 0 = 0;   -- True になる
SELECT 0 = 1;   -- False になる
SELECT 'a' = 'a'; -- True になる
SELECT 'a' = 'c'; -- False になる
SELECT 0 = '0';  -- True になる
SELECT 0 = 'a';  -- True になる
SELECT 1 = 'a';  -- False になる

やっぱり、「SELECT 0 = 'a'; 」が問題になりそうですね。

・他にもあった、頑張り屋さんならではの弊害

先程、「a」という文字列は数値に出来ませんでした。
では「1a」という文字列ではどうでしょう？
・・・・数値にしてくれるのです。そう、MySQLなら。

この場合、「1a」は「1」に変換されます。

こちらも色々試して見ました。

SELECT 1 = '1'; true
SELECT 1 = '1a'; true
SELECT 1 = '1abcd'; true
SELECT 1 = 'abcd1'; false

どうやら、先頭に数値が来ると、その数値に変換して比較するようです。

・でも、別にMySQLは悪くない

むしろ、頑張り屋さんで、良いと思います。

そもそも、SQLで文字列と数値を比較するような事を発生させないのが筋です。
そして、その制御はSQLに値を設定するプログラム側で行うべきだと思います。
（もっと言うと、そんな事が発生する場合、設計を見直した方が良いのかな、とも思います。）

・その他気になったところ

リファレンスマニュアルには、下記の式についても、 結果が異なると記載されています。

SELECT '18015376320243458' = 18015376320243458; true になる
SELECT '18015376320243459' = 18015376320243459; false になる

これを色々な環境で試してみたのですが、

SELECT '18015376320243458' = 18015376320243458; true
SELECT '18015376320243459' = 18015376320243459; true

間違った判定をされる事はありませんでした。

リファレンスをちゃんと読むと、

さらに、文字列から浮動小数点への変換および整数から浮動小数点への変換は、必ずしも同様に発生するとはかぎりません。整数は、CPU によって浮動小数点に変換される可能性があります。一方、文字列は、浮動小数点の乗算を伴う演算で 1 桁ずつ変換されます。 表示される結果はシステムによって異なり、コンピュータのアーキテクチャーやコンパイラのバージョンなどの要因、または最適化レベルの影響を受ける可能性があります。このような問題を回避する方法の 1 つは、値が暗黙的に浮動小数点値に変換されないように、CAST() を使用することです。
「MySQL 5.6 リファレンスマニュアル」『関数と演算子 / 式評価での型変換 / 12.2 式評価での型変換』より。
2017年1月17日 (火) 08:11 UTC
URL: https://dev.mysql.com/doc/refman/5.6/ja/type-conversion.html

なるほど、環境によって異なるのですね。

MySQL において、異なる型の比較は思わぬ結果になってしまう事がある、
という事で、注意しましょう。

オフィス狛 技術部です。

GitLab のインストール・設定シリーズ第３回目の今回は、Git リポジトリの移行を行います。
（移行元と移行先はサーバー（EC2インスタンス）が別）

その他の記事は、以下をご覧下さい。
第１回（AWS EC2 に GitLab をインストールする）
第２回（AWS EC2 に GitLab をインストールする（メールの送信テスト編））

では、早速Git リポジトリの移行を始めて行こうと思います。

１）GitLab にリポジトリ（プロジェクト）を作成する。

作成の手順は記載しませんが、前もって移行するリポジトリと同じ名前で、
GitLab プロジェクト（＝リポジトリ）を作成しておく必要があります。

ちなみに、GitLab では、ユーザー、またはグループに属する形でプロジェクトが作成されます。
なので弊社の場合、共有リポジトリ用グループ（例：hogehoge-dev）を作成し、
開発者用のプロジェクトは全て hogehoge-dev に属する様に作成しています。

※あくまで置き場所として用意しているだけなので、権限設定に関しては、
別のグループ等を作成し、プロジェクト単位にグループへの権限付与を行なっています。

以降の説明を簡単にする為に、各設定の名称を以下と仮定します。
　・旧Gitが存在しているサーバー　：　old.hoge.co.jp
　・移行したいリポジトリ名　：　RipoTest.git
　・GitLab（新Git）が存在しているサーバー　：　new.hoge.co.jp
　・GitLab のグループ　：　hogehoge-dev
　・GitLab のプロジェクト名　：　RipoTest

２）旧リポジトリをクローンする

続いて旧リポジトリをクローンします。
（今回、作業は、ローカル（Mac）側のターミナルで行なっています。）
sshで接続するので、旧サーバー側の鍵が必要になります。
鍵は、Macだと「/Users/mac_user/.ssh」に格納します。
※[mac_user]は、現在Macにログインしているユーザーです。

そして、コマンドを簡略化させる為に、同じディレクリに「config」というファイルを作成し、

Host config_name_1
  User connect_user
  HostName old.hoge.co.jp
  IdentityFile ~/.ssh/old_hoge_key_name

上記の内容を記述します。

　Host　：　コマンドに含める簡略名になります。　
　User　：　接続するサーバーのユーザー
　HostName　：　接続するサーバー
　IdentityFile　：　使用する鍵の場所

これで準備が出来たので、早速クローンします。

$ git clone --mirror ssh://config_name_1/RipoTest.git

「mirror」を付ける事によって、履歴を含めたリポジトリのバックアップを取る感じでクローン出来ます。

３）GitLab（新Git）へプッシュする

続いて、先程クローンしたリポジトリをGitLab（新Git）へプッシュします。
こちらも先程と同じ様に、「config」を設定します。

Host config_name_2
  User git
  HostName new.hoge.co.jp
  IdentityFile ~/.ssh/new_hoge_key_name

※GitLabをインストールした時に、「git」ユーザーが作成されています。

これで準備が出来たので、早速プッシュします。

git push --mirror ssh://config_name_2/hogehoge-dev/RipoTest.git

「mirror」を付けること、そして、GitLab のグループ名をリポジトリ名の前に付ける事を忘れずに。

これで大抵のリポジトリは問題無くプッシュ出来るのですが、リポジトリの容量が大きいと・・・

Counting objects: 7400, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (6246/6246), done.
Writing objects: 100% (7400/7400), 558.97 MiB | 6.24 MiB/s, done.
Total 7400 (delta 2794), reused 3512 (delta 452)
remote: fatal: Out of memory, malloc failed (tried to allocate 228733096 bytes)
error: unpack failed: index-pack abnormal exit
To ssh://config_name_2/hogehoge-dev/RipoTest.git
 ! [remote rejected] master -> master (unpacker error)
error: failed to push some refs to 'ssh://config_name_2/hogehoge-dev/RipoTest.git'

と、エラーになる事があります。
これ、中々解決出来ず、ちょっとハマったのですが、
結論から言うと、プッシュ先（ここで言うとGitLabがインストールしてある「new.hoge.co.jp」）のメモリを増やす事で解決しました。（*1）

*1) プッシュ先のEC2 インスタンスを「t2.medium」から「t2.large」に一時的に変更しました。
弊社の場合、プッシュが全て終わったら、「t2.medium」へ戻しています。
「t2.large」は料金が高いので・・・。

これでリポジトリの移行が完了です。

オフィス狛 技術部です。

弊社は Codeigniter を使ってWebシステムを作る事が多いのですが、
開発（ローカル）環境で作成したプロジェクトをLinuxサーバへ配置し、
いざURLに接続・・・と言う時に、

Fatal error: Arrays are not allowed as constants

が発生する事が多いです。

原因も分かっているので、毎回同じ対応するのですが、
とりあえず記録として残しておこうと思います。

まず、エラーの内容ですが、直訳でも通じる程シンプルで、
「配列は定数として使えませんよ」と言う事です。

配列を定数として使えるのは PHP 5.6 からで、
その前のバージョンでは使用出来ません。

Linux系のサーバーだと、デフォルトが PHP 5.5 というのが多くて、
毎回、サーバーに配置してから気付く、という感じです。

対処方法としては、PHPをバージョンアップさせるか、
それが無理なら、配列を定数として使う事を諦めるしかありません。

今回は、PHP のバージョンアップの手順を備忘録も兼ねて、残しておこうと思います。
なお、以降の手順は CetnOS の場合を想定しています。

１）現在のPHPのバージョンを確認する

何はともあれ、まずは現在のPHPのバージョンを確認します。

$ php -v
PHP 5.5.38 (cli) (built: Nov  9 2016 17:25:01) 
Copyright (c) 1997-2015 The PHP Group
Zend Engine v2.5.0, Copyright (c) 1998-2015 Zend Technologies

やはりバージョンは5.5 です。

２）異なるバージョンのPHPをインストールする

次は、現状のPHPとは異なるバージョンのPHPをインストールします。
今回は、PHP 5.6 をインストールします。

$ yum -y --enablerepo=epel,remi,remi-php56 install php56

これでインストールは出来たのですが、PATHは通っていない状態なので、下記を実行します。

$ source /opt/remi/php56/enable

ちなみに、「/opt/remi/php56/enable」の中身は、こんな感じです。

export PATH=/opt/remi/php56/root/usr/bin:/opt/remi/php56/root/usr/sbin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/opt/remi/php56/root/usr/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MANPATH=/opt/remi/php56/root/usr/share/man:${MANPATH}

次はphpコマンドのリンク先を変えていきます。
現状のリンク先を確認すると、

$ ls -lrt /usr/bin/php
lrwxrwxrwx. 1 root root 14 11月 15 21:42 /usr/bin/php -> /usr/bin/php55

現状はPHP 5.5にリンクされている事が分かります。
では、一旦リンクを外して、PHP 5.6へリンクするように変更します。

$ unlink php
$ sudo ln -s /usr/bin/php56 /usr/bin/php

正しく変更されているか確認します。

$ ls -lrt /usr/bin/php
lrwxrwxrwx. 1 root root 14 12月  3 12:35 /usr/bin/php -> /usr/bin/php56
$ php -v
PHP 5.6.28 (cli) (built: Nov  9 2016 06:57:19) 
Copyright (c) 1997-2016 The PHP Group
Zend Engine v2.6.0, Copyright (c) 1998-2016 Zend Technologies

これで、Fatal error: Arrays are not allowed as constants が発生しなくなるはずです。