狛ログ

オフィス狛 技術部です。

早くもGitLab のインストール・設定シリーズ第５回目となります。
第３回でリポジトリを移行した結果、ある問題が発生しました。

移行前のリポジトリは Redmine がインストールしてあるサーバーに存在したので、
Redmine からリポジトリを参照出来たのですが、別サーバーに移行したら参照する事が出来なくなりました。

そう、「Redmineは、自サーバーにあるリポジトリのみ参照可能」なのです。

折角 GitLab に移行したのだから、GitLab の issue を使う、という事も考えたのですが、
Redmine の工程管理（チケット）とリポジトリの関連付けはやっぱり便利なんですよね・・・・。

というわけで、今回は、AWS EC2 上の GitLab リポジトリを Redmine から（間接的に）参照出来るようにしたいと思います。

その他の記事は、以下をご覧下さい。
第１回（AWS EC2 に GitLab をインストールする）
第２回（AWS EC2 に GitLab をインストールする（メールの送信テスト編））
第３回（AWS EC2 の GitLab へリポジトリを移行する）
第４回（AWS EC2 にインストールした GitLab と Slack の連携）

１）GitLab のリポジトリをクローンする

現在、メインのリポジトリは、GitLab側のEC2（サーバーA）になるので、
そこから、Redmine側のEC2（サーバーB）へリポジトリをクローンします。

【注意】クローンする場所（ディレクトリ）に対しては、Redmine が動作しているWebサーバー（ここではApache）が参照権限を持っている必要があります。

では、サーバーAのリポジトリをクローンします。
sshで接続するので、サーバーAの鍵が必要になります。鍵は、「/home/[ec2_user]/.ssh」に格納します。
※[ec2_user]は、サーバーBにログインしているユーザーで置き換えて下さい。

そして、コマンドを簡略化させる為に、同じディレクリに「config」というファイルを作成し、

Host gitlab_git
  User git
  HostName gitlab.hogehoge.co.jp
  IdentityFile ~/.ssh/keyname

上記の内容を記述します。

　Host　：　コマンドに含める簡略名になります。　
　User　：　接続するサーバーのユーザー
　HostName　：　接続するサーバー
　IdentityFile　：　使用する鍵

これで準備が出来たので、早速クローンします。

$ git clone --bare ssh://gitlab_git/hogehoge-dev/RipoTest.git

「hogehoge-dev」はGitLab側のユーザー or グループになります。

クローンしたリポジトリは、対象となるRedmineプロジェクトから「設定 > リポジトリ」で参照出来るように設定しておきます。

２）redmine_github_hookのインストール

ここでRedmineのプラグインをインストールします。

$ cd /var/lib/redmine/plugins
$ git clone git://github.com/koppen/redmine_github_hook.git
$ touch /var/lib/redmine/tmp/restart.txt

ここでは、redmineのホームディレクトリが「/var/lib/redmine」の場合を想定しています。
「restart.txt」を作成しておく事で、apacheの再起動無しで、Redmineの再起動を行う事ができます。
（ファイル作成後に、ブラウザでRedmineに接続した時に再起動が行われます。）

正しくインストールされていると、Redmineの「管理 > プラグイン」から、以下のように確認出来ます。

３）GitLab の Webhooks の設定

続いて、GitLab側で Webhooks の設定を行います。
連携したいプロジェクト（リポジトリ）を選択し、右上の歯車プルダウンから「Webhooks」を選択します。


そして、次の設定画面のURLに

http://redmine.hogehoge.co.jp/github_hook?project_id=redmine_identifier

のように入力します。それぞれの環境に合わせて、「redmine.hogehoge.co.jp」と「redmine_identifier」を変更してください。

　redmine.hogehoge.co.jp　：　Redmine側のEC2（サーバーB）のドメイン or IPアドレス。　
　redmine_identifier　：　Redmineにおけるプロジェクトの識別子

Triggerも適宜チェックつけますが、単純な連携であれば、Pushだけでも良いかもしれません。


これで、GitLabへのPushはRedmineが参照しているリポジトリに連携され、常に最新状態が保てる事になります。
（何だか二度手間になっている感は拭えないですが）

オフィス狛 技術部です。

GitLab のインストール・設定シリーズ第４回目の今回は、Slack との連携を行います。

その他の記事は、以下をご覧下さい。
第１回（AWS EC2 に GitLab をインストールする）
第２回（AWS EC2 に GitLab をインストールする（メールの送信テスト編））
第３回（AWS EC2 の GitLab へリポジトリを移行する）

では、早速やり方を説明して行きますが、前回までと違い、今回はブラウザ側の設定で完結出来ます。

１）通知用のチャンネルを作る（Slack側作業）

1-1) 作業の目標はGitLabへのPushをSlackに連携する事なので、
何はともあれ通知用のチャンネルを作成します。

２）通知用のアプリを作る（Slack側作業）

2-1) Slackのメイン画面で、チーム名の横にある「下矢印」をクリックし、メニュー表示後、
「Apps & integrations」を選択します。


2-2) 新たに表示された画面の右上「Build」をクリックします。


2-3) さらに新たな画面に遷移するので、そこで画面中央の「Start Building」をクリックします。


2-4) 続いて、アプリ名を入力し、通知するチームを選択してアプリを作成します。


2-5) アプリが作成されるので、アプリの種類として「Incoming Webhooks」を選択します。


2-6) 「Incoming Webhooks」の設定画面になるので 、まず右上のスイッチを「ON」にし、
その後、「Add New Webhooks to Team」をクリックします。


2-7) 通知を行うチャンネルとして、先程作成したチャンネルを選択し、「Authorize」をクリックします。


2-8) 先程の画面に戻りますが、Webhook用のURLが表示されるので、これをコピーしておきます。

３）通知の設定を行う（GitLab側作業）

ここからは、GitLab側での設定になります。

3-1) 管理者でログインし、管理トップの画面から、右上の歯車から「Service Templates」を選択します。


3-2) Slackを選択


3-3) まず設定を有効にする為、「Active」にチェックを付けます。
後は、どのトリガーで通知を行うか設定します。
下記画像だと、「Push」、「Merge request（GitHubで言う所のPullRequest）」「Tag push」の時に、
「gitlab-notification」へ通知するようにしています。


そして、先程コピーしておいたWebhook用のURLを設定し、「Save」します。
※「Service Templates」で設定しておくと、全てのプロジェクトに反映されるので、便利です。


3-4) 続いて、各プロジェクトで設定を確認してみます。
プロジェクトのトップ画面で、右上の歯車から「Service」を選択します。


3-5) Slackを選択します。
※「Service Templates」で Activeにしているので、緑のマーク（有効マーク）が付いているはずです。


3-6) 設定自体は、「Service Templates」と同じになっていると思いますので、
「Test setting」を押して、通知のテストをしてみましょう。


3-7) 下記のようなメッセージがSlackに出てくれば成功です。
（テスト通知の場合、直近のPush情報が通知されるようです。）

※ちなみに、Slackに表示される画像と名称は、Slack側のアプリ側で変更可能です。
上記は変更後の状態です。
何も設定していないと、Slack API のアイコンが表示されるはずです。

以上です。
開発初期などは、通知が飛び交う事になるので、ちょっとウザいと感じるかもしれません。
（弊社でも最初はそう感じました）
ただ、慣れてくると、誰がいつどんなPushを行なったのか、どの不具合の修正が行われたのか、
など、かなり有意義に思えてきます。
特に、管理する立場から言うと、進捗状況がリアルタイムで分かるのは、かなり助かります。

余談（設定方法はコロコロ変わる）

実は、この記事は、少し前に記載は終わっていて、後は公開するだけの状態でした。
今回、公開しようと思って、情報の確からしさをチェックしたら、
Slack側の設定方法がガラッと変わっていた為、
書き直しをする事になってしまいました。
ブログの記事は寝かしちゃいけないな、と反省しました。

オフィス狛 技術部です。

前回に引き続き、Codeigniterの「update_batch」について説明していきます。

前回は、下記の様な例で「update_batch」の説明をしました。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);
$this->db->update_batch('emptable', $data, 'emp_id');

「emptable」（社員テーブル）が更新対象のテーブル名、
「data」が更新＆条件用の配列、
「emp_id」（社員ID）が更新時に条件として使用するカラムの指定、となります。

さて、ここで例えば、社員テーブルには、年度ごとにデータが格納されているとします。
（「year」（年度）というカラムがある）
つまり、2016年度と2017年度だけを考えても社員ID「A001」は2件存在する事になります。
でも、更新対象としたいのは2017年度のデータだけだとしたら・・・？？？

「$this->db->update_batch('emptable', $data, 'emp_id');」の第三引数は、
1つしか指定できません。

さて、困った、という事で、調べてみると、下記の情報が見つかりました。
stackoverflow - Codeigniter update_batch() with included update of the where key
上記のベストアンサーは、「Codeigniterのupdate_batchを拡張しないと無理だよ」と言っています。
さすがにそれは影響範囲大きいなぁ、と思っていたところ、ベストアンサー以外の回答で、

$this->db->where('option1', $option1);
$this->db->update_batch('table_name', $data, 'option2');

とあり、「これだったらお手軽だ」と思って、試してみました。
【注意】結論から言うと、上記では正常に動作しないので、決して真似しないで下さい。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);
$this->db->where('year', '2017');
$this->db->update_batch('emptable', $data, 'emp_id');

すると、生成されたSQLは、

UPDATE `emptable` SET `name` = CASE
WHEN `emp_id` = 'A001' THEN 'koma taro'
WHEN `emp_id` = 'A002' THEN 'koma saya'
ELSE `name` END,
`tel` = CASE
WHEN `emp_id` = 'A001' THEN '090-0000-1111'
WHEN `emp_id` = 'A002' THEN '090-0000-2222'
ELSE `tel` END
WHERE `year` = '2017'
AND `emp_id` IN ('A001','A002')

となり、年度の条件も付いているので、万々歳、と言う事で、
この方式を採用する事にしました。

やっぱりダメだった

ところが、しばらくして、この処理を実行すると、
2017年度のデータと一緒に、2016年度のデータも更新されている事が判明しました。
しかも、更新されない事もある、との事。

何度か試してみると、確かに生成SQLに「`year` = '2017'」が含まれていない事がありました。

ここで改めてリファレンスと読んでみると、

..note:: $batch_size より多くの行数が渡された場合、 複数のクエリが実行され、それぞれ $batch_size のフィールド／値ペア の分だけ操作を行う。

Codeigniter『データベースリファレンス - クエリビルダクラス - update_batch 』より。

とあります。
・・・・「複数のクエリが実行される」？？？

先の例だと、例えば1000人の社員を一気に更新する際は、
単純に1000 ÷ batch_size（デフォルトは100）の 10 回クエリが実行されるようです。

しかも、
「$this->db->whereで指定した条件は、最初の1回目のクエリにしか反映されない」
という事のようです。

つまり、最初の1回目のクエリのみ2017年度の社員が更新されて、
2回目以降は2016年度と、2017年度の社員が両方更新されてしまっていたようです。

・・・・いや、どうせだったら、最初の1回目も条件反映しないでよ。

という事で、今回は「update_batch」を使うのをやめて、
「update」複数回実行する、という実装に変更しました。

・・・まあ、テーブル設計が杜撰なのは認めます。
きっと「update_batch」は、そういうテーブル設計を想定していないのだと思います。

「update_batch」を使う際は、ご注意下さい。

【追記】

タイトル詐欺になってしまうので、補足しておくと、
基本は、「update_batch」で複数条件指定は出来ないと思います。
やるならば、先に記載した通り、
Codeigniterのupdate_batch（system/database/drivers/DB_query_builder.php）を
拡張する事になります。

オフィス狛 技術部です。

Codeigniterのクエリビルダクラスには便利なメソッドが多くありますが、
その中でも特殊なのが「update_batch」です。

複数レコードへの更新が発生する際、
ループで回し、update文を複数回実行する事も可能ですが、
この「update_batch」を使えば、一回の処理で済ませる事が出来ます。

例えば、更新用に以下の様な配列を作成したとします。

$data = array(
   array(
      'emp_id' => 'A001' ,
      'name' => 'koma taro' ,
      'tel' => '090-0000-1111'
   ),
   array(
      'emp_id' => 'A002' ,
      'name' => 'koma saya' ,
      'tel' => '090-0000-2222'
   )
);

そして、update文を実行する際は、

$this->db->update_batch('emptable', $data, 'emp_id');

となります。

「emptable」（社員テーブル）が更新対象のテーブル名、
「data」が先程作成した配列、
「emp_id」（社員ID）が更新時に条件として使用するカラムの指定、となります。

つまり、

• 社員テーブルの社員IDが「A001」の名前を「koma taro」に、電話番号を「090-0000-1111」に変更する。
• 社員テーブルの社員IDが「A002」の名前を「koma saya」に、電話番号を「090-0000-2222」に変更する。

という処理を行う、という事です。

普通に考えると、update文を2回実行しないといけない様に思えます。
しかし、「update_batch」の呼び出しは1回です。
一体内部ではどんなSQLに展開しているのでしょうか？
・・・という事で、実際に実行されるSQLを調べてみると、

UPDATE `emptable` SET `name` = CASE
WHEN `emp_id` = 'A001' THEN 'koma taro'
WHEN `emp_id` = 'A002' THEN 'koma saya'
ELSE `name` END,
`tel` = CASE
WHEN `emp_id` = 'A001' THEN '090-0000-1111'
WHEN `emp_id` = 'A002' THEN '090-0000-2222'
ELSE `tel` END
WHERE `emp_id` IN ('A001','A002')

なんともトリッキーですが、確かにこれだとSQL文は1つで済みます。
update文を何度も実行するよりは、処理的にも早いと思います。

でも、ここでふと疑問が。
「複数条件指定する場合はどうするのだろう？」

ここに罠が潜んでいるのですが、ちょっと長くなってしまったので、
次回に持ち越します。

次回：Codeigniterのupdate_batchで複数条件指定する時の罠。（whereメソッドに注意編）

オフィス狛 技術部です。

iOSアプリのアーカイブ（リリース準備）作業をしている時に、
ある開発端末で「pod update」を行なったら、「Abort trap: 6」が発生し、
Rubyが強制終了しました。

$ pod update
Analyzing dependencies
Downloading dependencies
Installing xxxxxx (1.1.11)
Installing yyyyyy (2.2.22)
Generating Pods project
Abort trap: 6

エラーの詳細（レポート）を見ると、

Application Specific Information:
abort() called
terminating with uncaught exception of type NSException
*** Terminating app due to uncaught exception 'NSInternalInconsistencyException', reason: 'Error getting value for key 'initializationClass' of extension 'Xcode.DVTKitDFRSupport.Initializer' in plug-in 'com.apple.dt.IDE.DVTKitDFRSupport''
ProductBuildVersion: 8B62

と、色々出ていますが、
こういう時は、大抵「CocoaPods」のバージョンが古い事が原因だったりします。
（実際、エラーが発生した端末では、しばらく開発作業していませんでした。）

何はともあれ、CocoaPodsのバージョンアップをしてみます。

$ sudo gem update cocoapods
Updating installed gems
Updating cocoapods
Fetching: ruby-macho-0.2.6.gem (100%)
Successfully installed ruby-macho-0.2.6
Fetching: fourflusher-2.0.1.gem (100%)
Successfully installed fourflusher-2.0.1
Fetching: nanaimo-0.2.3.gem (100%)
Successfully installed nanaimo-0.2.3
Fetching: claide-1.0.1.gem (100%)
Successfully installed claide-1.0.1
Fetching: CFPropertyList-2.3.5.gem (100%)
Successfully installed CFPropertyList-2.3.5
Fetching: xcodeproj-1.4.2.gem (100%)
ERROR:  While executing gem ... (Errno::EPERM)
    Operation not permitted - /usr/bin/xcodeproj

・・・エラーになってしまいました。
これは、macのOSがEl Capitan以降の場合、rootlessというセキュリティ機能があり、
一部のディレクトリ（/usr、/sbin、/System）に対しては、
root権限でも編集出来なくなっているからです。

仕方無いので、CocoaPodsを再インストールしたいと思います。
まずはアンイストールから。

$ sudo gem uninstall cocoapods
Remove executables:
 pod, sandbox-pod

in addition to the gem? [Yn]  Y
Removing pod
Removing sandbox-pod
Successfully uninstalled cocoapods-1.1.0.beta.1

続いて再インストールします。
インストールするディレクトリを指定しているところがポイントです。

$ sudo gem install -n /usr/local/bin cocoapods
Successfully installed xcodeproj-1.4.2
Fetching: molinillo-0.5.5.gem (100%)
Successfully installed molinillo-0.5.5
Fetching: cocoapods-trunk-1.1.2.gem (100%)
Successfully installed cocoapods-trunk-1.1.2
Fetching: cocoapods-downloader-1.1.3.gem (100%)
Successfully installed cocoapods-downloader-1.1.3
Fetching: cocoapods-deintegrate-1.0.1.gem (100%)
Successfully installed cocoapods-deintegrate-1.0.1
Fetching: cocoapods-core-1.2.0.gem (100%)
Successfully installed cocoapods-core-1.2.0
Fetching: cocoapods-1.2.0.gem (100%)
Successfully installed cocoapods-1.2.0
Parsing documentation for xcodeproj-1.4.2
Installing ri documentation for xcodeproj-1.4.2
Parsing documentation for molinillo-0.5.5
Installing ri documentation for molinillo-0.5.5
Parsing documentation for cocoapods-trunk-1.1.2
Installing ri documentation for cocoapods-trunk-1.1.2
Parsing documentation for cocoapods-downloader-1.1.3
Installing ri documentation for cocoapods-downloader-1.1.3
Parsing documentation for cocoapods-deintegrate-1.0.1
Installing ri documentation for cocoapods-deintegrate-1.0.1
Parsing documentation for cocoapods-core-1.2.0
Installing ri documentation for cocoapods-core-1.2.0
Parsing documentation for cocoapods-1.2.0
Installing ri documentation for cocoapods-1.2.0
7 gems installed

無事に再インストール完了しました。
では、改めて「pod update」します。

$ pod update
Update all pods
Re-creating CocoaPods due to major version update.
Updating local specs repositories
Analyzing dependencies
Downloading dependencies
Installing xxxxxx (1.1.11)
Installing yyyyyy (2.2.22)
Generating Pods project
Integrating client project
Sending stats
Pod installation complete! There are 9 dependencies from the Podfile and 11 total pods installed.

無事に成功しました。

急いでいる時程、こういう類のエラーが出ると焦ってしまいますが、
急がば回れで対応すると、案外あっさり解決するものです。

オフィス狛 技術部です。

以前、別の記事で、PHPのインストール（バージョンアップ）を説明しましたが、
その流れで発生するエラーについて、対象方法を記載しておきます。

エラーは
Fatal error: Uncaught exception 'ErrorException' with message date()
です。

さらに詳細は、

Fatal error: Uncaught exception 'ErrorException' with message 'date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected the timezone 'UTC' for now, but please set date.timezone to select your timezone.

となります。要は、
「タイムゾーンが指定されていないよ。指定されていないと、システムのタイムゾーン使うけど、それは安全じゃないよ。一応今はUTCが選択されているけど、ちゃんと自分で指定してね」
という事です。
※PHPのインストール直後は、php.ini がデフォルトの状態になっているので、タイムゾーンは未設定となっています。

PHPのタイムゾーンを設定します

いざ、設定しようとする時、いつも思うのが、
「あれ？php.ini ってどこにあったかな？」
という事です。

まずは、php.ini の場所を探し出します。

$ php -i | grep php.ini
Configuration File (php.ini) Path => /opt/remi/php56/root/etc
Loaded Configuration File => /opt/remi/php56/root/etc/php.ini

Loaded Configuration File にあるのが、パスになります。

あとは、php.ini 内の「date.timezone」を変更するだけです。
例えば、日本だったら、「date.timezone = 'Asia/Tokyo'」という感じです。

PHPのインストールをする場合は、ここまでワンセットで行なっておくのが確実です。
（私はいつも忘れてしまいますが。。。）

オフィス狛 技術部です。

MySQL において、文字列と数値の比較は思わぬ結果になってしまう事があるので注意です。

まず、題名にもある通り、

「SELECT 0 = 'a';」はTrueになります。

・なぜこんな事が起きてしまうのか？

MySQLでは、型が違う値同士を比較すると、暗黙的な変換が発生します。
文字列の「1」は、数値の「1」になります。
しかし、数値に変換出来ないもの、例えば「a」という文字は、
変換出来ないので、「0」になります。
（変換は出来ないけど、型を一緒にする為に、無理やり数値にしてくれる）

変換出来ないなら、諦めて欲しいところなのですが、
頑張り屋さんなんですね、MySQLは。

という訳で、色々試して見た結果が以下の通りです。

SELECT 0 = 0;   -- True になる
SELECT 0 = 1;   -- False になる
SELECT 'a' = 'a'; -- True になる
SELECT 'a' = 'c'; -- False になる
SELECT 0 = '0';  -- True になる
SELECT 0 = 'a';  -- True になる
SELECT 1 = 'a';  -- False になる

やっぱり、「SELECT 0 = 'a'; 」が問題になりそうですね。

・他にもあった、頑張り屋さんならではの弊害

先程、「a」という文字列は数値に出来ませんでした。
では「1a」という文字列ではどうでしょう？
・・・・数値にしてくれるのです。そう、MySQLなら。

この場合、「1a」は「1」に変換されます。

こちらも色々試して見ました。

SELECT 1 = '1'; true
SELECT 1 = '1a'; true
SELECT 1 = '1abcd'; true
SELECT 1 = 'abcd1'; false

どうやら、先頭に数値が来ると、その数値に変換して比較するようです。

・でも、別にMySQLは悪くない

むしろ、頑張り屋さんで、良いと思います。

そもそも、SQLで文字列と数値を比較するような事を発生させないのが筋です。
そして、その制御はSQLに値を設定するプログラム側で行うべきだと思います。
（もっと言うと、そんな事が発生する場合、設計を見直した方が良いのかな、とも思います。）

・その他気になったところ

リファレンスマニュアルには、下記の式についても、 結果が異なると記載されています。

SELECT '18015376320243458' = 18015376320243458; true になる
SELECT '18015376320243459' = 18015376320243459; false になる

これを色々な環境で試してみたのですが、

SELECT '18015376320243458' = 18015376320243458; true
SELECT '18015376320243459' = 18015376320243459; true

間違った判定をされる事はありませんでした。

リファレンスをちゃんと読むと、

さらに、文字列から浮動小数点への変換および整数から浮動小数点への変換は、必ずしも同様に発生するとはかぎりません。整数は、CPU によって浮動小数点に変換される可能性があります。一方、文字列は、浮動小数点の乗算を伴う演算で 1 桁ずつ変換されます。 表示される結果はシステムによって異なり、コンピュータのアーキテクチャーやコンパイラのバージョンなどの要因、または最適化レベルの影響を受ける可能性があります。このような問題を回避する方法の 1 つは、値が暗黙的に浮動小数点値に変換されないように、CAST() を使用することです。
「MySQL 5.6 リファレンスマニュアル」『関数と演算子 / 式評価での型変換 / 12.2 式評価での型変換』より。
2017年1月17日 (火) 08:11 UTC
URL: https://dev.mysql.com/doc/refman/5.6/ja/type-conversion.html

なるほど、環境によって異なるのですね。

MySQL において、異なる型の比較は思わぬ結果になってしまう事がある、
という事で、注意しましょう。