Play2 + Scala のカバレッジツールで一番マシなのは scct かな？

この記事は Play or Scala Advent Calendar 2012 12/10 分の記事です。

使ってる Play のバージョンは 2.0.4 です。Scala のバージョンは 2.9.1 ですよ。

なんかjacoco4sbtだめ

以前jacocoとjenkinsの記事を書いたんですが、jacocoだと余計なカバレッジまで計測してしまう（下記画像参照）ので困っていました。play new して作ったプロジェクトに、 GET / するテストを書いただけなのでカバレッジ100%になるはずなのに、異常にカバー率が低い。。

この場合RoutesやらReverseやらのPlayがジェネレートしているコードが邪魔なので、下記のように除外設定を書けば少しはましになりますが。

//Build.scala
    jacoco.excludes in jacoco.Config :=
      Seq(
        "views.html.*",
        "Routes*", 
        "*Reverse*", 
        "views**", 
        "routes*" )

でもまだまだダメ。例えばApplication.scalaのレポートをみると、、なんじゃこりゃー。。

Controllerトレイトの実装まで全部カバレッジレポートの対象にしちゃうので見にくくてしょうがない。

scctかな？

で、scctを試してみました。
潔いくらいドキュメントがない！　のですが、導入は簡単です。機能も少ないし。
ちなみに Usage のところに sbt0.12 以上って書いてあるけど、無視しました。*1

使い方

Build.scalaはこう。

import sbt._
import Keys._
import PlayProject._

object ApplicationBuild extends Build {
    val appName         = "coveragesample"
    val appVersion      = "1.0-SNAPSHOT"

    lazy val s = Defaults.defaultSettings ++ Seq(ScctPlugin.instrumentSettings: _*)

    val appDependencies = Seq(
      // Add your project dependencies here,
    )

    val main = PlayProject(appName, appVersion, appDependencies, mainLang = SCALA, settings = s).settings(
      // Add your own project settings here      
        parallelExecution in test := false
    )
}

ポイントは、

• scctの設定を追記する

   lazy val s = Defaults.defaultSettings ++ Seq(ScctPlugin.instrumentSettings: _*)

• PlayProjectのsettingsプロパティに上記設定をセット(settings=sのところね）

    val main = PlayProject(appName, appVersion, appDependencies, mainLang = SCALA, settings = s)

です。*2

あと、parallelExecution in test := false も忘れない様につけておきましょう。これをつけないとテストが並列で実行されてしまいます。困りますよね？　僕は困ります。*3

で、plugins.sbtあたりにこう。

resolvers += Classpaths.typesafeResolver

resolvers += "scct-github-repository" at "http://mtkopone.github.com/scct/maven-repo"

addSbtPlugin("reaktor" %% "sbt-scct" % "0.2-SNAPSHOT")

これで下記のように実行すればいいです。

$ play scct:test

下記のような結果が得られます。

RoutesやReverseが含まれちゃってるのはjacocoのときと変わりませんが、Application.scalaの中を覗くと、余計なものが含まれてなくて綺麗だね！

さらにscctさんはcobertura互換のxmlも吐いてくれてます。なのでこいつをJenkinsに食わせましょう。

Jenkinsにセット

手順としては

• 事前準備：必要な（Jenkinsの）プラグインが入ってなければいれておく

Coberturaプラグインが入ってない場合はいれておきましょう。他にもGitを使うのであればGitのプラグインなどを入れましょう。

• フリースタイルジョブを作る
• "設定 > ビルド > シェルの実行" を選択し、下記をセット

/path/to/play-2.0.4/play clean
/path/to/play-2.0.4/play test
/path/to/play-2.0.4/play scct:test

パスは適切に設定してくださいね。
play test と play scct:test と、テストを2回実行しているのには理由があって、play testはJUnitのXMLを吐くため、play scct:testはカバレッジレポートを吐き出すため、です。ダサいですね。ごめんなさい。。

• "ビルド後の処理 > JUnitテスト結果の集計"を設定
• "ビルド後の処理 > Coberturaカバレッジレポートを集計"を設定

2つ合わせて下記の感じで。

Coberturaプラグインのインストールを忘れてると"ビルド後の処理 > Coberturaカバレッジレポートを集計" が出てこないので注意。
その他、SCMからコードを取得してくる設定とかは適宜やってください。

設定を上手いことやって実行すると、下記のような結果が得られます。カバレッジの推移も見れますね。

Application.scalaのレポートもバッチリですね。

JUnitの結果も集計できています。いつからデグったのかとか、わかり易くていいですね。

課題

手が回らなかったけど、いずれ解決したい課題

• ReverseとかRoutesとかview.htmlとか、アプリコードではないものの除外*4
• testを2回実行するのはダサいので、scct:testにJUnitのXMLを吐かせるかなにかしたい

まとめ

Routes やら Reverse やらのジェネレートされたコードがカバレッジ対象に含まれちゃうのは jacoco と変わりませんが、フレームワークのコード（Controller トレイトなど）が混ざらない分、scctの方がマシそうです。

多分除外設定書くのも難しくないし。

内部では Scala Compiler Plugin として実装されているので、コード読むのも面白いです。
みんなでパッチ送って育てましょう。

2012/12/10 19:00追記

なんか、Playプラグインを使ってると scct:test がうまく動かないみたいです。会社のメンバーが教えてくれました。
play.plugins とか、その辺のファイルがないって怒られるっぽい。
なので、下記のようなスクリプトを会社の人が書いてくれました。play test と play scct:test の間に実行するといいみたいです。

#!/bin/bash

[ -z "$1" ] && echo "Usage: $0 PATH_TO_PLAY_COMMAND" && exit -1

echo "exec: $1 scct:compile"
$1 scct:compile
echo "... copy some files for scct:test"
for i in `find ./target/scala-2.9.1/classes -type f`; do
  TARG=`echo $i | sed -e "s/\/classes\//\/scct-classes\//"`;
  [ -f $TARG ] || echo "Copy $i";
  [ -f $TARG ] || [ -d `dirname $TARG` ] || mkdir -p `dirname $TARG`;
  [ -f $TARG ] || /bin/cp $i $TARG;
done
echo "exec: $1 scct:test"
$1 scct:test

使い方としてはこんな感じ

export PATH=/usr/java/jdk1.6.0_37/bin/:$PATH
/usr/local/play-2.0.4/play clean
/usr/local/play-2.0.4/play test
./scct-test.sh /usr/local/play-2.0.4/play

根本的には、play-scct プラグインを書かないといけないですが、それはまた別の機会に。。（早ければ年末！）

*1:Play2.0.4 は sbt0.11.3 を使用しています

*2:ちなみにこの辺の settings とかの書き方って、いろんな書き方ができるので実は上記のとおりに書かなくてもいいのです。奥が深いというか、sbtを理解すればいろいろ捗るのかもしれないので覚えてみてはいかがでしょうか。

*3:sbtさんは親切でつけてるんだと思うけど、勝手にテストを並列に実行されて嬉しい人いるんだろうか。。それが必要なときはCIサーバを増やしてCIサーバ側（要はJenkins）で並列実行するんだから余計なことしないでいいと僕は思うんだけど。。

*4:これはscct自体に機能がない。既に要望は上がってるんだけど、本人にヤル気がなさそう。なんで必要なのか分からんって、言うけど、Playには必要なんだよ！！ https://github.com/mtkopone/scct/issues/31