4.評価実験

4.1　実験概要

1実験につき4名の被験者を用意し，開発を行ってもらう．2人1組になってもらい，1人目の開発で使用した技術の一部を利用する開発を2人目は行ってもらう．本システムを使った場合と使わなかった場合被験者に実際行ってもらう開発は4種類用意する必要である．被験者をA，B，C，Dに割り当て以下の表の通りに実施する．

表4.2-1 実験概要

4.2実験方法

4.2.1 準備

今回の実験では開発の題材として，Cを用いたファイル操作システムの開発と，PHPとDBを用いた開発と，Javascriptを用いたchrome拡張の開発と，Pythonを用いたGUIアプリケーションの開発を用意した．なお，実験を行う際にリポジトリ作成と環境構築ページは用意しておき，環境の構築はしておく．

開発はgithubを用いた開発を行ってもらい，一つの機能ごとにブランチを作りマージしていくこととする．

4.2.2.1 Cを用いたファイル操作システムの開発

課題１としてテキストファイルに読み込みが可能なシステムを開発してもらう．

課題１の開発条件は以下の２つである．

・起動後，数字の読み込み状態があり，テキスト表示と終了の2種類の判定を作り，終了判定後システムが終了する

・テキスト表示判定を入力後，テキストファイルの内容を表示できる

これらを満たせば開発終了とする．

課題１’としてテキストファイルの文字数を表示できるシステムを開発してもらう．

課題１’の開発条件は以下の２つである．

・起動後，数字の読み込み状態があり，文字数カウントと終了の2種類の判定を作り，終了判定後システムが終了する

・文字数カウントの判定を入力後，テキストファイルの文字数を表示できる

これらを満たせば開発終了とする

4.2.1.2 PHPとDBを用いた開発

課題２としてphpとDBを用いて簡単な掲示板を作成してもらう．

課題２'の開発条件は以下の３つである．

・ユーザー名と内容の２つの入力欄があることと，登録ボタンがあること

・送信ボタンがありクリックするとページ内に投稿としてデータベースに書き込まれること

・ユーザー名と内容の両方のデータがデータベースから反映される

これらを満たせば開発終了とする．

課題２’としてもう一つは編集可能な商品一覧ページを作成してもらう．

課題２'の開発条件は以下の３つである．

・商品名と値段を追記する欄があることと，登録ボタンがあること

・追記ボタンをクリックするとその商品名と値段がデータベースに書き込まれること

・商品名と値段の両方のデータがデータベースから反映される

これらを満たせば開発終了とする．

4.2.2.3 Javascriptを用いたchrome拡張の開発

課題３としてURLを取得できるchrome拡張を開発してもらう．

課題３の開発条件は以下の２つである．

・chrome拡張としてクリックするとポップアップをするようになる

・ポップアップをクリックするとポップアップ上に現在のURLが表示される

これらを満たせば開発終了とする．

課題３’としてタイトルを取得できるchrome拡張を開発してもらう．

課題３'の開発条件は以下の２つである．

・chrome拡張としてクリックするとポップアップするようになる

・ポップアップをクリックするとポップアップ上に現在のタイトルが表示される

これらを満たせば開発終了とする

4.2.2.4 Pythonを用いたGUIアプリケーションの開発

課題４として数字を入力すると，その数字が偶数か奇数かが表示されるGUIアプリケーションの開発をしてもらう．

課題４の開発条件は以下の３つである．

・PythonのGUIアプリケーションとして表示される

・数字を入力する欄と偶数か奇数かを表示する欄と計算ボタンがアプリケーション内に表示される

・数字を入力後，計算ボタンを押すと偶数か奇数かが表示される

これらを満たせば開発終了とする．

課題４’として文字列入力欄に文字列を入力すると，文字数が表示されるGUIアプリケーションの開発をしてもらう．

課題４'の開発条件は以下の３つである．

・PythonのGUIアプリケーションとして表示される

・表示する欄とカウントボタンがGUIアプリケーション内に表示される

・カウントボタンを押すと文字数が表示される

これらを満たせば開発終了とする．

4.2.2 実験後

実験終了後に被験者へアンケートを実施する. このアンケートによって被験者からこのシステムの評価をしてもらいF-Systemの良かった点や改善してもらいたい点などを挙げてもらう．アンケートの設問の1つにSUS(システムユーザビリティスケール)を用いたアンケートも実施した[Usability.gov]．

実際に使用したアンケートは以下の通りである．

表4.2.2-1 実験後アンケート

4.2.3　実験

まず，被験者を４人用意しシステムの概要と実験内容，githubでの開発方法について説明する．F-Systemの理解度によって生じる実験の誤差やgithubの理解度による誤差をできるだけ少なくする．その後被験者には1人目の開発に入ってもらいます．開発中，実験実施者は被験者の様子を記録する．開発終了後，2人目も続けて開発を行ってもらう．F-Systemを使用する方は2人目の被験者が，1人目が作成したプルリクエストを参照して開発を行うものとし，もう一方のチームは自由にプルリクエストを作成し2人目へ引き継ぐものとする．

最後に被験者へアンケートを記入してもらい実験は終了となる．．