開会の辞 | 発表T(佐藤:前半) | 発表T(佐藤:後半) | 発表U(永田) | 発表V(須賀) | 質疑応答
::: 発表T(佐藤義則氏:後半) :::
佐藤(発表者)
それからもう一つのMINESですが、米国内の14の大学図書館、その後でOCUL(Ontario Council of University Libraries)というトロント大学を中心としたコンソーシアムで実施されました。
これは電子ジャーナルの利用に焦点を当てたものです。
館内利用者とリモート利用者の属性や利用目的、利用の元になった情報源。
これは、システムに最初にアクセスしたときに、必ず画面を出すようにする。
ランダムサンプリングで強制的に画面を出して、その画面に答えないと次の画面に行かないというような仕掛けを用意して、それでこういうものを入力させて内容を見るというやり方です。
電子ジャーナルの利用というのは、結局、だれがどういうものをどれだけ使っているかというのはなかなかわからない。
特に利用者の属性というのは非常に把握しにくい。
もしIDとかアカウントをもとにして把握したとしても、利用目的はわからないというわけで、それを実際に画面で尋ねるやり方で、これは利用者の評価というよりも実際の利用、あるいは利用行動に主眼を置いた調査です。
こういうやり方でやられています。
これらが一つのセットという形になっています。
次に、LibQUAL+調査の実施に関して、機関内でこんなふうな手順でやるんですよということがLibQUAL+のページにありましたので、抜き出してまとめてみました。
機関あるいはコンソーシアムでの参加についての意思決定、それからサンプリング方式について決めてくださいとしています。
悉皆でやるのかランダムサンプリングでやるのかは、その参加者の意思決定に任せますということです。
それから調査用のE-mailアドレスの確保です。
それに、調査対象分野、ローカル設定項目等を決めます。
次に、調査に関する機関内でのプロモーションです。
最後に、調査の実施、リマインダの送付ということで、リマインダについても例文がちゃんと用意されていてWebに掲載されています。
調査用のサーバーはテキサスA&M大学にあるようです。
オーストラリアの人が書いていましたけれども、オーストラリアとアメリカの時差があるので、困ったときに対応してもらえないというようなこともあるようです。
調査の分析についてはどうなっているかというと、各参加機関にResult Notebookというものが送られてきます。
これは、PDFフォーマットです。
全体あるいは学生・大学院生・教員・職員・図書館職員の別、分野別に分析されています。
分析の場合の数がふえていくに従って料金が上がっていきます。
基本部分は2500ドルですから大体30万円ぐらいだと思いますが、報告にいろいろなオプションをつけていくと値段が上がっていくという仕組みになっているようです。これは作業量に応じてだと思います。
それからコア質問ごと、局面ごと、ローカル設定質問ごとというような形で報告が出てきます。
その他としてSPSSのデータファイルも出せますとあります。
これもオプションだったと思います。
それに、質的分析のためのソフトウェアでAtlas.tiというのがありますけれども、Atlas.tiの形式あるいはExcelの形式にまとめてコメントを返送する。
そういうやり方がとられているようです。
問題となるのは、LibQUAL+の最初のところで申し上げたのですが、基準の設定についてです。
これは単に各大学図書館の数値を収集するだけではなくて、その分析の際には外部との比較ができるようにしようというものです。
各調査対象館におけるスコアを全調査対象館中でのパーセンタイル順位として示す方式が実際に提示されています。
これはこのページ(http://www.coe.tamu.edu/~bthompson/libq2005.htm)で見られます。
以前は、偏差値の一覧表のようなものも出されていたのですが、今日確認した段階では、下のほう(の偏差値)はもうなくなっていて、上のほうのパーセンタイルだけでした。
これは要するに、全体の調査館の中で自分の図書館はどれぐらいに位置しているかを表しているわけです。
これがどういう意味を持つのかについては非常に疑問があるところですが、こういうものが実際に使われています。
調査結果については、こういう形のレーダーチャートが送られてきます。
外側にあるのがDimensionをあらわしていて、赤や緑、黄色、青のカラーで表示をしているわけですが、赤い部分というのは最低限のレベルよりも実際の評価が低かった場合は赤で、望ましいレベルよりも実際のほうが超えている場合には緑で示されます。
こんな風に色で表現しているわけです。
それからバーチャートは、局面ごとの平均を表しています。
Affect of ServiceとかInformation Control、Library as Placeの三つと、それに全体平均です。灰色の箱の上端がDesiredレベル、下がMinimumレベルで、灰色の部分が許容範囲(zone of tolerance)になっています。
また、この図では橙色の上端が実際の評価の部分です。
こういう形で局面ごとに平均を出して、バーチャートであらわして結果を渡してくれるわけです。
次の図は経年変化です。
Cranfield大学の人が報告しているものがあったので、そこからお借りしてきました。
その中の経年変化を見るというものです。
これも局面ごとの平均をとって、経年変化を見て云々ということをやっています。
ここも本当にこういうことがやれるのだろうかというところはあります。
LibQUAL+に対する批判ということでは、Peter HernonあるいはDanuta NiteckiとかPhilip Calvertという人たちは、早い段階からLibQUAL+に非常に批判的でした。
それぞれの図書館における期待は異なるので比較には意味がないだろうと。
それでHernonはGap分析は使うけれど、質問項目はそれぞれの図書館の期待に合わせたオーダーメイド方式でつくったほうがいいと。
そういうことで、要するに図書館同士の比較というのは意味がないだろうということを言っています。そして、そういうやり方で実際に調査を行っています。
これまで永田先生と私のチームでSERVQUALあるいはLibQUAL+に関連して、Gap分析の手法を使った調査をこのように進めてきました。
千葉大、東北大で導入可能性調査、それから、神戸大では局面の抽出をするための調査、それから熊本大、立命館大、イギリスのRoyal Holloway University of London、フィンランドのOulu大学、タイのThammasat大学で調査をしてきました。
四つ目に書いてあるのは、実際に調査した結果の具体的なコンテクストはどのようになっているのかということを見つけるためのフォーカスグループインタビューを行ったものです。
結果的に、私どもが因子分析、それから共分散構造分析を使ってやった結果ですと、"職員のサービス"(サービス担当者の顧客への対応)、"「場」としての図書館"(有形性、場所、空間)、"コレクション・アクセス"(コレクション、及びコレクションへのアクセス)、"組織としてのサービス" (図書館が組織として設定するサービス)というような局面構成になるということを報告しました。
あと10分ぐらいありますので、最後にサービス品質調査の留意点ということで、幾つか調査の実務的なところをについて紹介させていただきます。
まず、アンケート調査の回答者についてです。これは私が行った調査ではないのですが、最近、東北大学の図書館のほうでサービス品質というか顧客満足の調査をしたいということで、名古屋大学でつくられたものをほぼそのままお使いになっているんですけれども、そうした調査を実施されました。
集計と分析については、私がお手伝いしました。
その際の集計なのですが、この542という人数は工学部だけ(の回答者)です。
東北大の調査は全体で2929件の回答が得られました。
悉皆でやって回答率は10%ちょっとですけれども、件数は2929件と非常に集まりました。
なぜこんなに集まったかというと、iPodを景品にしたからです。
IDを入力してもらって、その結果で最後に抽選をしてiPodを差し上げますと言ったら、みんなすごく頑張って返答をくれたというわけです。(笑)
工学部だけで542人から返答がありました。
ここでやはり問題になるのは、私どもも何回もやってきて、「ほぼ毎日」使う、「週に1〜2回」「月に1〜2回」、どうもこの辺が非常に多い印象を受けていました。
実際に今回、東北大学の工学分館では入館ゲートのところでIDチェックをしていますので、同じIDが1年間に何回出現したかということをカウントしてくださいました。
その結果は、この表のような形になります。要するに先ほどのもの(アンケートの回答者層)よりはずっと分布が下のほうにあるんですね。
アンケートの回答としては一番上が47%で、(次が)38%という、入館状況では非常に少ないところが多く回答しています。
ということは、明らかに回答者のほとんどが図書館の利用者である、しかもヘビーユーザーであるということができます。
私どももその辺は気づいておりまして、データの分析をするときには利用経験がない人ははじいて分析をしてきました。これが実際の数字として現実にあらわれているわけです。
それから、サービス品質調査の実際ということで、期待値と認知値、それからそこから計算で得られるGap値というのがありますけれども、私どもが分析をするときにはGap値は基本的には使わないようにしてきました。
あまり意味がないだろうと考えたからです。
場合によっては使うんですけれども、そこから何かを積極的に言うというようなことではなくて、期待と実際の部分の関係で判断したほうがいいだろうということでやってきました。
それから期待値をどのように考えるかついてですが、期待値は確かに利用(過去の経験)の関数であるわけです。
期待値はやめて認知値だけでやったらいいのではないかというようなことは、80年代、90年代にも再三いろいろ議論があったのですが、実際やってみるとやはり期待は期待でばらつきます。
それは何かというと、恐らくはやはりサービスの重要度であるとか、ニーズに基づく重要度、あるいはサービスのプロモーションであるとか、口コミであるとか、そこの図書館以外の図書館や書店で似たようなサービスの経験を受けた、そういった事柄が期待を形成するのに貢献しているはずなので、そういう意味で期待値もやはり重要だろうと考えています。
そうしたことから、期待値と認知値の両方で分析をするようにしてきたわけです。
では、データ処理では実際にどのようにしているかという点ですが、Webを使って調査をしたときにはサーバーからのデータ変換で済みます。
できるだけWebサーバーでデータがなくならないようにきちんとバックアップをとるとか、サーバーが落ちないようにするとか非常に気をつけてやります。
それから、私が自分でWebのページを作ったりしましたが、そうした場合はちゃんと(スクリプトの)サニタイズをしないと、コマンド・インジェクションといったWebサーバーのハッキングでやられてしまうとか、いろいろなことが起こりかねませんので、その辺の脆弱性に充分気をつけなければいけません。
質問紙から入力したときには、Excelでまず入力をしまして、それからデータをプリントアウトして一件一件修正確認をします。
これはどんな調査でも同じことです。
それからデータのサニタイズということで、すべてが同じ値のデータや、不自然に規則的なデータが出てきます。
これはチェックしてはじきます。これはプログラムでかなりチェックできます。
この辺が厄介なところですけれども、期待値だけがオール7というのはあり得ますね。
もちろんあり得るんですけれども、その場合には認知値等もかかわります。
それだけで判定するのではなくて、期待値がオール7で認知値がオール1というような組み合わせで判定をするべきだと思っています。
そういうふうなことをやりました。また、デュプリケートチェックと呼んでいますが、Webの場合には同じ端末から2回送信されるケースがあります。
いわゆるダブルクリック現象です。
時間を置かないで2回クリックされると二つ入ってしまいます。Apacheのログにはきちんとそれが残ります。
そういうのはきちんと時系列で見ていってプログラムではじきます。
ですから、サーバーから入力するときには時間とIPアドレスとセットで記録します。
Excel上で大体処理が終わった後で、SPSSに渡して処理をするということをしておりました。
分析にあたっては、まず分布をきちんと確認することにしています。
要するに平均で比較をするというのは非常に怖いので、分布をきちんと確認しなければいけません。
一般にはこんな山型のものになりますけれども、実際にはこういう二山があったりします。
ですから、先ほどの平均だけで判定をするのは非常に危険な場合であるというわけです。
要するに、この場合はそう思っている人たちとそう思っていない人たちと二つのグループに分かれているわけですから、そういうセグメント別にきちんと見なければいけないわけでして、こういうようにまずすべての項目についてヒストグラムをかいて確認した上で作業を始めます。
また、もう一つ、分布の確認のために、学生、大学院生、教員で最低限望ましい認知というような形で箱ひげ図を描いていきます。
箱ひげ図の場合、色つきの部分が50%区間にあたりますが、分布の幅をチェックしていきます。
要するに単純に平均だけで比較することには非常に疑問があるところなので、組み合わせで考えましょうということです。
この図は、RHUL(Royal Holloway University of London)で実施したときの結果をレーダーチャートにしたものですが、単純にGapで見るのではなく、また認知値が高いからいい状態にあるというわけではありません。
例えばここがプラスになっていて望ましいレベルよりも認知のほうが上ですが、だからといいというようにはならず、期待が低いわけですから、もともと期待されていないものを図書館が努力して実現してもそんなにいいことはないわけです。
先ほど期待と認知が重要であるというのは、そういう部分で両方を使って判断をしたほうがいいという意味です。
ですから、今までやってきた経験からいうと、単純に平均だけで、あるいはランキングで評価をするというのはどうかなというように考えています。
それからこの図は日本の大学での結果ですけれども、私立大学の学生の場合です。こんな具合に、問題を把握していくということです。
大学によってはこの図のようにひどい結果になる場合もあります。
ある国立大学の教員の場合なのですが、全般に最低限のレベルが非常に低いレベルにありますからあまり期待されていないといえます。こんなケースも出てきます。
もう一つ大事なのは、コメントの分析だと思っています。
東北大学の事例ですけれども、先ほどの2929人から回答が得られたうちの1275人、43.5%の人からコメントがつけられています。
コメントの長さは最大で1602文字、平均で97.4文字でした。
それからメディアンでは61文字です。ですから、極端に多い人がいるというわけです。
コメントは、22の質問項目なり、それにプラスした質問項目では対応できない、利用者が注目している具体的な観点を探し出すのに非常に重要なわけです。
また、ある質問項目に関連して問題があることがわかっても、それだけでは具体的にどこが問題なのかはわからないわけです。
そうしたときに、やはりコメントには、ここが問題ですよとちゃんと書いてあることが多くあります。
ですから、実際にコメントを分析する場合には、単に文字列だけを抽出して分析するのではなくて、所属とか利用頻度、よく使う図書館であるとかをセットにして切り離さないようにして行います。
要するに質的に分析をするわけです。
これが非常に重要なところであると思います。
後で須賀先生からもお話があると思いますけれども、顧客が注目するところというのは常に変わっていくわけですから、それに対応した形で質問項目を設定していく。
次の準備をするためにはこういうところをきちんと見ていく必要があります。
そのために、場合によっては必要に応じてフォーカスグループあるいはインタビューであるとか適切な手法を用いてデータを追加していくというようなことが必要になります。
要するにどこに問題があるかということです。
こういうことを実際にはやります。
なお、コメントの分析に形態素解析とかクイック索引を使ってみたこともあるのですが、あまりうまくいくケースはなくて、やはり丹念にきちんと整理をしていく必要がある部分だと考えています。
以上です。どうもありがとうございました。(拍手)
池内
佐藤先生どうもありがとうございました。
LibQUAL+の理論的な基盤となったSERVQUALの背景からLibQUAL+への流れ、また、佐藤先生たちのグループがなさったご研究における実際の集計作業の詳細な部分などについてもお話しいただけました。
この後、指定討論者の永田先生と須賀先生のお2人にご発表いただき、その後ディスカッションの時間を設けさせていただきますが、その前に今の佐藤先生のご発表についてご質問、わからなかったところがございましたら今お受けいたしますけれども、いかがでしょうか。
先に進めてしまってよろしいでしょうか。
あと、実はこのワークショップは第1回からずっとログをとっていただいています。
ただ今回、机の関係でマイクが白い教卓のところにしかないものですから、もしも一番後ろのほうに座っていらっしゃる方がご質問等おありの際は、すごく大きな声を出していただくか、前のほうに来ていただければと思います。
すごく大きな声を出していただいたほうがおもしろいので、是非お願いします。(笑)
上田
先ほど国際的な展開というのがありましたよね。
日本の例というのはないんですか。
佐藤
LibQUAL+という形ではやっていないと思います。
上田
佐藤さんたちがなさったのはSERVQUALだけということですか。
佐藤
SERVQUALを独自に展開してやってきたわけです。
SERVQUALに質問項目を追加してやってきました。
上田
もう一つ、テキサスA&M大学で提供している範囲内での話というのはまた別にあるわけですか。
比較をするというやつがありますよね。
あれはそういうシステムを使ったところのやつを比較しているわけですよね。
佐藤
そうです。
上田
つまり、それは任意にいろいろなところでやっているものもあるし、それから……
佐藤
違います。
LibQUAL+の統一的なやり方は同時に使っている。
上田
その場合、多言語対応というのはどうなっていますか。
佐藤
多言語は別に分けてやっているみたいです。
要するにアメリカンイングリッシュとブリティッシュイングリッシュあるいはフランス語を分けてということで、言語別にやっているはずです。
市古(慶應義塾大学信濃町メディアセンター)
慶應大学信濃町メディアセンターの市古と申します。
慶應大学ではこのたび、LibQUALの調査をやろうという意思を固めまして、実際にKyrillidouさんとコンタクトを始めました。
それで、日本語翻訳をある会社を通して(やって)、それから慶應の酒井と私がチェックをかけて、今LibQUALに戻しているところで、またリバースのトランスレーションがこれから入るという段階になっています。
この間ワークショップに行ってきましたので、後ほどまた何かあれば。
|