<<< back

エビデンスベーストアプローチによる図書館情報学研究の確立
第1回ワークショップ
「図書館評価における来館者調査と住民調査のエビデンスの確立に向けて」

議事録

開会の辞 | 発表T(岸田:前半) | 発表T(岸田:後半) | 発表U(上田) | 発表V(歳森) | 質疑応答

::: 発表T(岸田和明氏:後半) :::

岸田
 次に,信頼区間について見ていくわけですが,それが図1になります。特徴的な項目だけ抜き出しているのですが,aが図書館全体,bが開館時間です。これは一体何をしているかというと,金,土,日,火,水,木というのは,それぞれの曜日ごとにまとめて個別に信頼区間を計算しています。例えば金曜日ですと,4.25より少し上に平均がありまして,95%の信頼区間が上下になる,それだけとられるということになります。6日間ですと,当然標本サイズは大きくなりますから,ぐっと狭まっているという感じです。
 ここで何を見たいかというと,やはり曜日の変動を見たいということがありまして,もうごらんいただければすぐにわかるように,火曜日が全然違っているというのが一目瞭然です。図書館全体というのは,なぜこれを選んだかというと,実は標本分散が一番小さい項目だったわけで,表3に戻っていただきますと,0.55という数値になっています。標本分散が小さいということは,すなわちばらつきが小さいということになります。それの代表例でa,次にばらつきが最も大きいのが開館時間でして,これが表3のほうのEに挙がっておりまして,1.53です。これが今回,全調査を通じて一番大きかった標本分散です。
 標本分散の最大値は4になります。これに関しては統計学の文献とかを調べたのですが載っていなかったので,自分で計算をしてみたのが46ページに載っています。多分間違いはないと思うのですが,数学的証明ではないのですがちょっと計算すると4になることが出てくるので,4なのだろうと思っています(笑)。
 1.53ですから,まだまだ標本分散は大きくなる理論的な余地はあるのですが,もしかすると1.5くらいがこの手の調査の標本分散の最大値なのかと書いてあるのですが,これは三つの自治体しかやっていませんから,そんな根拠はないだろうと言われればそれまでですけれども,何となく一つのエビデンスかなと。これがエビデンスとしてあると,ある一定の統計的精度を得るために標本サイズをどれだけにすればいいかというときの計算に使えるわけです。標本分散がわからないと計算できないので,これは一つのエビデンスかなと実はひそかに思っているところです。
 話をもとに戻しまして,bが開館時間で最も標本分散が大きい項目です。これを見ていただきますと,やはり火曜日が少しずれているということで,なぜかというと,これはよくわかることですが,日曜日と火曜日では利用者の属性が違うということです。この論文には詳しく書いていないのですが,38ページの下のほうにちょこちょこっと書いてあって,やはり火曜日というのは会社員とか公務員以外の例えば専業主婦のような方々の利用が多いということで,評価が甘いのか,そこら辺は突き詰めないとわからないですが,少し違った結果を出すというのがわかります。
 さて,それで次に何をしたかといいますと,これも一種の机上のシミュレーションにすぎないのですが,3日間の調査だったとしたら信頼区間は一体どうなっていたであろうかということです。実際には,伊万里ですから6日間やっているのですが,このうち三つの曜日だけピックアップしたら信頼区間は一体どうなるのだろうかというのを確かめました。それがスライドで示されていまして,お手元だと39ページの左側の図2ということになります。相変わらず図書館全体と開館時間という二つの項目を選びます。そうしますと,まず図書館全体を見ると,まあいいかなと。何がいいかというと,6日間の信頼区間に比べて,そんなに遜色がない区間になっている,大分狭い。よくよく見ますと,論文のどこかにはちゃんと書いてあるのですが,例えば6日間は図書館全体の場合には4.31ちょっとで,下が4.23ちょっとですね。これは非常に狭いわけです。
 それで,5段階評価というのはもともと何だったかと思い返しますと,「満足」「やや満足」「どちらともいえない」といったものを1,2,3,4,5と得点して強引に平均しているだけなので,この程度の差というのは非常に小さいのではなかろうかと。例えば0.1変わるということは,すなわち回答者の10%が全員一気に1段階上げた場合に0.1だけ変わるわけです。そういうことを考えると,厳密な根拠ではないですが,これぐらいの信頼区間だったらやはりいいのではないかということになります。
 開館時間のほうも見ますと,やはり区間の広さという点では3日間でいいのではないか。ここら辺が我々の論拠,根拠ということになっています。ちゃんと説明していないので申しわけありませんが,「金〜」と書いてあるのは,金・土・日の3日間です。「土〜」と書いてあるのは,月曜日がお休みですから土・日・火。(「日〜」が)日・火・水で(「火〜」が)火・水・木です。もちろん飛び飛びの金・日・火みたいなものも可能性としてはあるのですが,一応3日間連続するということでシミュレーションとしてやってみました。
 これは先ほど申し上げたとおり,リピーターの方には(2回目は)答えていただいていないので厳密な結果ではありませんが,一つのシミュレーションとしてはいいだろうということで,論文の中では押し切っています。
 実際,標本サイズがどうなるか見てみると,39ページの表4ということになりまして,6日間に比べて金・土・日だと1005ですから,標本サイズとしても悪くはないだろうという感じです。
 次に問題として考えたのが,図2の開館時間をもう一回見ますと,火曜日がやはりだめなわけです。火・水・木,つまり平日3日間はどうしても偏りが出てしまうので,「金〜」「土〜」「日〜」「火〜」の4パターンのうち,どれを選べばいいかというのを計算してみました。これはすごく簡単な方法で,数式は39ページの下に出ていますが,簡単に言いますと6日間調査の結果とそれぞれの結果を引き算しまして,例えば金・土・日調査で4.幾つとか数字が出ているわけです。それを6日間のと引き算しまして,差が一番小さいのを選んでやる。しかも,表3に21項目あるのですが,その21項目の合計で一番小さいのを選ぶという非常に単純な戦略で考えたところ,これも常識的ですが日・火・水――土・日・火でもいいですけれども,休みと平日を織りまぜたものがいい。結局,伊万里ぐらいの標本の大きさだったら3日間やればよくて,しかも平日,休日を織りまぜればいいという結論が一つ得られます。これで十分なエビデンスが得られるであろうということです。
 スライドにはないのですが,もう一つ考えたのが,6日間やるけれども午前と午後だけやって夕方はやらなくていいのではなかろうかということです。それはちょっと飛んでいただきまして,42ページの図4です。仕掛けはそこに書かれているとおりで,月曜日が休みなので,金,土,日,火,水,木とあるのですが,3日間で調査をするか,もしくは6日間やって夕方はやらずに午前・午後調査とするか。こうすると,曜日の変動は気にしなくてもよくて,ただ午前・午後と夕方との変動を気にしなければいけないけれども,それがどうなるであろうかというのもやってみました。時間の関係上,詳しく申し上げませんが,そんなこともやりまして,結論的にはまあ大丈夫だろうという感じになっています。詳細は41ページの表7,表8をご関心があれば後ほどご参照ください。
 そうしますと結果的にどうなるかというと,文の中に紛れて大変恐縮ですが,42ページの右の下のほうに「例えば,来館者の多い大規模図書館では」というのが書いてあるのですが,見つけられましたでしょうか。「例えば,来館者の多い大規模図書館では,「10時台から15時台に限定した2日間調査」でも」あるいはいけるのではないかというようなことです。これはもちろんエビデンス(根拠)に基づく主張ではありませんで,この伊万里市の結果から類推されることで,もちろんその図書館での確認が必要ですが,こういったたぐいの調査というのも可能ではないかという結論になっています。
 続きまして二つ目の柱であります来館者調査と住民調査との満足度の差です。これは今スライドが出ておりますが,43ページの表9になります。これもちょっと表記が悪いのですが,bのほうが来館者調査の満足度引く住民調査の満足度という数値になっています。「来館者」の前にイコール(=)を入れるべきだったと随分反省しているんですけれども,少しわかりにくいのですが,とにかく引き算をしております。
 住民調査のほうが調査票が小さかったので,所蔵資料,サービス,建物構成,職員のそれぞれ全体しか聞けなかったのですが,対応する項目を来館者調査のほうにも設定しておりまして,調査票が若干レイアウトが違うので詳しく言えばまずいのかもしれないですけれども,一応項目としては直接比較できる。それで引き算をした結果です。当然,プラスになった場合には,来館者調査が過大評価をしているということになります。
 このときに問題になるのが,先ほど申し上げましたとおり,もともと母集団が一致しておりません。住民調査のほうは伊万里市の住民基本台帳を使っておりまして,来館者調査のほうは当然,市外からの方がいらっしゃいます。熊取,栗東もそれぞれ同じ状況です。ここら辺はもう少しちゃんと確認すればよかったのですが,一応どこかに書いてあるんですけれども,市外居住者か市内居住者かは聞いておりますので,そこで性質に差がないのではないかというのを一応確認した上で比較をしています。ちょっと甘いといえば甘いのですが,表9の下の2段落目にざっと書いてあるだけですが,一応ここで確認したということで比較に進んでいます。
 先ほどの回収率ですが,その下のほうに書いておりまして,伊万里市は226回収して,45.2%です。先ほど申し上げたように500配っております。熊取が61%,栗東が56%。はがきによる督促は,予算も時間もなくて1回ですが,統計学のほうでは2回とかやると,だんだん効果はなくなっていくのですが,やはりやったほうがいいということになっていまして,もう少しやれれば本当はよかったとは思っております。
 表9に戻りまして,一応これで数値が出ています。最大が栗東の全体で0.46です。これはかなり大きな差であろうと思われます。そういうことで,あとは検定とか何かをやっているのですが,それは大した話ではありません。 分析のまとめです。繰り返して恐縮ですが,まず一定の回収数があれば,3日間程度の来館者調査で十分に精度の高いデータを得ることができると思います。つまり,エビデンスとして十分に統計的精度の高いデータを得ることができると。それから,来館者調査のほうが住民調査よりも過大評価となり,その差の最大値は今回0.462である。これもエビデンスとして他の図書館で使うには,甚だ心もとないのですが,先ほどの1.53と並んで一つの目安,これぐらいの幅は出る可能性があるので,来館者調査の結果を読むときに気をつけなければならないよと。後でご議論いただきたいと思うのですが,これぐらいは言えるのかなというような結論です。
 それで結局,エビデンスとして,利用者満足度を正確に測定するには,結論的にはまず来館者調査はなるたけ経費を削減したほうがよろしかろうと。平日,休日がありますから1日というのは無理ですが,図書館によって2日,3日,あるいは時間帯を制限するみたいな形で,とにかく節約しておきまして,例えば来館者調査を毎年やって5年に一度ぐらい住民調査をする。これが日本の人口を把握するときに普通にやられている方法でして,国勢調査も今は随分信頼性が下がってしまったのですが,国勢調査で5年ごとに把握して,その間は住民基本台帳といいますか,出生,死亡,婚姻等の届け出の業務統計で調整して算出していくというのが日本の人口の統計の出し方です。それと似たようなことをやればいいのではないかということです。それが提言ということになっています。
 スライドにはないのですが,43ページの「5 まとめと考察」から随分ごちゃごちゃ書いてあるのですが,ここで私が何を主張したかというと,ここから利用者満足度の所与の部分から外れまして,果たして利用者満足度というのが測定対象として耐え得るだろうかという話になっていきます。先ほど少し申し上げたのですが,もともと5段階の順序尺度を強引に間隔尺度と置きかえて平均を計算して分散等を算出している,それで議論している。確かにばらつきの程度はわかるけれども,多少厳しく言ってしまえば,果たしてそんなことでいいのだろうか。 それから,例えば「満足」と「やや満足」というのがありますが,ある人が「満足」と言った場合とほかの人が「満足」と言った場合の「満足」は,本当に同じなのかどうかというような感じがあります。もちろん,それは哲学的に突き詰めれば現象学的云々かんぬんを言わなくても,それは無理だろうねということになるわけです。心理学でもそういうことはやっているんでしょうけれども,心理学の場合には被験者を集めて十分なインストラクションをしてできるわけですが,図書館の来館者調査ではまずそれはできないだろうということで,測定方法としてはかなり危ないのではないかというのが個人的に思うところです。
 それで,唯一何とかできるのが調査票ですが,これは調査票も細かく書けば理解してもらえないし回収率も落ちるしというので,調査票だけで何とかするというのはなかなか難しい。そうしますと,やはりこれは科学的な根拠としては使えないのではないかというのが長々と書いていることです。では,なぜこんなことをするかというと,最初の話に戻るのですが,「plan-do-see」という枠組みの中の一つの確認のための手がかりということになら,何とかなるのではないか。ですから,科学的な何かを提示するというエビデンスではなくて,「plan-do-see」の中で,その「plan」「do」の部分の評価の一つの要素としてはエビデンスとして価値があるのではないか。簡単に言うとそんな話です。ですから,「plan-do-see」と離れて,こういった数値がひとり歩きするのは全く意味がありませんし,それによって何かを結論しようとするのもなかなか難しいだろう。
 冒頭で錯綜していると言ったのですが,先ほど1.53とか0.46というのは一つのエビデンスとして使えるのかもしれないなと言いつつも,そういうふうに「plan-do-see」の枠組みの中でしか使えないのではないかと。よく考えたら別の次元の話かもしれないですが,ここが今日,この会場に来るまでに結論が出なかった錯綜した部分です。 次に,細かい字で大変申しわけないですが,「エビデンスとしての利用者満足度(再考)」ということで,利用者満足度所与というのは外して,私は今,情報検索が専門なので,少しほかの分野から利用者満足というのを見たときにどうかというと,情報検索のほうでは利用者満足はあまり使わないんですね。どういうふうにとらえられているかというと,例えば検索された文献の正確さ,質,量といろいろ書いてありますけれども,これらを組み合わせた複合的な抽象概念として利用者満足をとらえるわけです。
 例えば検索システムがあったときに,満足度を聞くなどという研究も確かにありますけれども,大部分はそんなことはやりませんで,利用者満足を構成する操作的概念に対して評価をするわけです。そういった情報検索分野のしきたりというか習慣から見ると,少し大ざっぱ過ぎるのではないかというのが初めに抱いた印象です。本当にそうなのかなと思って,いろいろ調べてみますと,最近,いろんな営利企業とかで顧客満足度を使った分析というのがなされているようで,一つおもしろい事例があったのでご紹介して私の発表を閉じたいと思います。これはどこから持ってきたかといいますと,46ページに「注・引用文献」が載っているのですが,3番目にアンディ・ニーリという人が編集されて,清水孝先生という方が訳された『業績評価の理論と実務』という本がありまして,これはいろんな章があってバラエティに富んでいて,おもしろいのですが,その中の一つの章で欧州顧客満足度指標というのがあるそうで,それをデンマークの郵政公社に適用した事例というのが載っておりました。
 やはり顧客満足度ですから,今まで説明してきた利用者満足度のような形で,アンケートかインタビューかよくわからないですけれども,データをとってくるのですが,そこにさらに少し仕掛けを加えまして,顧客満足度を決定する要因(潜在変数)というのを設定するそうです。この潜在変数を設定しているのが,ECSI(欧州顧客満足度指標)だそうで,その潜在変数としては,説明が舌足らずで後で質問されても答えられないと思いますが,「イメージ」「期待」「知覚品質」「知覚価値」というのが設定されています。これが測定されまして,方法としましては潜在構造分析が使われます。回帰分析の中である特定のパスに重点を置くという,最近結構はやりのやつです。
 最終的に何をしたいかというと,顧客ロイヤルティに顧客満足度がどう結びつくか。例えば,営利企業はこの顧客ロイヤルティが大事で,つまりお客さんが自分の会社の商品をずっと続けて買ってくれる。それが顧客ロイヤルティで,その顧客ロイヤルティを高めるためにどうするかというのが営利企業の最も関心があるところで,顧客満足度の先にもう一個あるわけです。顧客ロイヤルティが公共図書館の一つの目標になるかどうかという議論はよくわからないのですが,少なくとも幾つかの段階があって構造的になっている。潜在構造分析がいいとかという話は,やはりパラメータの推定とかで潜在構造分析は怪しい部分があるので,個人的にはあまり好きではなく,論文で使ったことはありません。先ほど上田先生からお話がありましたが,一つ複雑な――高度なと言っていいのでしょうか,そこまで顧客満足度というのを使っている。これがいいか悪いかは別として,利用者満足度というのをさらに有効活用するための一つのヒントになるのではないかと思いまして,今日は再考ということで挙げさせていただきました。
 利用者満足度をエビデンスとしてどう活用するかというお話と,エビデンスとしての利用者満足度をいかに測定するかという話が,二つこんがらがって大変錯綜しまして申しわけなかったと思います。時間が1分ほど超過しましたが,これで私のお話を終わらせていただきます。

::: 質疑応答 :::

池内
 どうも有り難うございます。かなり示唆に富んだご発表をいただけたかと思います。

上田
 質問をしていただいたほうがいいかと今ちょっと思ったのですが。

池内
 岸田さんのご発表について質問したいと思っていらっしゃって,指定討論者の方のご発表を聞いている間に忘れてしまったということがあってもいけませんので,もしも今のご発表の中で何か確認しておきたい,あるいはお伺いしたいという点がございましたら,挙手をしていただいてご所属とお名前をおっしゃっていただければ,今ご質問をお受けいたしますがいかがでしょうか。

永田筑波大学
 筑波大学の永田です。住民調査のほうの顧客満足度というのは,図書館を利用していない人と利用している人がいますよね。図書館を利用していない人は削除しているのですか。

岸田
 いいえ,今回はまぜて数値を出しております。

永田
 満足度というのは,使っていない人は満足も何も言いようがないですよね。

岸田
 ごめんなさい,もう少し正確に言わなければいけません。50ページを見ていただけるでしょうか。問3がございまして,ここで分岐をするのですが,「1 利用する」か「2 以前利用したことはあるがいまは利用しない」か「3 一度も利用したことがない」と,ここで三つ振り分けをしていまして,2は入れてしまっています。「3 一度も利用したことがない」というのは問7に誘導して,もともと聞いていないということです。失礼いたしました。

<<< back