<<< back

エビデンスベーストアプローチによる図書館情報学研究の確立
第2回ワークショップ
電子メール調査によるエビデンス導出の現状と可能性について

議事録

開会の辞 | 発表T(三根:前半) | 発表T(三根:後半) | 発表U(東海林) | 発表V(廣田) | 質疑応答

::: 発表V(廣田慈子氏) :::

廣田指定討論者
 ただいま紹介にあずかりました米沢女子短期大学の廣田です。今までのお二方のご発表の内容ともかなり重複する部分がありますが,かなり初期の段階において私はeメール調査を行いまして,その際に失敗したために今度郵送法に切りかえてやりました。その際の回答状況にどれだけ差が出たかという実例を一つ紹介することによって,電子メール調査におけるデータの有効性などに対する一つのデータ提供を行いたいと思っています。(以下,パワーポイント使用
 今回報告します調査内容ですが,97年から98年にかけましてアメリカの公共図書館においてインターネット端末を利用者に開放している際の問題点とか,実際の利用指導をどう行っているかということなどについて調査を行ってきました。
 調査自体は97年から98年,足かけ3年間かけてということで,当時ちょうど96年ぐらいが一つのブレークスルーになっているわけですけれども,アメリカの公共図書館においてもインターネットを利用者に使わせるということが始まったばかりで,まだ日本ではほとんど実施例がない,この時点で数件程度の頃になります。先進的な事例ということで米国の公共図書館を対象としました。その際に,直接訪問するということはなかなかできないので,さまざまな形の調査方法をとって,いろいろな実例を収集しました。
 97年から98年にかけて実質的に3回の調査を行い,それぞれ調査項目を多少変えてはきていますが,原則としては,インターネットの利用端末を利用者にどのように開放しているかということに対する図書館側の実際の情報を収集する目的の調査となります。図書館員の意識ではなく,図書館の実態を図書館員から直接聞くという形の情報収集の手法の中の一環として電子メールによる調査を行っています。
 実際の流れですが,まず最初に行いました方法がその図書館のウェブサイトからの情報収集です。実際には,『Statistical Report』――日本ですとJLAが出している『日本の図書館』と同じようなものですが,ALAが出している全米の図書館のデータ集の中から,実際に利用者に対してインターネット端末を開放しているという図書館を収集しまして,それらの図書館のウェブサイトから実際の情報を集めたりするという形で97年10月に行いました。
 予備調査と本調査の2回に分けて行ったのですが,その際にウェブ上の情報からでは得られるものが少ないということが実際の情報収集の中でもありましたし,発表等を行う中で,多数の研究者の方からも指摘をされましたので,やはり生の情報を仕入れなければいけない。そうなったときに,どうしても海外ということもありましたので,直接訪問して確認することはできない。そうなると,質問紙法によって図書館に問い合わせるということになったわけですが,その際に最初の方法として用いたのが電子メールによる質問紙調査でした。97年の10月に行いました。
 ただし後からも申し上げますが,この際に非常に回収率が少なくて,現実的に質問紙調査としての有効なデータを収集することができなかったために,翌年には今度,郵送によって質問書を送付するという形に切りかえて調査を行っています。
 実際に電子メールと郵送法の比較を,この後中心にお話しいたしますけれども,実施時期が1年ずれている,及び調査対象館に多少の差が出ていますので,厳密に比較対照という形にはなりませんが,この初期段階においてもこのような調査結果の差があったということの一つの報告とさせていただきます。
 調査手法の変遷ですけれども,先ほども言いましたようにウェブサイトから集めてきています。ただ,当時はまだ図書館自体にホームページがそれほどつくられていませんでした。紙媒体で収集した統計データでは対象館は53館あったのですが,その時点で利用者にインターネット端末とかを開放していても,図書館のホームページがない図書館もありまして,調査対象が48館しかありませんでした。実際,掲載されている情報も非常に少なく,あまり広い範囲でのデータ収集ができなくて,より詳細なデータが欲しいということで電子メールの調査を行いました。
 この電子メール調査を行ったのは,とりあえずインターネット端末を開放しているということもあり,この時点では図書館員側にもそれなりのスキルがあり,こういった電子メール回答に対しても収集が可能であり,また個人的に当時まだ院生で,あまり経費もかからず速くできるだろうという推測に基づくものです。97年の10月16日付で送信をしまして,11月上旬までの約2週間,実質的には11月20日前後までの回答で分析を行うという予定で調査を実施しました。
 ただし,全部で53館が調査対象館だったのですが,まず電子メールアドレスが収集できたのが43館で,この時点で10館程度調査対象から外れてしまいました。また「User unknown」ではないのですが,ASCIIシンプルテキストで送っているのに文字化けして返ってくるとか,いまだによくわからない,なぞの事態などで3館とはどうしても連絡がとれなかった。ため,結果的には40館を対象にした調査になるのですが,回答があったのがわずか6館,回収率でいうとわずか15%という結果になりました。n値が40と非常に少なく,その中での回収率15%ということを考えると,これを統計的なデータとして扱うことはとてもできませんでしたので,実際はホームページから得られた情報の補足データとして学術調査の結果には用いたという形になっています。
 やはりこれではデータとしては少し不足であり,また調査項目の絞り込みや,他の研究者の方々からの郵送法への切り替えのアドバイスなども頂きましたので,1年後,郵送による質問紙調査に変えました。
 この調査は翌年98年の8月に郵送で送りまして,10月1日までの返送分で分析しています。この際,対象館がふえています。一つにはアメリカでの公共図書館でのインターネットの端末開放が進んだので,1年の間に一気に対象館がふえたことと,調査対象の条件を多少広げたこともあって,169館に質問紙を送りまして,回答が返ってきたのが80館,回収率が47.3%という形で,電子メールと比べると飛躍的に回収率が上がっております。  特筆するのが,電子メール調査の対象館40館も調査対象に含まれているわけですが,この際,未回答であった図書館からの回答がかなりあったという点です。あと前回調査回答を行った図書館が,回答方法を変えてきたとか,回答内容を変えてきたといったような,少し回答自身への変化もあったということがありましたので,ここら辺を中心に少し報告をさせていただきます。
 実際の郵送との違いをもう一度簡単にまとめますと,n値がまず絶対的に違うのですが,何といっても回収率が大幅に違い,15%から47.3%という形で大幅に回収率は上がっています。先ほどの三根先生の発表の内容などを見ましても,電子メールの回収率が悪いということですが,その中でも悪い数値ですので自分の調査がある意味真っ当だったのかなという変な安心感も持ちました。
 では,実際の質問の内容がどういうふうに違ったかということですけれども,質問項目は多少変わっていますが,回答方法というのは大きく変わらずに,項目もともに7項目です。原則としてイエス/ノーで答えるタイプのものです。特に電子メール調査の場合には,すべてイエスかノーで答えて,イエスの場合のみ自由記述で何か書いてもらうという形で,かなり回答しやすい質問項目をこちらでは設定したつもりです。
 郵送調査のほうも同じくイエス/ノーですけれども,幾つかの項目に関しては表形式のチェックボックス,該当するものにチェックをつけてくださいという形のイエス/ノー形式で,一部に対しては自由記述の項目等を設けてあるという形になっています。
 電子メール調査の方が簡易になっておりますが,それでも回収状況は悪いという結果です。
 実際の回答状況の違いを電子メール調査館と比較してみますと,前回メール調査が出来なかった3館は郵送調査の対象に含まれています。また,実際行っていたサービスをやめたとか,そういった理由で電子メール調査では調査対象館ではあったけれども,郵送調査からは外した館というのが3館ありました。結果,前回の43館のうち,郵送調査にも回答してこなかったのは23館,郵送調査には回答してきた館が17館という形になっています。
 郵送調査のほうでも質問紙を紙媒体で送りまして,それを送り返してもらう形でしたが,返送に関しては必要ならば電子メールで返信を行ってもらっても構いませんという形にしたところ,回答した80館のうちの9館が電子メールで回答を返しており,さらにそのうち2館は電子メールの調査の際には電子メールで答えを返してこなかった館が,今度は紙で送ったら電子メールで返してきた。そういった事例などもありました。
 この回収状況の差について,調査手法によってどうしてこんなに結果の違いが出るのかということを私なりに少し考えてみました。まず電子メール調査の回収率の低さというのは,今日(こんにち)でもさんざん言われていますけれども,私が調査を始めた当時はまだ黎明期で,低いなりにもそこそこ高い数字を出す先行調査などもあって,まさかここまで低いとは思わなかったというのがあります。
 郵送調査をその後やってみたことによって,すごく差が出たなと思うのが,もちろん回収率の向上というのがあるのですが,電子メールの際にはある意味,回答をすることなかった館が,郵送だと回答してくる例というのがある。つまり,電子メール調査に対して,図書館側の何らかの不審なり不慣れ等があって,回答できない,もしくはしたくないという形の印象を与えてしまったケースがあるのではないか。実際,電子メール調査での未回答館34館のうちの41.2%は,郵送ならば返してきたという形になっています。
 では,メールの実際の回答内容の差異はということになると,イエス/ノー回答自体,返ってきた回答を見ますと,前回イエスと答えたけれども,今度はノーと返してきたという事例はあまりないのですが,自由記述においては相当内容の精粗の差が出ています。先行のお二方の先生方の発表にもありましたけれども,自由記述に関しては電子メールのほうが非常に詳しい。特に今回電子メール調査で返ってきたのが,私の場合6件という少ないものでしたけれども,基本的に自由記述に6件すべての方が何らかのコメントを返してきて,かなり細かな情報の提供を行ってくれました。
 一方で,郵送調査では3分の1ぐらいのところは,自由記述がない形になっていますし,自由記述回答が全くないものも半数近くに及んでいます。
 結果の違いのときにもう一つ明らかとなったのが,回答者の属性に関してです。今回,私の調査においては特に図書館の調査ということで,回答者を指定はしなかったのですが,電子メール調査の場合,だれが回答したかということが明らかであるというケースがほとんどで具体的に言いますと,電子メール調査で,電子メールが返ってきた際に,必ず相手が名乗っている,もしくはシグネチャがついている等です。こちらも当然最初の段階で名乗っているわけですが,まだ黎明期ということもあって,この当時電子メール調査においては個人コミュニケーションの一環という意識があったのではないかという印象があります。
 一方で郵送調査の場合も同じく,回答者というのは,担当者の方がご担当くださいということで,個人までは指定しませんでしたが,個人名まで明らかにしてきたのは大体3分の1,ネームカードなどを同封してくるとか,そういったパターンで大体27館からだれが回答したかということに関して明らかになっていますが,そのほかのものに関しては匿名での回答が返ってきたという形になっています。
 以上の経験から,電子メール調査において注意しなければいけない点といいますか,私がなぜ失敗したかということを,今回また改めて振り返ってみました。まず回収率の低さの原因は何だったかという点ですが,まずアドレス,どこ宛に送ったかと言うことではないかと,考えています。
 三根先生の発表などでもありましたけれども,今回この時点でeメールアドレスのリストというのはありませんでしたので,具体的に送信先アドレスの収集に関しては,ホームページ等を回って担当部署もしくは代表アドレスを収集するという形で,それぞれの固有のアドレスに対して一斉送信ではなく,個別に送信するという方法をとったわけです。大半がwebmasterやせいぜいサービス部門の代表者,問い合わせ窓口に届く形になっている。そのために,インターネットの利用者端末の開放についての現状を知っている担当者等が直接対応しなかったケースがあるのではないかということが考えられています。
 なぜかといいますと,回答があった6館ですが,これらすべてが代表アドレス,webmasterだとか図書館のinfo@といったものではなくて,固有のアドレスを持っていて,サービス部門の担当はだれだれですといふうに名前が出ていて,そのアドレスが表示されているような図書館からは6館すべて返ってきた。けれども,代表アドレス等を使って送ったところからは,返ってきたケースが1件もなかったというのがありましたので,どこあてに送るのかというのが,電子メール調査においては回収率にかなり影響を与えるのではないかと考えています。  あと,回収率の低さですけれども,回答期限の認知。郵送調査も含めてですが,督促しないと回収率はどんどん下がるというのはあるわけですが,今回のeメール調査でも10月16日付で送りまして,翌週までに6館返ってきたうちの3館が返ってきた。その後はナシのつぶてでありまして,この3館も10月17日付で翌日に返してきたのが2館,その後24日付で返してきたのが1館という形で,1週間前後の間に3館返してきた。10月末に,質問紙をつけた形でもう一度再送信という形の督促を行いますと,また11月の3日から4日ぐらいにかけて3館が返してきた。その後はまったくもってナシのつぶてで,郵送調査などと同じく言えるわけですが,電子メールのほうが回答返信がさらに忘れられやすい傾向があるのかなという印象を受けています。
 あと,電子メール回答自身への不慣れというのがあったのではないか。97年の時点ということで図書館員自身もまだそれほどインターネットや電子メールでのコミュニケーションに慣れていないといったこともあったのかなと考えました。97年の調査では,回答を返してきたのが6館のみでしかないものの,今度郵送で行うとかなりの館が返してきた。さらに,郵送で紙を送っておきながら電子メールで返してくるのが9館あって,そのうちの2館は電子メールでの質問のときには返してこなかった館というケースもあり,電子メールだけの調査では,回答を返してこなかったうちの4割以上が質問紙,紙媒体での返答には返してくる。電子メールでの回答調査に対しての不慣れもしくは不審,そもそも電子メール調査自身を信用しないといったような形などもあったのかなと考えています。
 ただ,もちろんよかった点もありまして,先ほどの東海林さんの発表にもありましたけれども,コミュニケーションがかなり密接にとれたという点はあります。特に質疑応答等です。基本的に回答館6館とは回答を受け取った後,もう一度お礼を兼ねて詳細な情報収集を行うためのコミュニケーションをとりまして,平均すると3回前後のメールのやりとり,特にある1館の図書館とは,約1カ月にわたる情報のやりとりが可能となりました。その際にその方が知っている,今回,回答を返してこなかったほかの図書館の動向などを,ほかの図書館の方を経由した形で情報収集することができました。
 結果的に,この調査において電子メール調査の結果というのは,量的データとしてはほとんど使用できなかったのですけれども,分析におけるさまざまな観点を構築するに関しては非常に有用であったと思います。学術情報としてはどうかと思いますけれども,少なくとも研究に対してまったくむだではなかったという点は,ある意味,成功点になっています。
 実際に調査をやってみた上での比較をしてみて,いい点と悪い点は何か自分なりの経験から申しますと,いい点はひとえに経費の削減に尽きます。当時,院生ということもありましたけれども,何にせよお金がなかったものですから,郵送調査でその後,翌年やったときに郵送料が約7万円かかったというのはかなり痛い出費でした。基本的に向こうからの返信代もこちらが持つ形の調査でしたので,かなりの経費がかかっていますが,電子メール調査では,基本的に自分の手間賃以外は現実的なお金は出ていかなかったという点で,経費自身は削減ができたというのもありますし,回答館とのコミュニケーションが容易にできたという点に関しては,非常によい点であったと思います。
 ただし,もちろん短所というか悪い点もありまして,留意点という形で挙げましたが,現実的に短所だなと感じたのは,回収率がやはりどうしても低い,イエス/ノーで答えるだけの単純回答,ややこしくないものに関しても返信回答が少なくて,時間がたてばたつほどどんどん返信が少なくなるというのが,さらに短いスパンで起こるというのがあります。意外と困った点が,送信先のアドレスの選定と特定です。先ほどの結果の通り,代表アドレスあてではほとんど回答が返ってくることはありませんでしたし,そもそも代表アドレスを探す段階でも相当の苦労があり,データの収集に関してはかなりの手間がかかっているというのがあります。
 先ほど三根先生の発表でもありましたが,今日(こんにち)ですと,ホームページ上でもそういったものを自動収集できないように@マークの部分を記号にするとか,そういった工夫がとられていたり,なかなか簡単にはアドレスをホームページ上の表に出したり,リストをつくったりということがありませんので,いま同じような調査をしようと思うと,またさらに大変な手間がかかるというような印象を持っています。
 あと,どうしてもやはりメールアドレスの鮮度というもありますし,実際リジェクトで返ってくる,エラーがおこるなどの事態もありました。
 あと,ネットワーク環境等です。これは現実的な問題としてまだナローバンド時代でしたので,こういった電子メール調査をしたいといったときに,大学のネットワーク管理者との打ち合わせを必要としたという点もあります。
 以上のものを踏まえて,私が行ったのはかなり初期段階ですので,今日(こんにち)とはかなり環境も変わっていますが,97年から98年という段階で行ったにしても,電子メールでの量的な情報を集める質問紙調査の手法として,基本的に私の印象としては高い回収率は非常に望みにくいという印象があります。原因としては,電子メール回答返信の不慣れとか不審が当時はまだ非常に多かったというのがあります。今日(こんにち)では不慣れということはないにしろ,逆に今度は不審,スパムやジャンクメール等の判断というのが非常に多くなってくると思いますので,これをちゃんとクリアするためには郵送法以上の事前の手間をかけないことには,高い回収率は望みにくいという印象を持っています。
 一方でコミュニケーションが必要なもの,より詳しい内容を知りたいとか,双方とのやりとり,自由記述の部分が非常に欲しいといった調査内容では有効ではなかったかと考えます。今回,私はイエス/ノーだけの情報でしたけれども,現実的にもっと詳しい内容をインタビュー調査のかわりに使うとか,もしくは訪問調査でできないような場所等に対して,相手側からの一方的な情報にしろ,何らかの情報を得たいといった場合での調査方法として,ある程度有用ではなかったかと思っています。
 ただ,非電子媒体の情報を得たいと思う際に関しては,多少差異が出ている。これは私の調査自身の特有の問題かもしれませんが,もちろん訪問できなかったがために相手から意見を聞くという形でしたので,実際に使っている資料などをできれば送ってほしいということをどちらの調査にもつけて,電子メール調査のときには,二つの館がURLだとか,こんなものをうちでは公開しているよといったことを添付ファイルでデータを送ってくれたりもしましたけれども,残りの4館は回答のみでありました。
 一方で郵送調査の場合ですと,半数近くの図書館が質問紙を返送するに当たって,自分たちの図書館がつくっているさまざまなチラシだとかパンフレットを同封してくれて,研究の参照資料の情報提供をしてくれたというのもあって,思いもかけない結果を得やすいという意味では,郵送調査での結果のほうが私としては有効だったという事例もあります。
 調査手法として考えた場合には,やはり電子メールの回答に対する慣れとか不審に対してどのようにしてクリアしていくか。調査対象者が電子メールのコミュニケーションに対して慣れていて,なおかつそれに対して肯定的かという話。先ほどの三根先生の発表でも非常に厳しい指摘があったようですけれども,私も同様の回答をもらったこともありますが,やはり相手が電子メールのこういった調査に対して肯定的か否定的かというのをある程度見きわめて行わないと,そもそも回収率も高くないし,回答内容に対してもあまりよい回答が望めないと思います。
 あと,送受信環境への配慮も重要です。メーラー等の環境がどうなっているか。特に電子メール調査の一つの長所として私が行ったように,他国に対して送れる。つまり,他言語の国に対しても調査を容易に行えるというのがあるのですが,それに関して文字コードの問題だとかメーラー等の環境の整備とか調整といったことを考えなければいけないという問題もある。
 では,電子メール調査である必要性がどこにあるかというと,私の経験から見ると,一にも二にも経費だったと。とりあえずお金が安いというのがあります。しかし,これは現実的なお金が安いという点だけであって,郵送法のほうですと私はあらかじめ住所録等があるタイプの調査でしたので非常に簡単にできたわけですが,実際の電子メールアドレスの収集に関しては非常に手間と時間がかかるということもあって,一概的に費用対効果という点で見るとどうかなという部分もある。
 あと,電子メール調査を行わなければいけなくなったときに,調査内容の項目の設定にかなり制限があるのではないかと思っています。特に表形式のチェックリストなどは,今回郵送法では使ったわけですが,電子メール調査などでそのままテキストメールとして電子メール本文のほうに調査票をつけるタイプですと,相手の環境によってどういうふうに表示されるかわからなくなりますから,なかなかそういった項目が設定しづらいという形も生じてきます。
 調査結果の違いを単純に比較しますと,電子メール調査には回答しないというケースが非常に多いですし,あと回答者をちゃんと指定するというのは難しいために,どうしても回答者の属性に偏りが出やすいというのが現実的にある。今回のように図書館の調査というふうに個人を特定したものでないものに関しても,やはり回答してくる人に対しての差というのはかなり出てくるという形になります。
 実際の回答内容に関してイエス/ノーの単純回答などでも,回収率が高いとは言えませんでしたし,表示方法に関しても制限がある。ただし,自由回答をメーンとするような調査を行うに当たっては,電子メール調査のほうが非常に詳細なデータが返ってくるというケースが自分の調査でも見られましたし,お二方の発表内容を見ましても,やはり同様の傾向が見られるということなので,ある程度電子メール調査を使用したほうがいいというケース及び回答形式としてどのような方法を用いるかによって,使い分けというのも必要ではないかと考えています。
 こういった電子メール調査とかで行った調査結果をエビデンスとしてきちんと考えていくに当たっては,さまざまな調査が行われているわけですけれども,実際に手法を変えたことによってどのような結果が出て,どんなメリットがあるのかということを分野の特性としてもある程度調べる必要があるのではないか。物理学ですとか生物学などいろいろな分野で行われているようですけれども,図書館情報学ですとか,自分たちの分野においてはどういった傾向が出るのだろうかということなどについて,ある程度比較するような調査も必要ではないかと自分なりに考えています。
 あと,回答者がどのような意識で回答しているかという観点もやはり必要ではないか。電子メール調査に向いている調査内容というのが本当にどういったものなのかという話が欲しいのではないかと思っています。これは自分の体験から言えることですけれども,インターネットをかなり早い段階から一般の人たちにもここは開放している,そういった図書館に勤めている図書館員,しかもそういった部署を担当している人たちということで,ある程度私も夢を持って,かなり先見的なスキルを持って意識も高い人たちが回答してくるかと思いきや,一方で,電子メールという調査手法が嫌だったから前のときは回答しなかったというコメントが返ってきたりもしました。また,そもそも前回あなたが調査を送ってきたことを私は知らない,本来の送ったアドレス先と実際の担当が違ったので,そういった依頼メールが回ってこなかったというケースがありました。部署はあるけれども,送った相手から適切に回答者に回ってくるかということに関しては,物が直接回る紙媒体よりは,電子メールでの転送が当時はまだあまり行われていなかったので,どのような形が向いているのかというのは今後も含めて考えていかなければいけないことなのではないか。自分の経験からが中心になりますけれども,そういった形の事例を一つ紹介させていただきました。
 時間が押していますので,以上とさせていただきます。

<<< back