<<< back

エビデンスベーストアプローチによる図書館情報学研究の確立
第2回ワークショップ
電子メール調査によるエビデンス導出の現状と可能性について

議事録

開会の辞 | 発表T(三根:前半) | 発表T(三根:後半) | 発表U(東海林) | 発表V(廣田) | 質疑応答

::: 発表T(三根慎二氏:後半) :::

三根
 次は,図書館情報学分野でどのような電子メール調査が行われてきたのかを簡単に紹介したいと思います。
 図書館情報学も例外なく,やはり電子メールを利用した社会調査というのが結構行われていて,1990年代の前半から行われてきています。網羅的に調べたわけではありませんけれども,幾つかレビュー論文を見ると90年代前半から行われていますが,回答率はゼロ%というのもありますし,高いものは89%というものがあります。回答率が出せないようなメーリングリストで流した初期の素朴な電子メール調査をやっているものもありますので,内容はかなり雑多です。
 どんな調査をやっているかということですけれども,やはり図書館情報学分野ということで利用者調査はかなり行われています。研究者や図書館員に電子情報源を使っているかどうかを聞いているようなものが結構多いです。ほかにも大学図書館の貸し出し方針を図書館司書に聞いているというのもありました。
 一つ代表的なもので,先ほど89%と高いというのがありましたけれども,これはZhangさんのもので,図書館情報学分野の学術雑誌やサイトに掲載された論文著者203名に電子メール調査をやったものです。これは,かなり練られた方法で,督促も3回ぐらいやりましたし,回答のシステムもかなり凝ったものをやっているそうです。あと,これは実際にはeメール調査ですけれども,混合型調査をやっていて,郵送で回答したければそのように手続をしたということで,結果的に約9割というような高い回答率を得ています。回答経路がウェブか郵送かでやはり先行研究で言われているように,インターネットの利用能力の認識であるとか,ウェブの利用頻度,年齢,インターネット利用年数に有意差が見られたということで,やはりウェブで回答するような人たちはちょっと偏りがあるような人たちなのではないかと言われています。
 次に話は変わりまして,実際に僕がやった調査についての紹介をしたいと思います。ここにありますように物理学研究者の人たちに電子メール調査をしました。時期は2003年の10月から11月に,全世界の研究機関の物理学部所属研究者の人たちを対象に行いました。教員だけで,学生は抜きました。電子メール調査とウェブで調査票を公開し,具体的に何を聞いたかというと,研究者の電子メディア利用の実態と学術情報流通についての意見を聞くことを行いました。
 回答率はご多分に漏れず12%というなかなか低いものでありました。
 調査方法について詳しく説明しますけれども,サンプルを構築する手順としては,対象母集団は先ほど言いましたように全世界の物理学研究者としました。この人たちをどうやって標本抽出枠,枠母集団をつくるかということですけれども,当然ながら全世界の物理学研究者のリストなどというものはありませんので,自分でつくるしかないということで,物理学関連の研究機関のウェブサイトを一つ一つ全部訪れ,そこに掲載されている教員のeメールアドレスをコピー・アンド・ペーストして作成しました。
 物理学研究機関の網羅的なリストで全世界のリンク集を提供しているPhysNetというところがあるので,ここを利用して一つ一つ訪れていってeメールアドレスを獲得しました。多分2週間か3週間ぐらいかかって2万619名のeメールアドレスを収集しました。この人たちから100名プレテストをし,それを除いた人たちから無作為抽出で3000名を計画標本として調査を行いました。
 調査票についてですけれども,eメールの本文とウェブのページに掲載をしました。一つの手段としては,eメールには依頼文だけを置いて,ウェブ上にある質問票のリンクを張る方法もありますけれども,eメール本文に調査票があったほうが,どんな内容なのか受け取った人たちがすぐにわかるということで,一応本文も一緒にeメールで送りました。実際にeメールとウェブページに公開されている調査票の内容はほとんど同じですけれども,ウェブには事前の説明はなくなっています。
 合計で21問の質問をしています。大体5個に分かれていて,フェイスシートと論文の執筆と論文の公開と電子メディアの利用と学術情報流通についての意識と態度について聞いています。
 回答率は,先ほど12%と言いましたけれども,その計算はどうやってやったか。このように3000名ですけれども,よく見てみたら秘書の方が入っていたので,最終的に送信したのは2978通,そのうちちゃんと届いたと思われるものが2666通でした。1割以上がエラーメッセージで返ってきました。
 返ってきた有効回答数は,ウェブとeメールでほとんど割合は変わらなくて,ウェブのほうが若干多かったというものでした。個人的にはウェブのほうが多いのかなと思ったのですが,意外にもeメールでも回答する人が多かった。
 eメール調査だと無回答率の項目が少ないということだったわけですけれども,全部の人が回答したというのはやはりなかったのですが,これは紙との比較実験をやっているわけではないので,どれぐらいいいものかわかりませんけれども,0.3%から11.6%ぐらいが各質問項目で無回答でありました。ほとんど0.何%ぐらいだと思います。
 ウェブで回答すると,重複回答があるかもしれないということですけれども,ウェブで回答したときにIPアドレスをとっていましたが,それを見る限りだと重複解答はありませんでした。
 これは回答がどれぐらい速く返ってきたかを示している図です。上から回答数の全体で,赤い丸がウェブで回答してくれたもので,一番下の黄色い丸がeメールで回答してくれたものです。これを見ていただければおわかりだと思いますが,調査票を送ってから約4日か5日で回答の約半数ぐらいを入手できたということで,これ自体はなかなかうれしいことでした。やはり急激に回答が返ってくるわけですけれども,その波はすぐにおさまって,もう督促をしないと出てこないということです。締め切りを1週間にしましたが,やはりその前後あたりではほとんど回答が返ってくることはなくて,督促をしたらやっと何とかまた急激に上がるわけですけれども,ほとんど2〜3日で督促の効果もなくなってしまうということでした。
 結果的に,36日以降はもうeメールもウェブも回答することはなかったということで,36日かかっていますけれども,実際には24日とかですから,3週間ぐらいのかなり短期間でほとんどデータが収集できました。
 インターネット調査の欠点として,回答者の属性にかなり偏りがあるのではないかということが言われていました。ここに示しているのは回答者の年齢と職位ですが,全世界の物理学研究者の年齢と職位の分布を示したようなデータはないので何とも言えませんけれども,インターネット調査,電子メール調査だからといって若手が多いということは,この数字からは言えないのではないか。50代,60代の人も結構答えてくれていますし,助教授や講師の人が多いといったこともなかったということで,そんなに偏った人たちが回答してくれたわけではなかったと思います。
 2つ目は,回答してくれた人の地域分布ですけれども,これもやはり標本と回答者の人たちでそれほど差異はありませんでした。国名はeメールアドレスの場合はトップレベルドメインで判別し,ウェブの場合はIPアドレスで判断しましたけれども,やはりほとんど差はないということです。
 3つ目は,電子メディアをよく使っているのではないのかという疑念がわきますけれども,一番上が僕の調査結果で,もしかしたら僕の89.5%という電子ジャーナルの利用率はかなり高いのではないかと。同時期に行われた調査を見ると,もちろん母集団も違いますし,調査方法も違うのであくまで参考ですけれども,この数字を見る限りではそんなにずば抜けて高くなっているわけではない,ほとんど変わらないということが言えるのではないかと思います。
 ただ,arXivプレプリントサーバーの利用率を見ると,かなり違っていて,ほかの先行研究だと物理学の3割ぐらいがarXivプレプリントサーバーを使っていると言われていましたけれども,僕の調査だと71.5%の人たちがarXivを利用していると言っていましたので,もしかしたらここら辺で変な人が入っているのかもしれません。一番下の高島さんの場合は81.3と高いのですが,これはもともと使う人たちに聞いているので,あくまで参考値です。これを見るとちょっと違う人たちが入っているのかもしれません。
 もう一つは,インターネット調査の場合,初期回答者と後期回答者で,無回答誤差があるかもしれないということで,調査に回答してくれなかった人たちの特性が回答してくれた人とちょっと違うのではないかということが言われています。これは,実際に無回答誤差を示しているわけでもありませんが,一応最初のほうに督促なしで回答してくれた人と,督促してからやっと回答してくれた人たちで,回答の傾向が違うのではないかということで調べ直してみました。やはり最初に回答してくれたほうが,全体平均と後期回答者よりも電子メディアを頻繁に利用している傾向が見受けられましたし,後期回答者は全体平均よりちょっと低い傾向がありました。ただ,この差というのは別に有意差があるわけではない。ちょっと差があるかなという感じではありました。
 最後に,eメール調査は自由回答をよくしてくれるということで,学術情報流通について自由回答をお願いしましたが,そんなにあるわけではありませんでした。有効回答数のうち約8.8%,9分ぐらいの人だけが回答してくれたということでした。
 今回はウェブとeメールで回答をできるようにしたわけですけれども,eメールのほうはやはり自分の所属とか特性とか名前がわかってしまうので,ウェブと比較するとそれほど文字数も件数も多くないですし,率直さもありませんでした。
 どれぐらい率直な意見があったのかということですが,これを読んでかなり落ち込みましたけれども,調査に私の時間とかお金を費やしたくない,この調査はナンセンスだとか,今度送ったらスパム扱いにする,私のアドレスを忘れてください,僕のホームページに「Spammer and MINE Shinji」で検索してきたということで,関係がない意見ですけれども,かなり率直な意見はいただきました。
 まとめますが,この調査結果から見ると,回答回収時間は確かに速いですし,経済的だったと。最短は調査票を送信してから12分で返ってきて,うれしかったんですけれども,その興奮もすぐに冷めて4日で50%で,あとはほとんど督促をしないと回答率は上がらないということになっていました。費用は僕が全部自分でやりましたので,実質ゼロで安かったということです。
 ただ,(回答率)が12%ということで,やはり回答率が低いというのは何とも否定のしようがないということです。しかも,未達が標本の1割以上もあったということで,かなり問題があるのではないかということです。あとは,督促も効果はありますけれども,5%ぐらいしかなく,先行研究では20%ぐらいあったこともありましたが,やはり電子メールで督促することが,もう昔ほど効果はなくなっているのではないでしょうか。
 ただ,電子メール調査だからといって年齢に若年層が多いとか,利用頻度が高いといった偏りは,全般的には見られなかった。arXivはちょっと高かったですけれども,確率的なアプローチをとったためか,若い人たちが回答するという傾向は見受けられませんでした。
 もう一つ,無回答誤差はわからないということで,回答しない人がどういうような傾向を持っているのかわかりませんが,やはりテーマに関心のある人が回答している可能性も否定できないと思います。
 この調査を受けて,電子メールから得られるエビデンスというのはどのようなものがあるだろうかということですけれども,結論として一つ,電子メール調査というのはかなり制限的な調査手法であると言わざるを得ないのではないかと思います。世論調査とか一般母集団の調査には向いていないということです。というのは,電子メール版の住民基本台帳だとか選挙人名簿がないわけですから無理だということです。インターネット利用率も7割,8割ぐらいですから,必ずしも世論調査には向いていないようです。
 もう一つやはり調査環境が悪化しているということで,ジャンクメール,スパムメールに皆さん悩まされていると思いますけれども,やはり電子メールで見知らぬ他者に接触することにもはや大きく期待できる時代ではなくなってきているのではないかと思います。ですので,電子メール調査をもうやめろというわけではありませんけれども,やはり電子メールを調査で使うことの意味を考えなければいけないということで,まず費用とか迅速性があるから電子メール調査を選ぶことは乱暴であると思いますし,メーリングリストなどで参加を呼びかけたり,自己参加を求めるというのは,もう信頼性がないということではないかと思います。
 これはインターネット利用の普及率ですけれども,日本だと代表的なものはこの二つだと思いますが,「情報通信白書」と「インターネット白書」で利用率,普及率もかなり違います。普及していることは事実ですけれども,それでもかなり普及率の差が大きいということで,国民全体を反映しているわけではありませんし,インターネット利用者という母集団を把握する確かな方法もないのが現状です。
 インターネット調査の問題点ですけれども,調査誤差はいろいろ考えられるのではないか。カヴァレッジ誤差ということで,目標母集団を設定して標本抽出枠をつくるわけですが,電子メールリストの鮮度というのがかなり問題になってくるのではないかと思います。8%から28%の未達が先行研究で言われています。標本誤差は郵送調査にもありますので,これも言うまでもなく考えられると思いますし,無回答誤差ということで一般的に回答率がかなり低いので,回答してくれている人たちがどれぐらい目標母集団を代表しているのかというのはなかなかわからない。
 あと,測定誤差というのは電子的な調査票のデザインということで,htmlとかeメールとかでいろんな調査票をつくることの柔軟性はありますけれども,そのデザインの仕方で調査結果が異なってきます。ここら辺はまだあまり調査が進んでいないということで,今後研究が必要だと思います。
 集計誤差に関しては,データの検証方法で,ウェブで回答してもらったときに,重複回答であるとか,論理的に誤った回答をどうやって検証するのかという方法自体もそんなに確立されているわけではないので,回答はすぐ,ある程度の数は得られるかもしれませんけれども,こういった調査誤差も考慮しないといけない。
 こういうことを考えると,電子調査はどのようなときにできるかということで,幾つかの条件があるのではないかと思います。一つは対象母集団が確実にインターネット利用者であって,なおかつ日常的に利用している人たちを対象にすればいいのではないかということです。
 二つ目は,電子メールだけで調査をするのはやめて,ほかの紙や電話調査の一部としてeメールを使うというような使い方が考えられるのではないか。
 三つ目は,自己調査とかインタビュー調査などで質的なデータを入手するときに電子メールを使ったらいいのではないかということが言えます。これは郵送調査で送って,ウェブでも回答できますよということを言いつつ,一番最後のインタビューに応じてくれる人たちは後でチェックをしてくださいといって,そのチェックしてくれた人にeメールで接触するということは考えられます。
 四つ目は調査票に関してですけれども,画像や動画が入っているようなマルチメディア要素を含むような調査票をつくりたい場合には,eメールができるのではないかという気がしていますが,htmlを使うとスパムと間違えて捨てられる可能性があるので,あまり言えないのかもしれません。
 五つ目は,調査票は繊細な質問を含むとか自由回答が多いということで,先行研究でも言われていたように,インタビュアーがいないので,もしかしたら自由回答というか繊細な質問によく答えてくれるかもしれないわけです。
 あともう一つは,消極的な理由になりますけれども,電子メールでしか接触できない集団,ゲイの人だとかそういった人たちに電子メールで接触するしかないという場合には,そういった方法がある。
 魚群探知型調査で十分な場合というのは,自分の知りたいような人たちに接触してデータが得られればいい,一般性は特に考えないというときには電子メール調査を使ってもいいと思います。
 最後に,否定しておきながら何ですけれども,本当にお金もないし時間もないという場合には,調査の正当性は抜きにして電子メール調査を行うということが考えられるかもしれません。
 電子メール調査に必要なものとしては,やはり先回の歳森先生と全く同じですけれども,よい調査票の作成が前提で,回答してくれた人たちに関心がないものは多分回答率が低いということで,ちゃんとよく練られた調査票をつくるということです。回答率を上げるためには,幾つかの実験が行われていますので,事前検証をよくやる。プレテストをしたり,サーバーのトラブルとか技術的な確認をよく行うということと,あとは電子メールあるいは郵送での簡潔な依頼状をあらかじめ送るということです。ただ,いきなりばらまくのではなくて,調査してくれますか,してくれませんかと許可を得てからやる必要があるのではないかということです。
 もう一つは,やはり複数回接触したり督促をすることが必要なのではないでしょうか。
 回答の代表性を高めるためには,インターネットから標本を抽出するのではなくて,通常の標本抽出枠を用いて,その中から無作為抽出を行うことがやはりいいのではないかと思います。
 もう一つは,目標母集団というのは電子メールを使っていて,電子メールリストのアドレスがあるというので,大学教員とか政府の職員,企業の職員,専門職員といった人たちにやるのがいいと思います。あとは,やはりインターネット利用者の人たちはまだ偏りがあるので,幅広い年代だとか職業の人たちを対象としないで,特定の人たちを対象にするのがいいのではないか。
 最後に,これは電子メール調査と関係ありませんけれども,プロジェクトの今後ということで,エビデンスデータベースをこのプロジェクトでつくるということですから,一つはデータベースをつくるときに論文のメタデータとして調査方法とか調査対象,その論文が研究志向,実務志向なのかということで検索もできるようにしたらどうかということです。今回レビューをするためにいろいろ論文を調べたわけですけれども,こういったメタデータがついているとレビューをするときにかなり便利かなという気がします。
 あとは調査票の共有ということで,どのような調査票に基づいてその調査が行われたのかというのがなかなかわからないところもありますので,今までの紙の場合だと予算とかいろんなページ数の制限があったのかもしれませんけれども,電子ジャーナルだけでも調査票を共有するような仕組みがあったらどうかという気がします。
 もう一つは,インターネット調査の記述の指針を何らかに策定してはどうかということです。調査によって母集団とか標本,抽出手順,回答率の計算方法がまちまちですので,論文に記述すべき項目の標準化をしてみてはどうか。こういったことを地道に整備していくことで,結果的にはEBLで高いレベルのエビデンスであるという論文のメタ分析ができるようになるのではないかという気がしています。
 以上です。どうもありがとうございました。

池内
 どうもありがとうございました。
 インターネット調査や電子メール調査の網羅的なレビューから,ご自身の調査の内容まで踏み込んでご発表いただきました。
 後で質疑応答やディスカッションの時間を設けさせていただきたいと思いますが,今この段階で三根さんのご発表についてご質問等がございましたらお受けいたしますけれども,どなたかございますでしょうか。
 何か聞いておきたい,確認しておきたいことがございましたら伺います。
 ――よろしいですか。特にございませんでしょうか。
 それでは引き続きまして指定討論者の東海林さんのご発表に移らせていただきたいと思います。器材の変換がございますので少々お待ちください。
 ――それでは準備が整いましたので,東海林さんからご発表をお願いいたします。
 よろしくお願いいたします。

<<< back