<<< back

エビデンスベーストアプローチによる図書館情報学研究の確立
第2回ワークショップ
電子メール調査によるエビデンス導出の現状と可能性について

議事録

開会の辞 | 発表T(三根:前半) | 発表T(三根:後半) | 発表U(東海林) | 発表V(廣田) | 質疑応答

::: 発表T(三根慎二氏:前半) :::

三根発表者
 ご紹介いただきました慶應義塾大学大学院の三根と申します。今日はこのような場で発表させていただいて,大変光栄に思っております。今日は,僕は電子メール調査をやったということで発表者になっているわけですが,テーマは「電子メール調査の悩ましい将来」ということで発表させていただきたいと思います。(以下,パワーポイント使用
 まず今日何をやるかということですが,このeメール調査はインターネット調査の下部に入るということなので,50分の最初の半分ぐらいでインターネット調査と特に電子メール調査の概要について紹介したいと思います。次に,図書館情報学分野のワークショップですので,簡単に図書館情報学分野での電子メールを使った先行調査を発表します。3番目が,僕が実際にやりました物理学研究者を対象とした電子メール調査の発表をします。四つ目が,電子メール調査から得られるエビデンスとはということで,1,2,3から得られたことから,どのようなエビデンスが電子メール調査から得られるのかを考えてみたいと思います。最後の5番目はあまり関係ありませんが,プロジェクト全体で今回調べたことから僕として何か提案できることがあるのではないかということで,お話ししたいと思います。
 まず最初に,簡単にインターネット調査というのは何なのかということですけれども,大隈先生が日本ではインターネット調査でかなり有名な方でして,インターネット調査の特徴として五つまとめています。まずは当然ながらコンピューター,オンラインでやっている調査ですので,電子的に調査データの収集を行う調査方式の一つであると。コンピューターとかインターネットを使うわけですから,調査対象者というのは主にインターネットユーザーになっている。同じことですけれども,紙ではなくて電子的な調査票によって回答者の方に自分で入力してもらう調査方式である。あまり見たことはありませんけれども,マルチメディア機能を使ったような調査票の設計が可能でもあるということです。
 もう一つ,Groveさん(の研究)だと思いますけれども,インターネット調査というのは郵送調査とか自記式調査の延長線上にあって,郵送調査法があって電子的なDBM(Disk By Mail)というフロッピーディスクを郵送で送って返してもらうというのがあって,それが発展して電子メール調査になり,今ウェブ調査になっているということで,電子メール調査はそんなに新しいというわけではありません。
 次に,インターネット調査というのは結構やられているわけですけれども,いいところもあれば悪いところもありまして,このような長所と欠点があると大隈先生がおっしゃっています。最初に,長所としてあるのは簡単であるということです。ウェブ上に調査票を出せば,それであとは回答してもらえるということで,郵送したりとかそういうことはもうなくて,簡単にできる。
 もう一つは速報性とか迅速性ということで,郵送する手間もないので,調査票をウェブ上に公開してから,あるいはeメールで送ってすぐに返事が返ってくるということです。
 調査経費の低減化と廉価性ということで,同じことですけれども,郵送費とか紙の費用は要らないし,インタビュー調査に比べても交通費も要らないので安いということです。
 登録者集団のつくり方で回答率が上がるということで,特定のインターネットをよく使うような人たちを登録集団としてつくり上げれば,それで回答率が上がるだろうということです。
 インターネットということで,画像とか動画とかを組み込んだ調査票の設計ができると言っています。
 もう一つは,ウェブ上でやっているのでログがとれるので,回答行動,調査票に回答するときにどのようなパターンがあるのか,どれぐらい時間がかかっているのかをトラッキングができるということが言われています。
 こういった長所が言われておりますけれども,実際に調査の現場でやると,インターネット調査の欠点もかなり目立っていて,目標母集団があいまいであるということです。つまり,目標母集団でインターネットを使っている人がどれぐらいいるかというのは知りようがないということで,ちょっとあいまいである。
 登録者集団が不透明ということですけれども,インターネット調査は公募制でパネルを構成するわけですが,そういった人たちがどのような人たちかというのがよくわかりません。
 三つ目の回答の代表性が不透明というのは,インターネット調査はインターネット利用者を対象としているわけですので,インターネットがいくら普及しているといっても6割か7割ぐらいですから,普及率といった面で代表性がないというのもありますし,インターネット調査で回答する人というのは特定の人で,一般にプロ回答集団という人たちがいるそうで,そういう人たちが回答している可能性があるので代表性がないと。
 四つ目は,簡単にすぐできるわけですけれども,それほど回答率が高くないということで,また代表性の問題があります。
 五つ目は,これは郵送調査でも同じですけれども,虚偽,代理などの不正回答の混入が起こるということです。
 最後,回答の制御,強制,誘導が起こり得るということで,重複回答を禁止することはできるわけですけれども,先行調査によれば重複回答を禁止すると回答率が下がることがあるので,電子的にいろいろな制御はできるわけですが,それが逆に欠点になるということが言われているそうです。
 一般的には,インターネット調査というと全部インターネットでやるのではないかというところもありますけれども,調査の過程を標本抽出とデータの収集の二つに大まかに分けたときに,この矢印の組み合わせによってインターネット調査のパターンが見えるのではないかと思います。
 一番上の標本抽出もインターネットで行って,データ収集もインターネットで行うというものが代表的なインターネット調査だと言われています。ほかにもインターネットで標本抽出をして,あまりないと思いますけれども,郵送調査をやることもあるかと思いますし,最初に郵送調査とかRDDで標本を抽出してからデータだけはインターネットで抽出するということもあります。
 いろいろなインターネット調査がやられているわけですけれども,Couperという人が結構引用されている代表的な例で,インターネット調査の類型を示しています。大まかに分けて二つの類型があるそうで,一つは確率的なアプローチ,もう一つは非確率的なアプローチというものです。後ろのほうの非確率的なアプローチというのは,非科学的だといってCouperさんは批判しています。
 何をやっているのか簡単に説明します。確率的アプローチの最初のインターセプト調査というのは,ターゲット母集団をあるサイトの訪問者として,例えば何番目に訪れた人に調査票をポップアップとかで示して回答してもらう,調査への参加を依頼するといったものです。
 リスト型調査というのは,eメールのリストが作成できるような集団,例えば会社とか学校の人たちをターゲット母集団として,そのリストから標本を無作為抽出する方法をいいます。僕がやった方法がリスト型調査になると思います。
 次に混合型調査におけるウェブ経由回答というのは,一般的に伝統的な郵送法とかRDDをやって,その人たちにウェブでも回答できますよということをということです。
 次にインターネット利用者の事前収集ですが,これはインターネットユーザーを母集団として確率抽出によってパネルを構成するというものです。例えばRDDとかで母集団調査をしておいて,そのときにインターネットを使っているかを聞いて,その人たちを集めてパネルをつくって調査を行うものです。
 最後は,全母集団の事前収集ということですが,これは普通の郵送法とかRDDでとられたような手法で標本抽出を行って,その人たちにウェブで回答してもらうわけですけれども,インターネットを利用しない人たちにはパソコンを配布して,そこでウェブから回答してもらうというものです。
 次の非科学的だと言われている非確率的なアプローチというのは三つあって,娯楽としての投票というので,これはよく新聞社のホームページとかでラジオボタンが三つぐらいついていて,どれだと思いますかというものです。これはほとんどの調査では論外とされている,あまり対象としないものです。
 次の無制限自己参加型調査というのは,ポータルサイトなどで行われているような,オープン型のウェブ調査のことです。
 最後に,ボランティア型オプトインというのは,典型的なウェブ調査とかインターネット調査のもので,ある調査会社が公募してパネルを構成して,その後に自分から参加しますよという人たちから選んで調査を行うというものです。これは海外でよく言われているものです。
 日本は海外ほどインターネット調査が進んでいるわけではないということで,大隈先生がインターネット調査の類型としてまとめているのがこの図です。これはウェブ調査というか,インターネット調査の形態を調査対象者の捕捉の方法で分類しているもので,大きく分けてパネルタイプとリソースタイプとオープンタイプというのがあります。
 パネルタイプは,ウェブ上で広告とかを出して調査協力の意思がある人たちを募集して登録し,その全員に対して複数回継続的に調査を行う方法です。
 リソースタイプは,同じようにウェブ上で広告を出して調査に協力してくれる人たちを集め,その人たちをリソースにしてその中から実際に何らかの手法で調査対象者を選んでやる方法です。これは三つに分かれます。後で説明します。
 オープンタイプは,ウェブ上にただ出して調査協力を広く呼びかけて,特定の個人には調査の依頼は行わないということです。このオープンタイプはパネルを構成しないものです。
 リソースタイプは三つあって,リソース内オープン方式と属性絞り込み方式とリソース内サンプリング方式というのがありますけれども,リソース内オープン方式は,登録してくれた人を対象にして,バナー広告などで調査の協力を呼びかけるようなもので,特定の個人への調査協力というのは行いません。
 属性絞り込みというのは,リソースタイプから構成したパネルの中から特定の性別や年齢,職業などで絞り込んで,その該当する人だけに調査を依頼するという方法で,辻先生が第四回のEBAワークショップで発表される図書館員を対象とした「Yahoo!リサーチ」のものが,多分この属性絞り込み調査ではないかと思います。
 最後のリソース内サンプリング方式は,リソースの登録者集団の中から無作為に調査対象者を選んで,電子メールなりで調査の依頼をして,ウェブで回答してもらうというものです。
 インターネット調査は次々回で辻先生に発表してもらうので,今回はこのぐらいにします。特徴として挙げられるのは,この図で見られると思いますけれども,一つは回答率が低いというのもありますが,インターネット調査から得られた回答者がやはりかなり偏っているのではないかということです。つまり,何らかの目標母集団を設定するわけですけれども,インターネット利用者がどれぐらいなのかがわからないし,その中でモニター登録者をしている人というのがさらに絞られて,モニター登録した中でさらに回答してくれるという人が,インターネット調査の回答者であるわけですから,かなり目標母集団の中の一部の人たちが答えていることになります。
 この状態を本多さんが(研究していて),複数の調査会社にモニター登録して毎週調査に回答している回答者が公募型インターネット調査の主流を占めているということで,一般的にインターネット調査の回答者の属性としては,モニター登録は謝礼をもらえるので,そういう人たちが毎週複数回回答しているというのが実際なのではないかと思います。辻先生に次々回,詳しく発表していただけると思いますので,インターネット調査に関してはここら辺で終わりにしたいと思います。
 次に電子メール調査ですけれども,結構歴史がありまして,20年ぐらい昔からやられているそうで,文献を読むとKieslerとSproullさんがやった調査が一番初めではないかと言われています。これはたしか大学の学生と研究者に大学に関するアンケートをとったものだったと思います。回答率は,eメールが70%ぐらいだったと言われていました。
 これは僕が勝手につくった分類なので,あまり正統なものではありませんけれども,電子メール調査には三つぐらいあるのではないかと思います。一つは,一般的な郵送調査と同じように量的な調査をやるもの。これは廣田先生と僕が今回発表します。もう一つは質的な調査ということで,今回東海林さんから発表していただくような,オンラインインタビューだとかフォーカスグループというものがあって,もう一つはほとんど言われたことはありませんけれども,電子メールというのが史料として使えるのではないかと。ただ,この史料については,今回の範疇外ということで発表しません。
 これから電子メール調査の概要について説明しますが,主に量的な調査についての説明をさせていただきたいと思います。電子メール調査の利点ということで幾つか言われていますけれども,ほとんどインターネット調査と同じです。何がいいかというと,やはり速いということです。数秒で調査票が相手のところに一応技術的には届いているし,相手が回答をして返信ボタンを押せばすぐに返ってくることが,一つは挙げられると思います。  もう一つはやはり安いということです。繰り返しになるのであまり言いませんけれども,郵送費がかからないということで,自分で頑張ればほとんど費用はゼロであるということです。
 もう一つ言われているのが,対面で聞かないので繊細な質問を聞くことができたり,キーボードで打つので入力しやすいということで,自由回答の分量が多くなるとか,率直な回答をしてくれると言われています。
 もう一つは接触困難な人々へのアクセスで,僕がやった調査は全世界ということで,日本だけではなくていろんな世界の人にeメールで調査をすることができますし,実際に社会的マイノリティーの人たちがeメールを使っていれば,その人たちに対面ではなくて電子メールという形で質問ができるということです。
 もう一つは回答ミスが少ないということで,電子的に入力するので,変なところに回答が来たり,複数回答が変なところにあったりすることが,そんなになくなるのではないかということだと思います。
 悩ましい将来ということで,電子メールの問題点がかなり出てきているのではないかという気がしています。同じようにインターネット調査ということで母集団の代表性がないと思いますし,回答率が郵送調査と比べるとやはり低く,標本抽出枠の獲得が困難ということで,電子メールのリストというのが網羅的なものがあるわけではないので,そこを自分で構築できればそれでやるしかないということで,代表性がかなり疑わしくなっていることもあります。
 技術的,社会的な変化もありますが,やはり一番大きいのは,いま電子メールを見知らぬ人に送ると,スパムとかジャンクメールとして認識されることが多いということで,そもそも調査票を見ていただけないことがあるということです。
 もう一つプライバシーとかセキュリティーの保護が脆弱ということで,eメールで回答を返信すると,自分の名前とeメール(アドレス)がわかってしまうので,そこら辺はちょっとプライバシーがないということです。あと,セキュリティーの保護がないということで,管理者の人たちが見ようと思えば見られてしまうということがあると思います。
 回答者の技術的なスキルというのは,昔のことなので今はないと思いますけれども,慣れていない人がやると,それで何か嫌だなという感じで回答してくれなくなるということです。
 次にデータ入力が必要ということで,何らかのプログラミングを書けばデータをきれいにすることができると思いますけれども,結局,自分でエクセルの表に入力しないといけないということで,ちょっと面倒である。
 次に電子メールアドレスの鮮度ということで,何らかの方法で電子メールのリストをつくったのはいいものの,標本抽出枠をつくるのに時間がかかって,電子メールのアドレスが使われなくなるということがあるので,結構これも問題である。公開されているアドレスが,実際に使われているかどうかというのはまた別の問題ということで,いろいろな問題点があります。
 こういった特徴が電子メール調査にはあるわけですけれども,量的調査に限っては電子メール調査の類型ということで,こんなものが挙げられるのではないかと思います。電子メールが利用される局面というのは,主に4段階あると思いますけれども,一つは調査依頼を電子メールで行うということです。次に,調査票を電子メールで配布して,回答の入力と返信を電子メールでやる。その後に督促とフォローアップを行うわけですけれども,今はほとんど調査依頼だけは電子メールでやって,あとはウェブで調査票を配布して回答と入力をしてもらうということになっている。督促とフォローアップはウェブではできないので電子メールでやるということで,電子メールがすべての過程で行われるというわけではなくなっているかもしれません。
 電子メール調査をやるときに,一番気になるのは回答率ですけれども,やはり郵送調査と比較して,回答率がかなり低いということです。平均36.8%と先行研究でありますけれども,これは電子メール調査のメタ分析をやったものです。年代は1986年から2001年ということで,今のデータを入れるともっと低くなると思いますし,論文になっているものはやはり回答率が高いものだけが受理されると思いますので,実際にはもっと低くなっているのではないかと思います。
 中には郵送調査と同等であるとか,郵送調査よりも高いというものもありますけれども,やはり媒体が紙か電子かということだけで回答率が高いかどうかというのはなかなか難しいということです。
 あと,もう一つは回答率をどうやって計算しているのかというのも,調査によってかなりばらばらで,確率的なアプローチを使っている場合は何とか回答率を出すことができますけれども,非確率的なアプローチで,メーリングリストにばらまいたり,ウェブに公開するだけだと回答率を計算することはほとんど不可能ですので,そこから信頼性がないということで,電子メール調査をやったというと,もうだめなんじゃないのというようなところがあるということです。
 これは回答率の推移を図であらわしたものですけれども,見ていただければわかると思いますが,X軸が年代でY軸が回答率です。やはり年代を経ることによって回答率が下がっているというのがわかると思います。これは学術雑誌に載った論文だけを調査していて,メタ分析できるような論文だけを選んでいるので,実際にはほかにももっと入れると下がるかもしれません。
 回答率に影響を与えていた要因ということで,幾つかありますけれども,与えていたというのは技術的な変化とか社会的な環境がどんどん変わっているので,昔はこういうものが回答率に影響を与えていたというものです。一つはやはり先ほど示しましたように,調査実施年ということで,年代をさかのぼるごとに,電子メール調査の回答率は高かったということです。調査テーマとかサンプル,どういった人たちを調査対象者にするかによって,やはり回答率が上がったり下がったりということになります。あとは,最初に予告状を送ったり督促状を送って,回答率が上がったり下がったりすることですけれども,一般的に先行研究では督促を送ると5%から20%上がるといったものがありますが,これは10年ぐらい前の調査結果ですので,今は督促したから上がるかというのはなかなか難しいところもあるかもしれません。
 あとは,電子メールというのは,一気に同じ内容を何千通,何百通一緒に送ってしまうわけですけれども,個人あてに何々先生,何々様と最初に明記すると,自分が重要であると思われることで回答率が上がると言われています。ほかの郵送調査とかと併用することで回答率が上がると言われています。
 もう一つ先行研究でよく言われているのが,どれぐらい電子メール調査というのは同じ調査票を用いて他の手法,例えば郵送法と同様のデータを入手できるかが結構問題になっています。欧米では幾つか郵送調査などとの比較実験が行われていて,やはり電子メール調査は郵送調査よりも回答率がかなり低くなっていると言われています。ただ,無回答の割合というのは,郵送調査よりも少なかったというのもありますし,逆に電子メール調査のほうが多かったというのもある。これは調査によってまちまちでした。あとは,電子メール調査のほうが自由回答の文字数が長いということが言われていたそうです。
 幾つか先行研究の代表的なものを紹介しますが,SchaeferとDillmanという人たちが調査をやっていて,事前依頼,調査票の配布,お礼督促,再調査の各段階において紙と電子メールそれぞれの組み合わせで,どれぐらい回答率が違うのかをやっています。この結果を見ると,2番の全部電子メールでやったものが一番回答率が高かったという,結構意外な調査結果が出ています。Dillmanという人は郵送法の大御所で本も書いている人で,かなり入念に作成した調査票だったのではないかということで,多分上がったのだと思います。あとは,事前依頼を紙より電子メールでやったほうが最初の回答率は高かったと言われています。
 もう一つは,95%の記入率は電子メールのほうが高いということで,電子メールのほうが無回答がなかった。(画面の)一番下が切れてしまっていますけれども,無回答率は44項目30項目で電子メールのほうが回答率が高いということがあったそうです。
 先ほど電子メールの調査と言いましたけれども,自由回答の記入率も電子メールが高くて,平均文字数も電子メールのほうが高い。平均返信日数というのは,電子メールが9.16で,紙が14.39ということで,この図の上のほうが電子メールで,下の太い線のほうがすべて紙ですけれども,電子メールのほうがやはりかなり速く返ってくることがわかっています。
 ただ,今のは電子メール調査の成功例ですけれども,やはり失敗例もあります。郵送調査とeメールの比較実験をやっているものがありますが,この場合は回答率は電子メールのほうがかなり低くなっていて,しかも電子メール回答者というのは,インターネット関連の用語の知識とか電子メールの利用の程度が高く,有意差が見られたということで,電子メールで回答するような人は,もしかしたら偏りがあるような人たちなのではないかと言われています。
 まとめますけれども,電子メール調査は20年ぐらい歴史があったわけですが,すべての過程を電子メールで行う調査というのはやはり行われなくなってきていると思います。もう一つは,先行研究でいろいろな利点とか長所が言われてきましたが,社会環境なり調査環境が悪化してきているので,その有効性に疑問が付されるようなものが出てきているということです。しかも時代によって,同じような調査課題でも結果が異なるようになってきているということなので,eメールの位置づけが社会や調査対象者の中で変化していると言えるのでしょうか。
 ここまでが電子メール調査のお話です。

<<< back