Ustreamアーカイブ削除問題 その後

フリーメディアの中でも、おそらく最大級の映像を所有するであろうIWJと、ユーストリーム・アーカイブ削除の問題は深刻ではあるが、これを叡智で乗り越えようとする現在の瞬間は、今後への展望の一端にも通ずる。以下は重要な資料だと思うので、会員向けメールから抜粋させていただいた。（太字・下線・注釈は管理人）

------------------------
「岩上安身よりUstreamアーカイブ削除期限まであと3日、重要なお知らせ」より抜粋（記録）

（略）
約1ヶ月前、9月30日にUstreamAsiaから、アーカイブ映像の保存期間を変更するという急な告知がありました。
この告知によると、アーカイブ映像の保存期間は30日間で、それを過ぎると自動的に削除されるようになると同時に、これまでに保存されてから既に30日間を経過しているアーカイブ映像も、2014年10月10日以降に削除されるということでした。
ということは、これまでユーストリームのアーカイブに載せていた我々の貴重な取材成果、その数、数千本が、告知時点からほんの10日後には消去されてしまうことになります。
あまりにも急な通告で、IWJとしては、物理的にも過去分のアーカイブをすべてダウンロードするのは不可能であり、削除までの猶予期間が短すぎる、とUstreamAsia側に対し、抗議と交渉を行いました。
その後、この件に関しては、UstreamAsia側でも一定の配慮を示し、10月6日付けの公式のニュースリリースとして、アーカイブ映像の削除予定を10月31日まで延期にすることを発表いたしました。
http://www.ustream-asia.tv/news_20141006.html

ほっとするのもつかの間、実際に作業を開始してみると、まずそのアーカイブ映像の膨大さに圧倒されることになりました。様々な技術的制約や、トラブルにも直面し、常勤のスタッフが通常業務に加えて片手間に作業するのではとても終わらせらないことが分かりました。人手も資金も足りず、頭を抱えることとなりました。
（略）
とにかく、人海戦術でコツコツと地道にやるしかない作業です。
ひたすら人手が必要なのです。
UstreamAsiaからの公式アナウンスの後、緊急で作業スタッフの募集、ご支援のお願いをした結果、IWJのアーカイブの危機に力を貸してくれるというボランティアや、アルバイトの方々が詰めかけて下さいました。
その中で、面談とトライアルを繰り返し、継続的に作業に従事できる方に技術を覚えてもらい、常時、臨時スタッフ10人弱の体制で作業にあたるようにしてきました。もともと手狭なIWJの事務所のウェブ・動画班の部屋は人がびっしりの状態で連日、頑張り続けています。
また、同時にこのプロジェクト実行のために機材（パソコンやハードディスクなど）が必要となり、これも思い切って購入しました。
作業の進捗としては、現時点でユーストリームのアーカイブの8割方はダウンロードできました。
保存期限の切れる10月31日まで、あと3日間。なんとか全力でダウンロードだけは、完了させるつもりです。とはいえ、ダウンロードが無事に終わったとしても、それから「再アップ」の作業工程に移らなければなりません。
（略）
この「再アップ」という行程は、狭義の意味では、記録媒体にダウンロードしたアーカイブ映像を、再び別の動画共有サービス（Vimeo）にアップロードし直すこと、そしてさらに、現在IWJの記事に埋めこまれているユーストリームアーカイブの動画を、Vimeoに差し替える作業を指します。
しかし、これだけではアーカイブのコンテンツとして皆さんにご覧になっていただくには不十分です。検索できるように「タグ付け」を行わなければいけませんし、カテゴリー分けも必要です。タイトル、見出し、テキストを添え、記事としての体裁を整えなくてはいけません。
（略）
IWJでは、UstreamAsia公式からも推奨された方法でアーカイブをダウンロードしていましたが、この方法には大きな落とし穴があり、古いものから1000本までのアーカイブしかダウンロードできませんでした。
この件についてはUstreamAsiaにも、なにか方法がないものか問い合わせてみたものの、1000件ダウンロード毎に、ダウンロードの済んだ1000件をユーストリーム上から削除する他ないとの回答でした。
しかし、このやり方では、1000件分のダウンロードで素材自体は手元に残るものの、その1000件をアップロード、記事の動画の差し替えをしてから、1000件を削除、そして次の1000件をダウンロード、という手順を踏まなければなければなりません。
現状、ユーストリームアーカイブが1000件を超える配信チャンネルが8チャンネルあります。
とすると、少なくとも8000件を超える記事中の動画を差し替えなければなりません。
（略）
2つ目の問題は動画共有サービス、Vimeoのアップロードの容量制限です。
IWJでは「VimeoPro」というサービスを使用しています。
このプランでは年間約2万円と、比較的安価ですが、アップロードが週20ギガバイトまで、という制限があります。そのため、同一サービスを5つ契約して、週100ギガバイトまでアップロードできるようにしても、既に2テラバイト（2000ギガバイト）に近づいているアーカイブの映像データをアップするには、5ヶ月もかかる計算になっていしまい、一気に再アップすることが出来ません。
もちろん、Vimeo自体にもこの上のカスタムプランがあります。しかし、現状でもIWJでは過去に4テラバイト（4000ギガバイト）分の容量を購入しており（こちらは既に上限までアップ済み）、このプランでは年間約80万円、追加した５つのアカウントも踏まえると、年間100万円程度のランニングコストとなり、IWJのような貧乏所帯では年間コストとしては大変な負担となってしまっています。
さらに3つめは、動画の修正問題です。
ユーストリームのアーカイブとして録画されたものは、ユーストリームのプレーヤー上ではある程度正常に見ることができます。
しかし、ダウンロードし、他の動画共有サービスにアップロードする時に、そのサービスの仕様に変換されてしまいます。この時に仕様の違いから、思わぬエラーが起こることがわかりました。例えば、映像と音声が極端にずれる、途中からノイズのような映像になってしまう、などといった現象です。
これらの症状には一律に解決する方法はなく、個別に対応するしかありません。アップロードするまでどのようなエラーが生じるか、予測も立ちません。これにすべて対応するとなると、気が遠くなるほどの作業量となります。
完璧を期したら、今から１年間をかけても難しいのではないかという報告も現場からは上がってきております。
何か、どうにかなる方法はないか。技術部と膝を突き合わせて話し合いました。エラーが少なくなるための唯一考えられる方法は、うまく再生するプレーヤーで再生しているものを、再度実時間をかけて録画していくという方法です。
しかし、この方法では、修正の必要な動画の長さ分の時間が必要となり、やはり大変な時間を要します。結局、人手をかけなければ、どうにもなりません。そのためにはどうしてもコストがかかります。
最後の問題は、11月以降、これまでのような人海戦術を続けていく資金が足りない、という問題です。
10月、我々のピンチの訴えに、多くの皆さんがカンパを寄せて下さいました。本当にありがとうございます。
ご説明申し上げたように、皆さまからのカンパを元手として、この1ヶ月間、多くの人の手を借りて保存作業に取り組んできました。削除期限までに間に合わせるべく、1月に10人弱、事務所に来ていただいた臨時スタッフの人件費は決して小さなものではありません。「タグ付け」などの外注費も大きくふくらみました。機材代もかさみました。
皆さまからのカンパがなければ、この1ヶ月間、我々は手も足も出せなかったでしょう。ご支援に、重ねて御礼申し上げます。本当にありがとうございました。
期末決算を終えないと収支がどうなるかはわかりませんが、現状で、今月いただいたカンパはほぼ底を尽いてしまい、11月からの作業の資金は、メドが立っていない状況です。
（略）
皆さまにご不便をおかけした上、お願いを申し上げるのは大変心苦しいのですが、どうか再アップ作業を続けていけますよう、引き続きご支援くださいますよう、よろしくお願い申し上げます。
IWJ代表　岩上安身拝
------------------------