![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2024-04-10T00:59:48+09:00","default:isogame","isogame") #author("2024-04-10T01:31:13+09:00","default:isogame","isogame") [[Mozilla Location Service の後継サービス検討]] * Mozilla Location Service の後継サービス検討 [#r5de94ae] 2024年3月14日頃、[[Mozilla Location Service のサービス終了が発表:https://github.com/mozilla/ichnaea/issues/2065]]された。 以下のようなスケジュールで、段階的にサービス終了を行うとされている。 ,日付(米国時間と推定),予定されていること,電測ユーザーへの影響 ,2024年3月27日,セル情報のアップロード受付を停止,Tower Collectorからのアップロードができなくなる。MLS管理表やセルセンターマップのデータが更新されなくなる。 ,2024年4月10日,MLSサイトでセル情報の公開を停止,MLS管理表やセルセンターマップのデータ提供元がなくなる。 楽天モバイルの電測ユーザーは、Tower Collectorを使って自分が通った場所で受信できる基地局セルの情報をMLSに送信し MLSからセル情報をダウンロードして構成される「MLS管理表」や「セルセンターマップ」の情報をもとに 自分が今追いかけている基地局の場所の当たりをつけたり、同一地域で活動している他の電測ユーザーと情報の交換をしているため セル情報を集積して公開しているMLSがサービス終了することは、電測ユーザーにとって大変大きな影響を与える。 よって、これらの活動を滞りなく続けられるように代替策を検討・実装が必要。 このWikiページでは、MLSの代替サービス案の検討や、これら検討の結果の共有、代替サービスの各アプリケーションの対応状況の共有などを行う。 * 電測職人の皆様にお伝えしたいこと [#e7cedcd8] MLSがサービス終了する件に関して、このWikiページ末尾に記載した「候補として検討したプランおよび決定までのプロセスの項」で決定したように、MLSの代替サービスをイチから作成いたしました。 現状では以前からMLSのデータロスト対策として開発されていた「MLSデータアップロードマネージャー」サービスに蓄積されたデータをもとにMLSが行っていた位置情報処理を行っています。 このデータをもとに、MLS管理表をはじめとするツール類で電測活動の成果を共有できる状況が整っています。 楽天電測【非公式】アプリについては、最新バージョンに更新してください。 よって、[[Mozilla Location Services のデータロスト対策]]の手順に従って、MLSデータアップロードマネージャー へのユーザー登録と、Tower Collector の設定変更を行うことで、今まで通りに電測をお楽しみいただけます。 * この問題の影響を受けるアプリケーションと現在の対応状況 [#k1dfa26c] ここに列挙するアプリケーションの作者全員とコンタクトが取れており、4月9日時点で全てのアプリケーションで対応を完了しました。 - MLS管理表 eNB-LCID管理表のデータはMLSから取得していました。 → 3月28日から代替サービスからのデータ取り込みが行われており、MLSサービス終了以降に発見された新着セルも表示されます。（[[ソース:https://x.com/JS2HGW_Gifu/status/1773307063713599591?s=20]]） - セルセンターマップ（改） 表示されているすべてのピンはMLSから取得した情報をもとに表示していました。 → 3月28日から代替サービスからのデータ取り込みが行われており、MLSサービス終了以降に発見された新着セルも表示されます。 - 楽天電測【非公式】 現在受信中のセル情報をもとに、同一の基地局と思われる別のセルの座標をMLSから取得して三角形を描画し、その三角形の範囲内に基地局が存在する可能性を表示する機能があり、この機能を引き続き利用するためにアプリケーションの更新が必要です。 → バージョン1.6.6 (2024/04/07 リリース) より代替サービスの位置情報を利用した描画に対応します。((正確には代替サービスのデータを取り込んだMLS管理表からのデータ出力。))（[[配布告知:https://x.com/RktnCellMap/status/1776979191793361244]]） - セルセンターマップ（原作バージョン） → 廃止予定（[[ソース:https://x.com/RktnCellMap/status/1773866496277782630?s=20]]） Tower Collector や MLSデータアップロードマネージャー もこの影響を受けるが、あくまで集積したデータを表示するアプリケーションに限って記載している。 Cellmapper については MLS とはまったく関係なく動作しています。 * 代替サービスの既知の問題点(Issue) [#obb5d432] - セル位置決定アルゴリズム 今までにMLSに蓄積された膨大な観測データをもとに決定されたセル位置と比較すると、いい加減な位置にピンが出現する可能性がある。 そのため、MLSサービス終了時点のすべての位置情報データを保持し、MLSにセルのデータが存在し、代替サービスでの観測点が999点以下のセルについてはMLSが算出した位置情報を強制的に使用することにしている。 よって、MLSでは該当セルから遠い地点での観測データしかない（MLSのほうが代替サービスに比べ正確な位置情報を描画するためのデータが不足している）ケースにおいて、せっかくセルの近くで収集したデータがあるにもかかわらず、セルの正確な位置付近にピンが移動しない問題がある。 MLSにデータが存在しないセルの場合は、代替サービスのデータのみを利用してセル位置を算出する。MLSとは位置決定アルゴリズムが異なるので注意が必要。 - eNB-LCID再利用時に変な挙動をする 実はTACの違いを検出する仕組みが必要だったぽいかもしれない。 現在はeNB-LCIDが変更再利用されると、再利用前の廃止されたeNB-LCIDが元の位置で復活したように見えてしまう。 - セルデータがオープンではない データの提供について MLS と同等のサービスレベルに達していません。 データのダウンロード先がオフィシャルに公開されていない点や、電測職人の皆様が電測端末を片手に火の中水の中草の中森の中に潜り込んでかき集めた命の結晶とも呼べる電測データのライセンスが不透明です。現在は「ライセンスが宣言されていない得体の知れないデータ」です。 腹の中では MLS と同等の Public Domain (CC0) ライセンスを宣言する予定です。つまり著作権やその他の占有権が放棄され、誰でも自由に使えるオープンデータとすることを目指します。 まあ、そんなことを気にする人はそういないだろうということで優先度低めで対応しています。 - 「代替サービス」のサービス名称が決定していない 腹の中では Cell Discovery Platform (CDP) を予定しています。%%東海デジタルホン。%% * 候補として検討したプランおよび決定までのプロセス [#o80ca62a] + [[OpenCellId.org:https://OpenCellId.org]]ベースに移行 Tower Collectorでデータのアップロードが公式サポートされており、全セルデータをMLSと似たようなCSVデータ形式で公開している（要アクセストークン。誰に対しても発行している）。 差分データは1時間に1度ではなく1日に1度しか公表されていない（っぽい）ので、速報性がMLSよりだいぶ落ちる。 curlやwgetで取得できるかどうかは未調査。((たとえばMCC=440のデータすべてを取得する場合：https://opencellid.org/ocid/downloads?token=アクセストークン&type=mcc&file=440.csv.gz とかかなあ。差分データも似たような雰囲気である)) ライセンスが[[CC0 (パブリックドメイン):https://creativecommons.org/publicdomain/zero/1.0/]]ではなく[[CC-BY-SA3.0:https://creativecommons.org/licenses/by-sa/3.0/]]のため OpenCellId.org からのデータであることを明記する必要があり。 他の利用規約条件（噂によるとFake GPSを使ったデータはNGらしい？）や、各個人で取得したAPIキーの上限値の調査→ 時間なさすぎて頓挫 3月17日時点でMCC:440 MNC:11 (楽天モバイル) のセルデータは 168,942 行存在する。アップロードが安定しているかどうかは不明。 → 差分データの更新間隔がネックとなり断念。 + Mozilla Ichnaeaソフトウェアを自力でホストする Mozilla Location Service は Mozilla Ichnaea プロジェクトで開発されたソフトウェアを Mozilla のサーバーにそのままデプロイしたものと思われる。[[Ichnaeaはオープンソースで誰でも自由に手に入れることが:https://github.com/mozilla/ichnaea]]できる。 これを楽天モバイル電測界隈の誰かのサーバーで動かすことでMLSと全く同等のサービスを維持することができるが、この問題に今頭をつっ込んでいるメンバーのスキルでは中身のメンテナンスができないので、今後何らかの問題が生じた場合に対応することができない。 たとえば、SAサービスが始まったとしてgNB-LCIDデータを正しく取り扱えないような問題が発覚しても、これを解決することができない。 セルセンター位置の決定アルゴリズムの現状維持を重視するのであれば、これしかない。 Tower Collectorからのデータ送信は、Custom MLS Service機能を使ってgeosubmit APIに送れば可能な想定。 → Docker Compose で立ち上げると、いきなり「Mozilla Location Service」のロゴやら名称がそのままになっている、現状のMLSのそっくりさんが立ち上がるが、APIキーの発行プロセスが不明なことや（前にどっかで見たので公開されているはず）、セルデータのエクスポート先としてS3バケット以外を選択できなさそうな点（正確にはlocalを選択することも可能だが、その場合のエクスポートフォーマットが現状と違うっぽい）など、いくつかの未解決事項をMLSサービス終了日までに解決できなさそうなことと、コストが重そうで断念。 + ↑をする人が出てきた場合はそれに乗っかる MLSのようなオープンデータプラットフォームは需要があると推定される。 Mozilla Ichnaeaを自力でホストする者が世界中のどこかに現れるのであれば、ライセンス次第だがそれに乗っかっておくほうが楽である。Tower Collectorからのデータ送信は、Custom MLS Service機能を使ってgeosubmit APIに送れば可能な想定。 → Mozilla Ichnaea の Issue を見る限り、そういった動きは見られず断念。 + 複数データからなる重みづけとか無視してセル情報だけdiff-cell-exportのフォーマットで吐き出す仕組みを作る Mozilla Ichnaea でも OpenCellId.org でもない全く新しい仕組みを作る。ユーザーからTower Collectorを利用したデータ送信は、Custom MLS Service機能を使ってMLSデータアップロードマネージャーに送ってもらって、そこからデータをこねくりまわす。 一見難しそうだが、Tower Collectorから収集した情報を送ってもらって、それっぽいRSRPのデータを使ってそのセルの位置を決定し、MLS管理表やセルセンターマップに取り込むだけ、という話なので解決までの道筋が一番明るいのがコレ。 ただし、セルセンターマップにおけるピン位置の決定は、Mozilla Ichnaeaプロジェクトのドキュメントによれば[[こういったアルゴリズムで作成:https://ichnaea.readthedocs.io/en/latest/algo/observations.html]]されているので、このアルゴリズムでないとピン位置が今までと違うところにできてしまう。ここまでやるのはめんどくさそうというか、たぶん実装できない。 → 結果的にはこれが現実的となってしまった。 これらの選択肢から、現在は 4 を選択して動いているが、将来的に速報値は 4 で、位置決定アルゴリズムのために 1 のデータも使うとかの可能性がある。 ** その他の懸念事項 [#g84ab373] + Tower Collector の今後の動き Tower Collector は Mozilla Location Service のサービス終了に伴いMLS関連機能を削除する可能性がある。 2024年3月リリースのv2.14.5にてMLS互換サービス(Custom MLS Service)のサポートを追加していただいているため、この機能を今後も残してもらえるように交渉が必要。 NGだった場合は、v2.14.5のAPK再配布許可を得る方向、または、Tower Collector プロジェクトのフォーク、または、MLS Upload Helper的なアプリケーションを復活させてOpenCellId.org向け送信データからのコンバート機能を作成して、楽天モバイル電測ユーザーが主体となって運営するMLS互換サービスへデータを取り込めるようにしなければならない。 * MLS代替サービスを電測ユーザーが支持するか [#h6ab14e4] 支持するも何も、何もしなかったら Cellmapper のみを使って電測活動をしていくしかないのだが・・・ ドクオ (X: @isogame) が X サービス上で2023年11月にアンケートを実施。有効回答数は25票。 https://twitter.com/isogame/status/1722462545498562771 この段階では、Mozilla Location Service がなんか調子悪いけど、MLSデータアップロードマネージャーにより Tower Collectorからデータを1度アップロードしただけでMLSに反映できる状態 つまりMLSがデータロストしまくるから不便、という状況はある程度改善されている状況において 84%の方が「MLS管理表やセルセンターマップ、楽天電測が対応するならばMLSでなくてもよい」という結果になっている。 残りの方がどういった理由でMLSがよいと言っているかどうかは未確認。 - Mozilla Location Service のオープンデータへの貢献によって電測ユーザー以外の誰かのためになるならば、そちらにも貢献したい。 - Mozilla は信用できるが、何処の馬の骨だか知れない奴のサーバーに自分の1日の行動履歴をまるっと共有するのは避けたい。 などがあると推察される。
