データ集計ツールとして、まず思い浮かぶのはExcelではないでしょうか。多くの企業で既に利用されており、追加料金がかからないケースも多く、特別な環境構築も不要です。操作に慣れている人も多いため、経営層への業績報告、マーケティング施策の効果分析、傾向や課題の把握など、さまざまな場面で活用されています。一方で、Excelには大量データの処理におけるパフォーマンス上の制約もあります。
では、Excelでは実際にどこまでのデータ集計ができるのでしょうか？本記事では、図らずもExcelの限界に挑むこととなった弊社の経験をもとに、大量データ集計におけるExcelの実力と注意点を紹介します。
背景：なぜExcelで集計したのか？
顧客企業様より、とある事業の業績可視化およびレポート開発についてご相談をいただきました。将来的にはBI（Business Intelligence）ツールの導入による集計自動化を見据えていたものの、できるだけ早期に集計結果を確認したいというご要望があり、あわせて集計要件を整理する目的も兼ねて、まずはExcelで集計を行うことになりました。当初は試作品としての開発を想定していましたが、進めるにつれて必要な集計項目や分析観点が増えていき、最終的には「これ以上はExcelでの集計が難しい」と判断する段階まで、関数や集計表を追加していくことになりました。
前提条件：PCのスペック
開発担当者が使用していたPCのメモリは32GBです。より低いスペックのPCを使用する場合、処理できるデータ量や追加できる関数の数は少なくなる可能性があります。
結果：約10万行×80列までは集計できた
高性能なPCを使用していたことも大きいですが、Excelでここまで集計できたことは、良い意味で想定外でした。集計対象となる元データは約40項目（40列）あり、それに対して集計目的で追加した関数も約40項目（40列）ありました。追加した関数には、「今期の場合は1を返す」といった比較的軽い処理だけでなく、VLOOKUPのように処理負荷が高いものも含まれています。さらに、集計用のシートも複数作成していたため、この規模までExcelで対応できたことには驚きがありました。TODAY関数などの処理を可能な限り切り出し、不要な再計算を減らしたことも、パフォーマンス面で効果があったと考えています。
その後：BIへの移行
開発したExcelの集計表は、最終的にBI（Business Intelligence）ツールへ移行しました。BIツールがデータベース、またはデータウェアハウス（分析用のデータベース）から直接データを読み込む構成にすることで、集計処理の速度は大幅に改善されました。また、Excelファイルを都度更新する作業も不要になり、データ更新にかかる工数を削減できました。さらに、利用者が条件を切り替えながら確認できる、よりインタラクティブなダッシュボードとして運用できるようになりました。
データの自動更新まで含めた本格的なBIダッシュボードの構築には、一定の時間がかかります。一方で、まずはオンデマンドに集計結果を確認したいだけであれば、一部機能を無料で利用できるBIツールを使い、ローカル環境でクイックに集計してみるのも有効な選択肢です。
BIツールの一つであるAmazon QuickSightについては、こちらの記事も参考にしてください。
Amazon Quick Sightの特徴｜AWS環境でBIを始める際のメリットと注意点
弊社では、データ集計の自動化やBIダッシュボード開発を通じて、経営判断や業務改善に役立つデータ可視化を支援しています。データ活用やレポート業務の効率化でお困りの際は、お気軽にお問い合わせください。
お気軽にご相談ください
要件が固まっていなくても、課題の整理からご相談いただけます。