{
"cells": [
{
"cell_type": "markdown",
"id": "atlantic-tractor",
"metadata": {},
"source": [
"# M5 Data Preparation\n",
"\n",
"This notebook helps with loading and transforming the M5 dataset into higher-level, aggregate time series. M5, by default, is provided as a set of 30,490 individual time series. These correspond to individual product sales figures at individual Walmart stores. These time series can be naturally aggregated according to a hierarchy: \n",
"\n",
"\n",
"\n",
"As we can see, the 30,490 time series correspond to sales figures for 3049 individual products across 10 stores. The products each belong to one of three product categories (Hobbies, Foods, and Household), which can be further broken down into a total of 7 product subcategories. The 10 stores each belong to one of three states (California, Texas, and Wisconsin). \n",
"\n",
"Other information are also provided as part of the M5 dataset, including product sell prices and a calendar of important events (e.g. holidays, relevant dates for [nutrition assistance programs](https://www.kaggle.com/c/m5-forecasting-accuracy/discussion/133614)).\n",
"\n",
"The following code has been adapted from this [repository](https://github.com/matthiasanderer/m5-accuracy-competition) for the official 2nd place M5 solution."
]
},
{
"cell_type": "markdown",
"id": "ordinary-chair",
"metadata": {},
"source": [
"## Load data"
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "industrial-parallel",
"metadata": {},
"outputs": [],
"source": [
"import pandas as pd"
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "graduate-bibliography",
"metadata": {},
"outputs": [],
"source": [
"m5_input_path = \"/ssd003/projects/forecasting_bootcamp/bootcamp_datasets/m5-forecasting-accuracy\"\n",
"sell_price = pd.read_csv(f'{m5_input_path}/sell_prices.csv')\n",
"calendar = pd.read_csv(f'{m5_input_path}/calendar.csv')\n",
"train = pd.read_csv(f'{m5_input_path}/sales_train_evaluation.csv').set_index('id')\n",
"sample_sub = pd.read_csv(f'{m5_input_path}/sample_submission.csv')"
]
},
{
"cell_type": "markdown",
"id": "sharing-target",
"metadata": {},
"source": [
"## Build aggregate dataset"
]
},
{
"cell_type": "code",
"execution_count": 6,
"id": "natural-fundamental",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
" unique forecasts: 30490\n",
" N_unique item_id: 3049\n",
" N_unique dept_id: 7\n",
" N_unique cat_id: 3\n",
" N_unique store_id: 10\n",
" N_unique state_id: 3\n"
]
}
],
"source": [
"# Get column groups\n",
"cat_cols = ['item_id', 'dept_id', 'cat_id', 'store_id', 'state_id']\n",
"ts_cols = [col for col in train.columns if col not in cat_cols]\n",
"ts_dict = {t: int(t[2:]) for t in ts_cols}\n",
"\n",
"# Describe data\n",
"print(' unique forecasts: %i' % train.shape[0])\n",
"for col in cat_cols:\n",
" print(' N_unique %s: %i' % (col, train[col].nunique()))"
]
},
{
"cell_type": "code",
"execution_count": 8,
"id": "useful-entrance",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"CPU times: user 133 ms, sys: 140 ms, total: 273 ms\n",
"Wall time: 269 ms\n"
]
},
{
"data": {
"text/html": [
"
\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "all | \n", "32631 | \n", "31749 | \n", "23783 | \n", "25412 | \n", "19146 | \n", "29211 | \n", "28010 | \n", "37932 | \n", "32736 | \n", "... | \n", "44073 | \n", "54308 | \n", "59921 | \n", "42362 | \n", "38777 | \n", "37096 | \n", "36963 | \n", "42552 | \n", "51518 | \n", "54338 | \n", "
1 rows × 1942 columns
\n", "\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "CA | \n", "14195 | \n", "13805 | \n", "10108 | \n", "11047 | \n", "9925 | \n", "11322 | \n", "12251 | \n", "16610 | \n", "14696 | \n", "... | \n", "18471 | \n", "23037 | \n", "24704 | \n", "17721 | \n", "16150 | \n", "15678 | \n", "16297 | \n", "17430 | \n", "23103 | \n", "24644 | \n", "
1 | \n", "TX | \n", "9438 | \n", "9630 | \n", "6778 | \n", "7381 | \n", "5912 | \n", "9006 | \n", "6226 | \n", "9440 | \n", "9376 | \n", "... | \n", "12320 | \n", "12366 | \n", "16249 | \n", "12228 | \n", "11370 | \n", "10375 | \n", "9162 | \n", "12303 | \n", "13681 | \n", "14815 | \n", "
2 | \n", "WI | \n", "8998 | \n", "8314 | \n", "6897 | \n", "6984 | \n", "3309 | \n", "8883 | \n", "9533 | \n", "11882 | \n", "8664 | \n", "... | \n", "13282 | \n", "18905 | \n", "18968 | \n", "12413 | \n", "11257 | \n", "11043 | \n", "11504 | \n", "12819 | \n", "14734 | \n", "14879 | \n", "
3 rows × 1942 columns
\n", "\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "CA_1 | \n", "4337 | \n", "4155 | \n", "2816 | \n", "3051 | \n", "2630 | \n", "3276 | \n", "3450 | \n", "5437 | \n", "4340 | \n", "... | \n", "4951 | \n", "6245 | \n", "6707 | \n", "4568 | \n", "3949 | \n", "3995 | \n", "4136 | \n", "4433 | \n", "5764 | \n", "6289 | \n", "
1 | \n", "CA_2 | \n", "3494 | \n", "3046 | \n", "2121 | \n", "2324 | \n", "1942 | \n", "2288 | \n", "2629 | \n", "3729 | \n", "2957 | \n", "... | \n", "4839 | \n", "6507 | \n", "6710 | \n", "4238 | \n", "3963 | \n", "3789 | \n", "4037 | \n", "4751 | \n", "7120 | \n", "6614 | \n", "
2 | \n", "CA_3 | \n", "4739 | \n", "4827 | \n", "3785 | \n", "4232 | \n", "3817 | \n", "4369 | \n", "4703 | \n", "5456 | \n", "5581 | \n", "... | \n", "6046 | \n", "7029 | \n", "7969 | \n", "5891 | \n", "5523 | \n", "5375 | \n", "5580 | \n", "5542 | \n", "7073 | \n", "8144 | \n", "
3 | \n", "CA_4 | \n", "1625 | \n", "1777 | \n", "1386 | \n", "1440 | \n", "1536 | \n", "1389 | \n", "1469 | \n", "1988 | \n", "1818 | \n", "... | \n", "2635 | \n", "3256 | \n", "3318 | \n", "3024 | \n", "2715 | \n", "2519 | \n", "2544 | \n", "2704 | \n", "3146 | \n", "3597 | \n", "
4 | \n", "TX_1 | \n", "2556 | \n", "2687 | \n", "1822 | \n", "2258 | \n", "1694 | \n", "2734 | \n", "1691 | \n", "2820 | \n", "2887 | \n", "... | \n", "3610 | \n", "3787 | \n", "5000 | \n", "3708 | \n", "3310 | \n", "3147 | \n", "2748 | \n", "3664 | \n", "4167 | \n", "4624 | \n", "
5 | \n", "TX_2 | \n", "3852 | \n", "3937 | \n", "2731 | \n", "2954 | \n", "2492 | \n", "3439 | \n", "2588 | \n", "3772 | \n", "3657 | \n", "... | \n", "4415 | \n", "4424 | \n", "5866 | \n", "4179 | \n", "4008 | \n", "3518 | \n", "3126 | \n", "4249 | \n", "4802 | \n", "5217 | \n", "
6 | \n", "TX_3 | \n", "3030 | \n", "3006 | \n", "2225 | \n", "2169 | \n", "1726 | \n", "2833 | \n", "1947 | \n", "2848 | \n", "2832 | \n", "... | \n", "4295 | \n", "4155 | \n", "5383 | \n", "4341 | \n", "4052 | \n", "3710 | \n", "3288 | \n", "4390 | \n", "4712 | \n", "4974 | \n", "
7 | \n", "WI_1 | \n", "2704 | \n", "2194 | \n", "1562 | \n", "1251 | \n", "2 | \n", "2049 | \n", "2815 | \n", "3248 | \n", "1674 | \n", "... | \n", "3978 | \n", "5527 | \n", "5488 | \n", "3505 | \n", "3323 | \n", "3242 | \n", "3478 | \n", "3813 | \n", "5002 | \n", "5054 | \n", "
8 | \n", "WI_2 | \n", "2256 | \n", "1922 | \n", "2018 | \n", "2522 | \n", "1175 | \n", "2244 | \n", "2232 | \n", "2643 | \n", "2140 | \n", "... | \n", "5317 | \n", "7704 | \n", "7586 | \n", "5011 | \n", "4628 | \n", "4533 | \n", "4628 | \n", "4880 | \n", "5213 | \n", "5068 | \n", "
9 | \n", "WI_3 | \n", "4038 | \n", "4198 | \n", "3317 | \n", "3211 | \n", "2132 | \n", "4590 | \n", "4486 | \n", "5991 | \n", "4850 | \n", "... | \n", "3987 | \n", "5674 | \n", "5894 | \n", "3897 | \n", "3306 | \n", "3268 | \n", "3398 | \n", "4126 | \n", "4519 | \n", "4757 | \n", "
10 rows × 1942 columns
\n", "\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "FOODS | \n", "23178 | \n", "22758 | \n", "17174 | \n", "18878 | \n", "14603 | \n", "22093 | \n", "20490 | \n", "27751 | \n", "24862 | \n", "... | \n", "30107 | \n", "36576 | \n", "41447 | \n", "29158 | \n", "26148 | \n", "24790 | \n", "24737 | \n", "28136 | \n", "33599 | \n", "35967 | \n", "
1 | \n", "HOBBIES | \n", "3764 | \n", "3357 | \n", "2682 | \n", "2669 | \n", "1814 | \n", "3220 | \n", "2944 | \n", "3986 | \n", "2899 | \n", "... | \n", "3871 | \n", "4893 | \n", "5016 | \n", "3528 | \n", "3629 | \n", "3740 | \n", "3475 | \n", "4143 | \n", "5333 | \n", "5280 | \n", "
2 | \n", "HOUSEHOLD | \n", "5689 | \n", "5634 | \n", "3927 | \n", "3865 | \n", "2729 | \n", "3898 | \n", "4576 | \n", "6195 | \n", "4975 | \n", "... | \n", "10095 | \n", "12839 | \n", "13458 | \n", "9676 | \n", "9000 | \n", "8566 | \n", "8751 | \n", "10273 | \n", "12586 | \n", "13091 | \n", "
3 rows × 1942 columns
\n", "\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "FOODS_1 | \n", "2343 | \n", "2216 | \n", "1657 | \n", "1508 | \n", "1209 | \n", "1897 | \n", "1903 | \n", "2235 | \n", "1925 | \n", "... | \n", "4130 | \n", "4257 | \n", "4225 | \n", "3264 | \n", "3119 | \n", "3073 | \n", "3251 | \n", "3735 | \n", "4195 | \n", "4031 | \n", "
1 | \n", "FOODS_2 | \n", "4094 | \n", "4209 | \n", "3174 | \n", "3606 | \n", "2869 | \n", "4375 | \n", "3349 | \n", "4384 | \n", "4273 | \n", "... | \n", "5842 | \n", "7563 | \n", "9069 | \n", "6226 | \n", "5311 | \n", "4648 | \n", "4551 | \n", "4815 | \n", "5940 | \n", "6535 | \n", "
2 | \n", "FOODS_3 | \n", "16741 | \n", "16333 | \n", "12343 | \n", "13764 | \n", "10525 | \n", "15821 | \n", "15238 | \n", "21132 | \n", "18664 | \n", "... | \n", "20135 | \n", "24756 | \n", "28153 | \n", "19668 | \n", "17718 | \n", "17069 | \n", "16935 | \n", "19586 | \n", "23464 | \n", "25401 | \n", "
3 | \n", "HOBBIES_1 | \n", "3610 | \n", "3172 | \n", "2497 | \n", "2531 | \n", "1714 | \n", "3133 | \n", "2855 | \n", "3831 | \n", "2741 | \n", "... | \n", "3422 | \n", "4414 | \n", "4464 | \n", "3109 | \n", "3142 | \n", "3291 | \n", "3027 | \n", "3761 | \n", "4832 | \n", "4720 | \n", "
4 | \n", "HOBBIES_2 | \n", "154 | \n", "185 | \n", "185 | \n", "138 | \n", "100 | \n", "87 | \n", "89 | \n", "155 | \n", "158 | \n", "... | \n", "449 | \n", "479 | \n", "552 | \n", "419 | \n", "487 | \n", "449 | \n", "448 | \n", "382 | \n", "501 | \n", "560 | \n", "
5 | \n", "HOUSEHOLD_1 | \n", "4105 | \n", "3858 | \n", "2827 | \n", "2732 | \n", "1802 | \n", "2664 | \n", "3161 | \n", "4334 | \n", "3494 | \n", "... | \n", "7936 | \n", "10042 | \n", "10572 | \n", "7609 | \n", "6999 | \n", "6641 | \n", "6759 | \n", "7974 | \n", "9668 | \n", "10165 | \n", "
6 | \n", "HOUSEHOLD_2 | \n", "1584 | \n", "1776 | \n", "1100 | \n", "1133 | \n", "927 | \n", "1234 | \n", "1415 | \n", "1861 | \n", "1481 | \n", "... | \n", "2159 | \n", "2797 | \n", "2886 | \n", "2067 | \n", "2001 | \n", "1925 | \n", "1992 | \n", "2299 | \n", "2918 | \n", "2926 | \n", "
7 rows × 1942 columns
\n", "\n", " | id_str | \n", "d_1 | \n", "d_2 | \n", "d_3 | \n", "d_4 | \n", "d_5 | \n", "d_6 | \n", "d_7 | \n", "d_8 | \n", "d_9 | \n", "... | \n", "d_1932 | \n", "d_1933 | \n", "d_1934 | \n", "d_1935 | \n", "d_1936 | \n", "d_1937 | \n", "d_1938 | \n", "d_1939 | \n", "d_1940 | \n", "d_1941 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | \n", "all | \n", "32631 | \n", "31749 | \n", "23783 | \n", "25412 | \n", "19146 | \n", "29211 | \n", "28010 | \n", "37932 | \n", "32736 | \n", "... | \n", "44073 | \n", "54308 | \n", "59921 | \n", "42362 | \n", "38777 | \n", "37096 | \n", "36963 | \n", "42552 | \n", "51518 | \n", "54338 | \n", "
1 | \n", "CA | \n", "14195 | \n", "13805 | \n", "10108 | \n", "11047 | \n", "9925 | \n", "11322 | \n", "12251 | \n", "16610 | \n", "14696 | \n", "... | \n", "18471 | \n", "23037 | \n", "24704 | \n", "17721 | \n", "16150 | \n", "15678 | \n", "16297 | \n", "17430 | \n", "23103 | \n", "24644 | \n", "
2 | \n", "TX | \n", "9438 | \n", "9630 | \n", "6778 | \n", "7381 | \n", "5912 | \n", "9006 | \n", "6226 | \n", "9440 | \n", "9376 | \n", "... | \n", "12320 | \n", "12366 | \n", "16249 | \n", "12228 | \n", "11370 | \n", "10375 | \n", "9162 | \n", "12303 | \n", "13681 | \n", "14815 | \n", "
3 | \n", "WI | \n", "8998 | \n", "8314 | \n", "6897 | \n", "6984 | \n", "3309 | \n", "8883 | \n", "9533 | \n", "11882 | \n", "8664 | \n", "... | \n", "13282 | \n", "18905 | \n", "18968 | \n", "12413 | \n", "11257 | \n", "11043 | \n", "11504 | \n", "12819 | \n", "14734 | \n", "14879 | \n", "
4 | \n", "CA_1 | \n", "4337 | \n", "4155 | \n", "2816 | \n", "3051 | \n", "2630 | \n", "3276 | \n", "3450 | \n", "5437 | \n", "4340 | \n", "... | \n", "4951 | \n", "6245 | \n", "6707 | \n", "4568 | \n", "3949 | \n", "3995 | \n", "4136 | \n", "4433 | \n", "5764 | \n", "6289 | \n", "
5 | \n", "CA_2 | \n", "3494 | \n", "3046 | \n", "2121 | \n", "2324 | \n", "1942 | \n", "2288 | \n", "2629 | \n", "3729 | \n", "2957 | \n", "... | \n", "4839 | \n", "6507 | \n", "6710 | \n", "4238 | \n", "3963 | \n", "3789 | \n", "4037 | \n", "4751 | \n", "7120 | \n", "6614 | \n", "
6 | \n", "CA_3 | \n", "4739 | \n", "4827 | \n", "3785 | \n", "4232 | \n", "3817 | \n", "4369 | \n", "4703 | \n", "5456 | \n", "5581 | \n", "... | \n", "6046 | \n", "7029 | \n", "7969 | \n", "5891 | \n", "5523 | \n", "5375 | \n", "5580 | \n", "5542 | \n", "7073 | \n", "8144 | \n", "
7 | \n", "CA_4 | \n", "1625 | \n", "1777 | \n", "1386 | \n", "1440 | \n", "1536 | \n", "1389 | \n", "1469 | \n", "1988 | \n", "1818 | \n", "... | \n", "2635 | \n", "3256 | \n", "3318 | \n", "3024 | \n", "2715 | \n", "2519 | \n", "2544 | \n", "2704 | \n", "3146 | \n", "3597 | \n", "
8 | \n", "TX_1 | \n", "2556 | \n", "2687 | \n", "1822 | \n", "2258 | \n", "1694 | \n", "2734 | \n", "1691 | \n", "2820 | \n", "2887 | \n", "... | \n", "3610 | \n", "3787 | \n", "5000 | \n", "3708 | \n", "3310 | \n", "3147 | \n", "2748 | \n", "3664 | \n", "4167 | \n", "4624 | \n", "
9 | \n", "TX_2 | \n", "3852 | \n", "3937 | \n", "2731 | \n", "2954 | \n", "2492 | \n", "3439 | \n", "2588 | \n", "3772 | \n", "3657 | \n", "... | \n", "4415 | \n", "4424 | \n", "5866 | \n", "4179 | \n", "4008 | \n", "3518 | \n", "3126 | \n", "4249 | \n", "4802 | \n", "5217 | \n", "
10 | \n", "TX_3 | \n", "3030 | \n", "3006 | \n", "2225 | \n", "2169 | \n", "1726 | \n", "2833 | \n", "1947 | \n", "2848 | \n", "2832 | \n", "... | \n", "4295 | \n", "4155 | \n", "5383 | \n", "4341 | \n", "4052 | \n", "3710 | \n", "3288 | \n", "4390 | \n", "4712 | \n", "4974 | \n", "
11 | \n", "WI_1 | \n", "2704 | \n", "2194 | \n", "1562 | \n", "1251 | \n", "2 | \n", "2049 | \n", "2815 | \n", "3248 | \n", "1674 | \n", "... | \n", "3978 | \n", "5527 | \n", "5488 | \n", "3505 | \n", "3323 | \n", "3242 | \n", "3478 | \n", "3813 | \n", "5002 | \n", "5054 | \n", "
12 | \n", "WI_2 | \n", "2256 | \n", "1922 | \n", "2018 | \n", "2522 | \n", "1175 | \n", "2244 | \n", "2232 | \n", "2643 | \n", "2140 | \n", "... | \n", "5317 | \n", "7704 | \n", "7586 | \n", "5011 | \n", "4628 | \n", "4533 | \n", "4628 | \n", "4880 | \n", "5213 | \n", "5068 | \n", "
13 | \n", "WI_3 | \n", "4038 | \n", "4198 | \n", "3317 | \n", "3211 | \n", "2132 | \n", "4590 | \n", "4486 | \n", "5991 | \n", "4850 | \n", "... | \n", "3987 | \n", "5674 | \n", "5894 | \n", "3897 | \n", "3306 | \n", "3268 | \n", "3398 | \n", "4126 | \n", "4519 | \n", "4757 | \n", "
14 | \n", "FOODS | \n", "23178 | \n", "22758 | \n", "17174 | \n", "18878 | \n", "14603 | \n", "22093 | \n", "20490 | \n", "27751 | \n", "24862 | \n", "... | \n", "30107 | \n", "36576 | \n", "41447 | \n", "29158 | \n", "26148 | \n", "24790 | \n", "24737 | \n", "28136 | \n", "33599 | \n", "35967 | \n", "
15 | \n", "HOBBIES | \n", "3764 | \n", "3357 | \n", "2682 | \n", "2669 | \n", "1814 | \n", "3220 | \n", "2944 | \n", "3986 | \n", "2899 | \n", "... | \n", "3871 | \n", "4893 | \n", "5016 | \n", "3528 | \n", "3629 | \n", "3740 | \n", "3475 | \n", "4143 | \n", "5333 | \n", "5280 | \n", "
16 | \n", "HOUSEHOLD | \n", "5689 | \n", "5634 | \n", "3927 | \n", "3865 | \n", "2729 | \n", "3898 | \n", "4576 | \n", "6195 | \n", "4975 | \n", "... | \n", "10095 | \n", "12839 | \n", "13458 | \n", "9676 | \n", "9000 | \n", "8566 | \n", "8751 | \n", "10273 | \n", "12586 | \n", "13091 | \n", "
17 | \n", "FOODS_1 | \n", "2343 | \n", "2216 | \n", "1657 | \n", "1508 | \n", "1209 | \n", "1897 | \n", "1903 | \n", "2235 | \n", "1925 | \n", "... | \n", "4130 | \n", "4257 | \n", "4225 | \n", "3264 | \n", "3119 | \n", "3073 | \n", "3251 | \n", "3735 | \n", "4195 | \n", "4031 | \n", "
18 | \n", "FOODS_2 | \n", "4094 | \n", "4209 | \n", "3174 | \n", "3606 | \n", "2869 | \n", "4375 | \n", "3349 | \n", "4384 | \n", "4273 | \n", "... | \n", "5842 | \n", "7563 | \n", "9069 | \n", "6226 | \n", "5311 | \n", "4648 | \n", "4551 | \n", "4815 | \n", "5940 | \n", "6535 | \n", "
19 | \n", "FOODS_3 | \n", "16741 | \n", "16333 | \n", "12343 | \n", "13764 | \n", "10525 | \n", "15821 | \n", "15238 | \n", "21132 | \n", "18664 | \n", "... | \n", "20135 | \n", "24756 | \n", "28153 | \n", "19668 | \n", "17718 | \n", "17069 | \n", "16935 | \n", "19586 | \n", "23464 | \n", "25401 | \n", "
20 | \n", "HOBBIES_1 | \n", "3610 | \n", "3172 | \n", "2497 | \n", "2531 | \n", "1714 | \n", "3133 | \n", "2855 | \n", "3831 | \n", "2741 | \n", "... | \n", "3422 | \n", "4414 | \n", "4464 | \n", "3109 | \n", "3142 | \n", "3291 | \n", "3027 | \n", "3761 | \n", "4832 | \n", "4720 | \n", "
21 | \n", "HOBBIES_2 | \n", "154 | \n", "185 | \n", "185 | \n", "138 | \n", "100 | \n", "87 | \n", "89 | \n", "155 | \n", "158 | \n", "... | \n", "449 | \n", "479 | \n", "552 | \n", "419 | \n", "487 | \n", "449 | \n", "448 | \n", "382 | \n", "501 | \n", "560 | \n", "
22 | \n", "HOUSEHOLD_1 | \n", "4105 | \n", "3858 | \n", "2827 | \n", "2732 | \n", "1802 | \n", "2664 | \n", "3161 | \n", "4334 | \n", "3494 | \n", "... | \n", "7936 | \n", "10042 | \n", "10572 | \n", "7609 | \n", "6999 | \n", "6641 | \n", "6759 | \n", "7974 | \n", "9668 | \n", "10165 | \n", "
23 | \n", "HOUSEHOLD_2 | \n", "1584 | \n", "1776 | \n", "1100 | \n", "1133 | \n", "927 | \n", "1234 | \n", "1415 | \n", "1861 | \n", "1481 | \n", "... | \n", "2159 | \n", "2797 | \n", "2886 | \n", "2067 | \n", "2001 | \n", "1925 | \n", "1992 | \n", "2299 | \n", "2918 | \n", "2926 | \n", "
24 rows × 1942 columns
\n", "id_str | \n", "all | \n", "CA | \n", "TX | \n", "WI | \n", "CA_1 | \n", "CA_2 | \n", "CA_3 | \n", "CA_4 | \n", "TX_1 | \n", "TX_2 | \n", "... | \n", "FOODS | \n", "HOBBIES | \n", "HOUSEHOLD | \n", "FOODS_1 | \n", "FOODS_2 | \n", "FOODS_3 | \n", "HOBBIES_1 | \n", "HOBBIES_2 | \n", "HOUSEHOLD_1 | \n", "HOUSEHOLD_2 | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
date | \n", "\n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " |
2011-01-29 | \n", "32631 | \n", "14195 | \n", "9438 | \n", "8998 | \n", "4337 | \n", "3494 | \n", "4739 | \n", "1625 | \n", "2556 | \n", "3852 | \n", "... | \n", "23178 | \n", "3764 | \n", "5689 | \n", "2343 | \n", "4094 | \n", "16741 | \n", "3610 | \n", "154 | \n", "4105 | \n", "1584 | \n", "
2011-01-30 | \n", "31749 | \n", "13805 | \n", "9630 | \n", "8314 | \n", "4155 | \n", "3046 | \n", "4827 | \n", "1777 | \n", "2687 | \n", "3937 | \n", "... | \n", "22758 | \n", "3357 | \n", "5634 | \n", "2216 | \n", "4209 | \n", "16333 | \n", "3172 | \n", "185 | \n", "3858 | \n", "1776 | \n", "
2011-01-31 | \n", "23783 | \n", "10108 | \n", "6778 | \n", "6897 | \n", "2816 | \n", "2121 | \n", "3785 | \n", "1386 | \n", "1822 | \n", "2731 | \n", "... | \n", "17174 | \n", "2682 | \n", "3927 | \n", "1657 | \n", "3174 | \n", "12343 | \n", "2497 | \n", "185 | \n", "2827 | \n", "1100 | \n", "
2011-02-01 | \n", "25412 | \n", "11047 | \n", "7381 | \n", "6984 | \n", "3051 | \n", "2324 | \n", "4232 | \n", "1440 | \n", "2258 | \n", "2954 | \n", "... | \n", "18878 | \n", "2669 | \n", "3865 | \n", "1508 | \n", "3606 | \n", "13764 | \n", "2531 | \n", "138 | \n", "2732 | \n", "1133 | \n", "
2011-02-02 | \n", "19146 | \n", "9925 | \n", "5912 | \n", "3309 | \n", "2630 | \n", "1942 | \n", "3817 | \n", "1536 | \n", "1694 | \n", "2492 | \n", "... | \n", "14603 | \n", "1814 | \n", "2729 | \n", "1209 | \n", "2869 | \n", "10525 | \n", "1714 | \n", "100 | \n", "1802 | \n", "927 | \n", "
... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "
2016-05-18 | \n", "37096 | \n", "15678 | \n", "10375 | \n", "11043 | \n", "3995 | \n", "3789 | \n", "5375 | \n", "2519 | \n", "3147 | \n", "3518 | \n", "... | \n", "24790 | \n", "3740 | \n", "8566 | \n", "3073 | \n", "4648 | \n", "17069 | \n", "3291 | \n", "449 | \n", "6641 | \n", "1925 | \n", "
2016-05-19 | \n", "36963 | \n", "16297 | \n", "9162 | \n", "11504 | \n", "4136 | \n", "4037 | \n", "5580 | \n", "2544 | \n", "2748 | \n", "3126 | \n", "... | \n", "24737 | \n", "3475 | \n", "8751 | \n", "3251 | \n", "4551 | \n", "16935 | \n", "3027 | \n", "448 | \n", "6759 | \n", "1992 | \n", "
2016-05-20 | \n", "42552 | \n", "17430 | \n", "12303 | \n", "12819 | \n", "4433 | \n", "4751 | \n", "5542 | \n", "2704 | \n", "3664 | \n", "4249 | \n", "... | \n", "28136 | \n", "4143 | \n", "10273 | \n", "3735 | \n", "4815 | \n", "19586 | \n", "3761 | \n", "382 | \n", "7974 | \n", "2299 | \n", "
2016-05-21 | \n", "51518 | \n", "23103 | \n", "13681 | \n", "14734 | \n", "5764 | \n", "7120 | \n", "7073 | \n", "3146 | \n", "4167 | \n", "4802 | \n", "... | \n", "33599 | \n", "5333 | \n", "12586 | \n", "4195 | \n", "5940 | \n", "23464 | \n", "4832 | \n", "501 | \n", "9668 | \n", "2918 | \n", "
2016-05-22 | \n", "54338 | \n", "24644 | \n", "14815 | \n", "14879 | \n", "6289 | \n", "6614 | \n", "8144 | \n", "3597 | \n", "4624 | \n", "5217 | \n", "... | \n", "35967 | \n", "5280 | \n", "13091 | \n", "4031 | \n", "6535 | \n", "25401 | \n", "4720 | \n", "560 | \n", "10165 | \n", "2926 | \n", "
1941 rows × 24 columns
\n", "id | \n", "HOBBIES_1_001_CA_1_evaluation | \n", "HOBBIES_1_002_CA_1_evaluation | \n", "HOBBIES_1_003_CA_1_evaluation | \n", "HOBBIES_1_004_CA_1_evaluation | \n", "HOBBIES_1_005_CA_1_evaluation | \n", "HOBBIES_1_006_CA_1_evaluation | \n", "HOBBIES_1_007_CA_1_evaluation | \n", "HOBBIES_1_008_CA_1_evaluation | \n", "HOBBIES_1_009_CA_1_evaluation | \n", "HOBBIES_1_010_CA_1_evaluation | \n", "... | \n", "FOODS_3_818_WI_3_evaluation | \n", "FOODS_3_819_WI_3_evaluation | \n", "FOODS_3_820_WI_3_evaluation | \n", "FOODS_3_821_WI_3_evaluation | \n", "FOODS_3_822_WI_3_evaluation | \n", "FOODS_3_823_WI_3_evaluation | \n", "FOODS_3_824_WI_3_evaluation | \n", "FOODS_3_825_WI_3_evaluation | \n", "FOODS_3_826_WI_3_evaluation | \n", "FOODS_3_827_WI_3_evaluation | \n", "
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
date | \n", "\n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " | \n", " |
2011-01-29 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "12 | \n", "2 | \n", "0 | \n", "... | \n", "0 | \n", "14 | \n", "1 | \n", "0 | \n", "4 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "
2011-01-30 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "15 | \n", "0 | \n", "0 | \n", "... | \n", "0 | \n", "11 | \n", "1 | \n", "0 | \n", "4 | \n", "0 | \n", "0 | \n", "6 | \n", "0 | \n", "0 | \n", "
2011-01-31 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "7 | \n", "1 | \n", "... | \n", "0 | \n", "5 | \n", "1 | \n", "0 | \n", "2 | \n", "2 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "
2011-02-01 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "3 | \n", "0 | \n", "... | \n", "0 | \n", "6 | \n", "1 | \n", "0 | \n", "5 | \n", "2 | \n", "0 | \n", "2 | \n", "0 | \n", "0 | \n", "
2011-02-02 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "0 | \n", "... | \n", "0 | \n", "5 | \n", "1 | \n", "0 | \n", "2 | \n", "0 | \n", "0 | \n", "2 | \n", "0 | \n", "0 | \n", "
... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "... | \n", "
2016-05-18 | \n", "0 | \n", "0 | \n", "0 | \n", "1 | \n", "0 | \n", "0 | \n", "1 | \n", "5 | \n", "0 | \n", "1 | \n", "... | \n", "3 | \n", "6 | \n", "3 | \n", "0 | \n", "0 | \n", "1 | \n", "0 | \n", "1 | \n", "0 | \n", "0 | \n", "
2016-05-19 | \n", "3 | \n", "0 | \n", "2 | \n", "3 | \n", "0 | \n", "0 | \n", "0 | \n", "4 | \n", "0 | \n", "1 | \n", "... | \n", "1 | \n", "4 | \n", "3 | \n", "1 | \n", "2 | \n", "0 | \n", "1 | \n", "0 | \n", "1 | \n", "2 | \n", "
2016-05-20 | \n", "3 | \n", "0 | \n", "3 | \n", "0 | \n", "2 | \n", "5 | \n", "1 | \n", "1 | \n", "0 | \n", "0 | \n", "... | \n", "3 | \n", "4 | \n", "3 | \n", "1 | \n", "1 | \n", "0 | \n", "0 | \n", "1 | \n", "1 | \n", "2 | \n", "
2016-05-21 | \n", "0 | \n", "0 | \n", "0 | \n", "2 | \n", "1 | \n", "2 | \n", "1 | \n", "40 | \n", "1 | \n", "0 | \n", "... | \n", "0 | \n", "1 | \n", "0 | \n", "0 | \n", "3 | \n", "1 | \n", "1 | \n", "0 | \n", "1 | \n", "5 | \n", "
2016-05-22 | \n", "1 | \n", "0 | \n", "1 | \n", "6 | \n", "0 | \n", "0 | \n", "0 | \n", "32 | \n", "0 | \n", "1 | \n", "... | \n", "0 | \n", "1 | \n", "1 | \n", "4 | \n", "4 | \n", "1 | \n", "0 | \n", "2 | \n", "0 | \n", "1 | \n", "
1941 rows × 30490 columns
\n", "