Киберпанк уже здесь-2
Sep. 11th, 2019 09:18 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
scif_yarначало тута
https://elglin.dreamwidth.org/54970.html
Ключевая мысль:
Конечно, чтобы хранить данные за год, нужно уже 36.5 килодисков. Тут надо бы сказать за репликацию... но данные-то будут ужиматься на ура (раз в несколько), что перекроет всю потребность в репликации. 40 килодисков в год стоят, ну, 8 мегабаксов, что абсолютно в масштабах проекта не потрясает. Раз в неделю привозить новую 48-юнитовку, набитую дисками, эка невидаль.
(достав калькулятор) предположим, что имея суммарно мегабайт (10е6) данных на гражданина (в форме всяких да\нет\адрес\прочая - короче текстовый мегабайт) на миллиард (10е9) граждан нам будет нужно иметь суммарную базу данных 10е15, то есть 1024 тб данных - петабайт, или, набивая некую дисковую полку дисками по 30 Тб SSD (Samsung PM1643) в формате 24 SSD на 2 U = 720 TB минус пусть triple raid - округленно пусть 250 тб на 2 юнита, вся база на миллиард жителей влезет на аж 8U.
ну или (у нас текст) имея LTO8 Compressed capacity 30 Tb - то нужно аж две коробки кассет.
Кроме того, мы в общем то можем вообще легко хранить .. ну сколько у нас живых жителей, 10 миллиардов ? 640к и Ipv4 должно хватить всем, в общем
IPv4 uses 32-bit addresses which limits the address space to 4.294.967.296 (2**32) addresses.
Ну пусть у нас проект чуть чуть наднациональный (просто чтобы не возиться с ipv6) - в таком случае, переводя социальную историю типа "с кем учился в классе" в векторный формат, и имея таким образом векторную дистанцию каждого с каждым (кто-то где то жил. С кем-то были знакомы родители), мы (или злодеи) можем легко оперировать чем-то вроде BGP full view в формате общества.
Ну будет у него размер побольше, чем сейчас full view, ичо? Нам что, памяти жалко ?
BGP выбран только потому, что под него все есть - протоколы, ASIC, железо софт и опыт. Не надо много изобретать, можно попробовать сначала адаптировать что есть, начав с масштаба села Кукуево.
Таким образом, одиночная точка не может длительно выпадать из поля зрения.
Скоро мы все будем жить в, блять, реально стеклянном доме и мире Nosedive, где будет нельзя неаккуратно пукнуть - заминусуют.
https://elglin.dreamwidth.org/54970.html
Ключевая мысль:
Конечно, чтобы хранить данные за год, нужно уже 36.5 килодисков. Тут надо бы сказать за репликацию... но данные-то будут ужиматься на ура (раз в несколько), что перекроет всю потребность в репликации. 40 килодисков в год стоят, ну, 8 мегабаксов, что абсолютно в масштабах проекта не потрясает. Раз в неделю привозить новую 48-юнитовку, набитую дисками, эка невидаль.
(достав калькулятор) предположим, что имея суммарно мегабайт (10е6) данных на гражданина (в форме всяких да\нет\адрес\прочая - короче текстовый мегабайт) на миллиард (10е9) граждан нам будет нужно иметь суммарную базу данных 10е15, то есть 1024 тб данных - петабайт, или, набивая некую дисковую полку дисками по 30 Тб SSD (Samsung PM1643) в формате 24 SSD на 2 U = 720 TB минус пусть triple raid - округленно пусть 250 тб на 2 юнита, вся база на миллиард жителей влезет на аж 8U.
ну или (у нас текст) имея LTO8 Compressed capacity 30 Tb - то нужно аж две коробки кассет.
Кроме того, мы в общем то можем вообще легко хранить .. ну сколько у нас живых жителей, 10 миллиардов ? 640к и Ipv4 должно хватить всем, в общем
IPv4 uses 32-bit addresses which limits the address space to 4.294.967.296 (2**32) addresses.
Ну пусть у нас проект чуть чуть наднациональный (просто чтобы не возиться с ipv6) - в таком случае, переводя социальную историю типа "с кем учился в классе" в векторный формат, и имея таким образом векторную дистанцию каждого с каждым (кто-то где то жил. С кем-то были знакомы родители), мы (или злодеи) можем легко оперировать чем-то вроде BGP full view в формате общества.
Ну будет у него размер побольше, чем сейчас full view, ичо? Нам что, памяти жалко ?
BGP выбран только потому, что под него все есть - протоколы, ASIC, железо софт и опыт. Не надо много изобретать, можно попробовать сначала адаптировать что есть, начав с масштаба села Кукуево.
Таким образом, одиночная точка не может длительно выпадать из поля зрения.
Скоро мы все будем жить в, блять, реально стеклянном доме и мире Nosedive, где будет нельзя неаккуратно пукнуть - заминусуют.
no subject
Date: 2019-09-12 04:51 pm (UTC)Графовые БД у нас есть, но вот под такие мегазадачи надо будет явно пилить что-то специальное, учитывающее существенно слабую связность графа.
В целом граф связности будет занимать порядка сотен терабайт, что даже в контексте оперативы сейчас не потрясает. Если, к тому же, учесть, что реальный интерес-то будет представлять не такой большой процент граждан не такую большую часть времени, то это даже сейчас потягаемо не самым кошмарным кластером.
no subject
Date: 2019-09-12 05:23 pm (UTC)no subject
Date: 2019-09-14 07:33 am (UTC)