Hotmail получает новую систему хранения — делая ее еще быстрее!

Hotmail получает миллиарды сообщений электронной почты каждый день, и они должны храниться в безопасном месте и должны быть легко доступны эффективно. Облачная система хранения Hotmail поддерживает более одного миллиарда почтовых ящиков и сотни петабайт данных (один петабайт — миллион гигабайт). А эффективная обработка сотен тысяч одновременных транзакций в таких масштабах — инженерная задача. Система хранения построена с использованием технологии Microsoft, включая Windows Server и Microsoft SQL Server.

Microsoft работает над серьезным обновлением этой системы хранения. С начала этого года новая система, основанная на технологиях, разработанных в Hotmail, работает в пилотном кластере с использованием личных учетных записей сотрудников Microsoft. И после тщательного тестирования новая система была сертифицирована, что обеспечивает лучшую надежность при значительно более низкой цене.

Давайте рассмотрим некоторые из этих новых технологий, используемых Hotmail.

Внедрение JBOD вместо RAID:

«RAID (избыточный массив недорогих дисков) — это технология, которая позволяет подключать несколько жестких дисков к одной плате контроллера, что делает их похожими на один больший и гораздо более надежный жесткий диск (иногда его называют «Логическая единица») к программному обеспечению, на котором работает система хранения. »

Hotmail давно использует RAID. Электронная почта хранилась в нескольких группах RAID, поэтому даже при сбое всего RAID сообщения можно восстановить. Hotmail изучил перспективу надежности дисков емкостью более 1 терабайта и обнаружил, что с точки зрения надежности это не стоит денег. Поскольку системы RAID легко справляются с проблемами, затрагивающими одну систему, но не тогда, когда вся машина или контроллер RAID сталкиваются с проблемами. Hotmail обнаружил, что наличие копий на другом компьютере без совместного использования контроллера было не только более надежным, но и более дешевым, чем конфигурация RAID.

Поэтому они разработали JBOD (просто набор дисков), в котором копии данных находятся на независимых жестких дисках, контроллерах и компьютерах. Таким образом, создание контроллера жесткого диска практически полностью исчезло и передано в программное обеспечение для управления. Это системное программное обеспечение JBOD было разработано Hotmail.
Это программное обеспечение JBOD постоянно отслеживает сбои и выдает предупреждение при обнаружении, таким образом вызывая процесс восстановления. Этот процесс восстановления может включать перезагрузку компьютера или перезапуск процесса, исправление повреждения данных или даже вмешательство человека, если это необходимо. Основным преимуществом использования Программного обеспечения является то, что оно может поддерживать хорошие копии писем, отдавая приоритет восстановительным действиям, если оно находит меньше копий. Используя это программное обеспечение, сама репликация была упрощена

«Система хранения состоит из набора компьютеров, каждый из которых имеет свою копию сообщения электронной почты и журнал регистрации поступивших сообщений, упорядоченных по дате прибытия. Машины время от времени общаются друг с другом, сравнивают свои журналы и копируют любые сообщения, которые, как они понимают, не были скопированы на все машины. «

Внедрение твердотельных накопителей (SSD) вместо жестких дисков.

Мы знаем, что твердотельные накопители намного быстрее жестких дисков. Жесткие диски, хотя они больше и дешевле, работают медленнее при обработке запросов.

«Обычный жесткий диск может выполнять чуть более ста операций чтения/записи в секунду, тогда как некоторые из самых быстрых твердотельных накопителей могут выполнять более ста тысяч операций в секунду».

Хотя эта скорость имеет свою цену, поскольку она намного дороже/гигабайт по сравнению с жесткими дисками.

SSD эффективно справляется с постоянно меняющейся нагрузкой. Это можно объяснить тем, что Hotmail не только хранит сообщения электронной почты, но также отслеживает различные постоянно меняющиеся метаданные, такие как список сообщений во входящих, статус чтения/непрочитанных сообщений, цепочку сообщений и т. Д. Эти метаданные, однако, занимают небольшую часть пространства хранения. возлагает максимальную нагрузку на жесткие диски из-за постоянно меняющейся природы. Таким образом, использование твердотельных накопителей для хранения метаданных и жестких дисков для сообщений создает более эффективную и эффективную комбинацию.
Помимо этих улучшений, Hotmail расскажет еще больше в будущих публикациях. Развертывание новой системы хранения уже началось, и новые кластеры будут основаны на JBOD. Уже 30 миллионов пользователей находятся в JBOD, а еще 100 миллионов будут перемещаться с течением времени.

Если вы заметили, Hotmail стал действительно быстрым. Если нет, попробуйте сейчас.

Оцените статью
TechArks.Ru
Добавить комментарий