Язык программирования для больших данных

Исследователи из Лаборатории информатики и искусственного интеллекта (CSAIL) при Массачусетском технологическом институте представили новый язык программирования под названием Milk, ориентированный на работу с разрозненными фрагментами данных в больших массивах.

Недостаток современных ЭВМ

Считается, что современные вычислительные системы не оптимизированы для работы с разрозненными данными. Процесс извлечения информации из оперативной памяти не достаточно быстрый. По этой причине процессоры оснащаются собственной памятью, называемой кэшем. Для того чтобы сократить количество обращений к ОЗУ, процессор считывает память блоками и находит необходимые данные в этих блоках уже в собственном кэше.

Такой подход зарекомендовал себя, когда дело касается вычислительной системы с локальной памятью. Однако если речь идет о сетевой базе данных большого объема, например, хранящей 2 млн фрагментов данных, в которой необходимо найти 20 определенных фрагментов, указанный подход неэффективен. Именно чтобы решить эту проблему и был создан новый язык.