Джозеф Сирош (Joseph Sirosh), корпоративный вице-президент Microsoft, объявил о выходе первого продукта этой компании для работы с большими данными, предназначенного для Linux, — Azure HDInsight.
HDInsight — решение Microsoft на базе Hadoop, полностью совместимое с Hadoop и работающее на облачной платформе Azure. Интересно, что новый сервис, предлагаемый на Azure по обычной схеме (с платой за используемые ресурсы), стал первым, который корпорация запустила на свободной операционной системе GNU/Linux. Вообще же Linux не новичок в мире Azure, т.к. около 20 % всех виртуальных машин, запущенных в облачной платформе Microsoft, работает под управлением свободной ОС.
Как сообщается на сайте Microsoft, HDInsight создали «для обработки любого объема информации с масштабированием от терабайтов до петабайтов данных по мере необходимости». Данные могут быть неструктурированными и полуструктурированными, а также предусмотрена возможность визуализации полученных результатов в Excel. Также в HDInsight обеспечена поддержка другой Open Source-платформы — Apache Storm, — предназначенной для распределенной обработки множества событий в реальном времени.
Для создания, настройки и мониторинга заданий Hadoop в HDInsight поддерживаются программные расширения на Java и .NET. Кроме того, в ходе разработки HDInsight возможности платформы Azure ML были дополнены поддержкой расширений на языках Python и R. По словам Сироша, ни один другой программный продукт на данный момент не предоставляет возможность использовать SQL, R и Python в одном проекте.
Согласно сообщению от Джона-Марка Гёрни (John-Mark Gurney), опубликованному в рассылке freebsd-current в минувший вторник, ядро FreeBSD-CURRENT использовало неправильный алгоритм генерации случайных чисел на протяжении последних четырех месяцев.
Проблема относится только к ветке FreeBSD-CURRENT и не затрагивает стабильные версии FreeBSD. Всем, кто использует FreeBSD на ядре с номером ревизии от r273872 до r278907, рекомендуется немедленно обновить ядро и заново сгенерировать ключи (SSH, GnuPG, OpenSSL и т.п.). Проблема заключалась в том, что новый код не делал вызов функции randomdev_init_reader, из-за чего read_random(9) не возвращала случайные данные.
На данный момент проблема устранена, подробности внесенных изменений доступны на GitHub.
В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.
MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.
Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.
Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.
В минувший вторник некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многим Open Source-проектам, объявила о том, что американская компания Cloudera стала её платиновым спонсором.
Cloudera, специализирующаяся на программном обеспечении для Hadoop, оказывала финансовую поддержку ASF и раньше, но теперь решила повысить уровень своего спонсорства до максимального — платинового (Platinum, 100 тысяч USD в год). «Мы благодарны продолжающейся щедрой помощи Cloudera, которая позволяет нам развивать сообщество Apache в целом. Финансовая помощь позволяет нам обслуживать критически важную инфраструктуру и предоставлять услуги по технической поддержке, что позволяет Фонду функционировать день за днём», — прокомментировал событие президент ASF Росс Гардлер (Ross Gardler).
Сотрудники компании Cloudera известны своим активным вкладом в такие проекты Apache, как Avro, Hadoop, HBase, Hive, Pig, Whirr и Zookeeper.
