Сегодня рассмотрим пример, как можно создавать файлы в hadoop, а также делать записи в эти файлы и после забирать данные.
Визуально схема взаимодействия SAS и Hadoop выглядит следующим образом:
Итак самое главное, что Вам нужно сделать, это написать следующий конфигурационный xml файлик:
Где сервер hadoop_main_node, нужно заменить на Ваш сервер, а точнее на гловной Node hadoop.
После этого пишем обычный filename с указанием access method — HADOOP, обязательно в опциях нужно указать путь к конфигурационному xml файлу.
В приведенном примере мы созадли файл test.txt и записали туда одну записть «TEST test Test1»
Теперь убедимся в том, что данный файл появился в файловой структуре Hadoop:
Первая команда была выполнена до запуска sas кода, вторая уже после. Сравнив, мы видим, что появился наш файлик test.txt.
Теперь давайте попробуем забрать эти данные. Делается это также просто:
Мы видим, что в work появился файлик Test, в котором есть как раз одна наша запись.
В дальнейших уроках мы рассмотрим другой метод соединения с Hadoop, а именно через SAS/Access.
Вкратце обо всех трех способах взаимодействия SAS и Hadoop писал в прошлой статье.
До скорых встеч.
С уважением,
Тимаков Николай.
Добрый день.
Правильно я понимаю, что для работы данного подключения всё таже нужны установленные компоненты для коннектора sas access to hadoop? Движок hadoop, если я не ошибаюсь поставляется с этим коннектором. Интересуют способы, как получить доступ к hdfs без покупки коннектора, а также плюсы и минусы данного способа. Вроде как везде есть различные ограничения, которые усложняют жизнь и настройку.